Secciones
Big Data mejoraría su impacto con un ligero ajuste en las reglas informáticas
Innovación

Big Data mejoraría su impacto con un ligero ajuste en las reglas informáticas

Desde que internet se hizo tan importante, Big Data ha estado presente, pero hasta ahora no se ha optimizado su tarea 

por LaVerdad

Big Data mejoraría su impacto con un ligero ajuste en las reglas informáticas

Big Data mejoraría su impacto con un ligero ajuste en las reglas informáticas

En esta época en la que hemos llegado a confiar tanto en Internet para el funcionamiento de nuestra vida cotidiana, un equipo de investigadores de la UM liderado por Mosharaf Chowdhury y Harsha Madhyastha; ha encontrado una manera para que las compañías tecnológicas, los bancos y los sistemas de salud saquen el mayor provecho a la infraestructura existente y con ello al Big Data.

Esquema de trabajo de Spark
Esquema de trabajo de Spark

Un cambio en el diseño de la herramienta de software de Big Data Apache Spark podría permitir a los usuarios más grandes del mundo de la potencia informática, realizar tareas masivas hasta 16 veces más rápido mientras la carga en Internet se ve aliviada.

Spark es un marco electrónico de código abierto que sirve como administrador de tareas, y se encarga de coordinar vastas redes de computadoras individuales para trabajar juntas como una sola máquina en grandes tareas informáticas; una de las herramientas más utilizadas de este tipo en el mundo, ya que es utilizada por todas las principales empresas de tecnología, así como por bancos, empresas de telecomunicaciones, gobiernos y muchos otros.

Cuando Spark se construyó hace una década, la mayor parte de este trabajo tuvo lugar en grandes centros de datos, donde se ubicaron grandes bancos de máquinas en un solo sitio, pero hoy en día, se usa cada vez más para conectar máquinas que se extienden por todo el mundo y están conectadas por Internet.

Procesamiento más rápido

Chowdhury ayudó a construir Spark durante su tiempo como estudiante graduado en la Universidad de California Berkeley, y explica que divide el trabajo en máquinas individuales utilizando un componente llamado motor de ejecución, el cual fue diseñado principalmente para grandes centros de datos, donde grupos de máquinas en la misma red local podrían comunicarse rápidamente entre sí, sin embargo es menos eficiente cuando las máquinas están a miles de kilómetros de distancia, conectadas por la relativamente estrecha tubería de Internet.

"El motor de ejecución existente de Spark toma decisiones sobre dónde enviar el trabajo en el último minuto, solo después de que la CPU indica que está listo para más trabajo envía una nueva tarea, ése enfoque maximiza la flexibilidad, y tiene sentido cuando una tarea se encuentra en un solo centro de datos. Pero esa comunicación toma mucho más tiempo entre las máquinas que están conectadas por Internet. El enfoque de último minuto a menudo deja las CPU subutilizadas, lo que significa que están sentado esperando el trabajo", señala Chowdhury.

Así que Chowdhury y Madhyastha, trabajando con los asistentes de investigación de estudiantes de posgrado Fan Lai y Jie You, así como el estudiante de pregrado Xiangfeng Zhu, programaron un nuevo motor de ejecución llamado Sol, el cual adopta un enfoque más proactivo, en lugar de esperar a que las CPU indiquen que están listas para un nuevo trabajo, adivina cuáles serán las siguientes en la línea y les encomienda activamente nuevas tareas, también le indica a las máquinas que procesen los datos localmente cuando sea posible en lugar de moverlos constantemente entre las máquinas en contraste con Spark.

Apache Spark y Hadoop
Apache Spark y Hadoop

TE PUEDE INTERESAR: Goodyear desarrolla una llanta biodegradable capaz de regenerar la banda de rodamiento

Esto significa una menor combinación de datos y comandos entre máquinas, disminuyendo la carga en Internet y acelerando el procesamiento de datos. El equipo de Chowdhury descubrió que acelera drásticamente el cálculo de Big Data, haciendo que las tareas comunes sean de cuatro a 16 veces más rápidas.

Temas

Comentarios