¿«Big Data» más barato? El MIT propone usar memoria Flash en vez de RAM

La memoria RAM es uno de los recursos más críticos en el mundo de la informática. Nunca se puede tener suficiente, y cuanto más rápida sea, mejor. Claro que, esto se traduce en costos enormes, y cuando ingresamos al territorio del Big Data, acumular varios terabytes de RAM pone en jaque a cualquier presupuesto. La alternativa llega a través del MIT con un sistema que puede usar memoria Flash, ofreciendo en múltiples aplicaciones la misma eficiencia que se logra utilizando memoria RAM tradicional.

Los smartphones de alta gama poseen en su interior dos o cuatro gigabytes de RAM. Los ordenadores portátiles y de escritorio varían su cantidad de memoria de acuerdo al presupuesto, pero el promedio actual flota entre los 4 y los 8 GB. Sin embargo, no es extraño encontrar 256 gigabytes en un servidor. Conecta a múltiples servidores, y lo que obtienes es una granja equipada con varios terabytes de RAM. El beneficio principal de la memoria RAM es sin lugar a dudas, su velocidad. Cuando una guía de optimización recomienda «arrojar todo en la RAM» para ganar rendimiento no está exagerando. A modo de ejemplo, el ancho de banda máximo para una memoria DDR3-1600 se eleva a 12.8 gigabytes por segundo… pero cuando llega el momento de jugar con las reglas del Big Data, la demanda se vuelve gigantesca, y la única manera de responder a ella es instalando más RAM e incrementando los costos.

Abran paso al último proyecto del MIT. Su objetivo es explorar el potencial de la memoria Flash como alternativa a la RAM tradicional, reduciendo a la décima parte los parámetros de costo y consumo energético. El problema es que la memoria Flash ofrece la décima parte de la velocidad que vemos en la RAM común, pero el nuevo sistema de MIT puede alcanzar niveles de eficiencia similares con las optimizaciones adecuadas. Como referencia, los investigadores determinaron que un racimo de 40 servidores con 10 terabytes de RAM procesando un «data set» de 10.5 TB no es más rápido que 20 servidores con 20 TB de Flash, y si a eso le sumamos el ahorro de energía, la balanza se inclina aún más en favor de la segunda solución. ¿Por qué sucede esto? Los investigadores explican que si un sistema distribuido tradicional debe acceder datos en disco aunque sea el 5 por ciento del tiempo, su rendimiento cae a un nivel similar al del sistema Flash de todos modos.

Entre los algoritmos evaluados encontramos búsqueda de imágenes, una implementación de Google PageRank, y la aplicación Memcached. Otro aspecto fundamental en el rendimiento final del sistema fue haber trasladado una parte del procesamiento (offloading) desde los servidores hacia las controladoras en la memoria Flash. Este «preprocesamiento» elimina el overhead asociado, e incrementa aún más la eficiencia. Aún así, el plan del MIT no es reemplazar a la memoria RAM, sino ofrecer una opción extra para aquellas aplicaciones de Big Data que puedan beneficiarse con la nueva arquitectura.