Un entusiasta de la IA utiliza una Xbox 360 del año 2005 para demostrar que la tecnología debe ser accesible para todos

Hace unos días conocimos que un experimento había conseguido llevar el modelo de lenguaje Llama de Meta a un procesador de 1998. De esta forma, dicha prueba demostró que solo necesitas 128 MB de RAM para acceder a la IA, una tecnología que está cada vez más presente en campos más allá de la industria tecnológica. Y, si este hito ya te pareció increíble, prepárate para saber cuál es la siguiente plataforma que ha conseguido ser compatible con el LLM de Meta: una Xbox 360.

En 3D Juegos

"Los humanos estarán sometidos por las máquinas": una carta publicada hace 161 años predijo con exactitud el principal temor con la IA

Como señala TechSpot, el proyecto llama2.c es una implementación ligera del modelo Llama 2 de Meta AI en código C. Por ende, está diseñada para funcionar en una amplia gama de hardware, razón que le lleva a funcionar en dispositivos locales o plataformas en la nube. Por ello, inspirado por el experimento previo que mencionamos, Andrei David decidió adaptar llama2.c a una consola Xbox 360. Y, con ello, quiso llevar a la IA a un sistema con un procesador Xenon de 3 núcleos a 3,2 GHZ y 512 MB de memoria RAM unificada, dos limitaciones importantes para ejecutar un modelo de lenguaje moderno.

Ejecución exitosa y eficiencia en hardware limitado

La Xbox 360 utilizó una arquitectura big-endian, razón por la que David realizó conversiones de endianness en la configuración y los pesos del modelo. Así, fue necesario ajustar y optimizar extensamente el código original para que pudiera funcionar en el hardware de la consola, incluyendo además la gestión de memoria específica del sistema Xbox. Y, gracias a la arquitectura del sistema que permite a la CPU y la GPU compartir el mismo pool de RAM, dicha condición fue clave para el éxito del proyecto.

Tras múltiples optimizaciones, ya que debía ejecutar los 60 MB del modelo llama2, David logró ejecutarlo en la consola con un simple prompt. Así, no solo demostró que la implementación es viable, sino que se puede trabajar en plataformas con recursos limitados que obligan a priorizar la eficiencia en el uso de la memoria. De esta forma, el éxito del experimento ha motivado a la comunidad a explorar la posibilidad de ejecutar otros modelos ligeros de lenguaje tanto en la Xbox 360 como en otros dispositivos antiguos.

En 3DJuegos | Un documento interno de Meta pone en jaque a la compañía, ya que demuestra que Mark Zuckerberg no tiene escrúpulos a la hora de entrenar a la IA

En 3DJuegos | Las nuevas ofertas de empleo de los padres de ChatGPT revelan que la tecnología que complementará a la IA está a la vuelta de la esquina

Imagen principal de Nicholas Santoianni (Unsplash)