Abelardo González
Editor - TechLa popularidad de la inteligencia artificial ha provocado que sea la gran protagonista de experimentos de todo tipo. Así, hace unos días conocimos qué podría suceder si se le da cierto poder a un robot, una situación que derivó en la renuncia de todos aquellos robots con los que estaba interconectado. Y, por desgracia, la IA también protagoniza experimentos trágicos llevados a la vida real, ya que el CEO de una empresa decidió eliminar al 90% de su plantilla para sustituirla por esta herramienta.
Sin embargo, como señala TechSpot, en esta ocasión el experimento protagonizado por la IA es mucho más inocente. Así, un grupo de investigadores logró ejecutar un modelo de lenguaje avanzado basado en LLaMA en un PC con Windows 98 que, además, posee un Pentium II con solo 128 MB de RAM. Para ello, utilizaron un Elonex Pentium II 350 MHz, demostrando que es posible correr modelos de IA en sistemas extremadamente modestos. Y, gracias al código de Andrej Karpathy, lograron que la máquina fuera capaz de generar historias coherentes de manera local y a buena velocidad.
Velocidad de procesamiento destacada
El experimento reveló que fueron capaces de alcanzar un rendimiento de 39,31 tokens por segundo con un modelo de 260.000 parámetros. De esta forma, EXO Labs consiguió profundizar en su intento de democratizar el acceso a la inteligencia artificial, razón por la que quiso demostrar cómo es capaz de rendir en dispositivos modestos. Para ello, la firma trabaja en BitNet, una arquitectura basada en transformadores con pesos ternarios que reduce de forma drástica el tamaño de los modelos de IA.
Con BitNet, un modelo de 7.000 millones de parámetros solo requiere 1,38 GB de almacenamiento, permitiendo de esta forma su uso en hardware económico. Así, está diseñado para optimizar la IA para procesadores, eliminando de esta forma la necesidad de contar con tarjetas gráficas costosas. Gracias a ello, no solo aumenta la accesibilidad, sino que también consigue manejar modelos de 100.000 millones de parámetros en una sola CPU. Y, con este experimento, EXO Labs ha demostrado que su lucha por democratizar la IA va por buen camino.
En 3DJuegos | Meta apuesta por la IA para revitalizar sus redes sociales y la presencia de bots comienza a alertar a los usuarios
En 3DJuegos | "Es el momento ChatGPT para la robótica": tras dominar el mercado de la GPU y la IA, NVIDIA vaticina su próximo gran éxito