La popularidad de la inteligencia artificial provoca que los investigadores realicen diferentes pruebas con la intención de conocer cuál es el alcance de esta tecnología. Por ese motivo, hace una semana conocimos que ChatGPT era capaz de superar con éxito un experimento con universitarios al demostrar que no hay examen que se le resista. Y, poco después, también recogimos los datos de un estudio que buscaba saber si una inteligencia artificial es más lista que un humano.
Sin embargo, en esta ocasión han querido dar un giro de tuerca a las habituales investigaciones relacionadas con la inteligencia artificial. Como recoge el portal Ars Technica en una reciente publicación, los modelos de IA de vanguardia como GPT-4 o Gemini a menudo tienen fallos en tareas relacionadas con los análisis visuales, un aspecto que no sucede en el caso de los humanos. Por ello, investigadores de la Universidad de Auburn y la Universidad de Alberta crearon ocho pruebas simples de agudeza visual con respuestas objetivamente correctas para evaluar los modelos de IA. Y, sorpresivamente, los resultados no fueron los esperados.
La precisión se encuentra por debajo del 100% en tareas sencillas
En esencia, las pruebas fueron generadas por código personalizado y no dependen de imágenes preexistentes, reduciendo así la posibilidad de que los modelos de IA puedan resolverlas por memorización. Así, estas requieren un conocimiento nulo de formas básicas en 2D, pero a pesar de ello la IA demostró una precisión por debajo del 100% en tareas simples. No obstante, en aspectos como la identificaciones de letras, modelos como Gemini-1.5 Pro alcanzar un 93% de precisión.
Sin embargo, los resultados son peores si atendemos a otras tareas como contar el número de filas y columnas en cuadrículas en blanco, ya que GPT-4 (el modelo con mejores resultados) ni siquiera alcanzó el 60%. Además, pequeños cambios en los experimentos como aumentar el número de círculos superpuestos provocaron aún más variaciones en los resultados y, por ende, un descenso en el porcentaje de acierto de los mismos. Por ese motivo, aunque la IA haya avanzado mucho en apenas unos meses, este estudio ha demostrado que aún tiene mucho que mejorar en un campo como el de reconocer referencias visuales.
En 3DJuegos | ¿Es peligroso aceptar las cookies? Te contamos qué tipos hay y cómo puedes proteger tus datos gracias a las VPN
En 3DJuegos | ''Es la nueva IBM''. Un experto cree que el reinado de NVIDIA en el terreno de la IA también podría ser efímero
Ver 1 comentarios