Pocas irrupciones han tenido un impacto tan grande en el mundo tecnológico como lo fue el estreno de ChatGPT. El bot conversacional de OpenAI, un agente basado en inteligencia artificial generativa capaz de elaborar redacciones, escribir código y muchas otras facetas, congrega a diario a cientos de millones de usuarios que sacan partido a sus posibilidades. Sin embargo, en las últimas semanas ha experimentado un bajón tanto de tráfico como de calidad que, en resumidas cuentas, ha llevado a una Universidad a estudiar si realmente ChatGPT es tan fiable como para confiar en él ciertas facetas.
Así, como señala el portal Techspot en una reciente publicación, este estudio pertenece a la Universidad de Purdue. Varios investigadores pertenecientes a la misma plantearon a ChatGPT hasta 517 preguntas sobre Stack Overflow; una vez recogidos los resultados, presentaron los mismos a 12 voluntarios que evaluaron si el bot conversacional estaba en lo cierto. Y, con un criterio basado en la coherencia, la concisión, la exhaustividad y si la información vertida por OpenAI era correcta o no, el resultado no fue muy esperanzador para los intereses de ChatGPT: solo el 48% de las respuestas eran correctas.
Si el error no se puede verificar de forma sencilla, los usuarios no suelen dar con este
Los investigadores del estudio decretaron que más de la mitad de las respuestas que ofreció el bot conversacional eran erróneas. Además, también señalaron que hasta un 77% de esas respuestas eran difusas, una situación que se explica al conocer que algunas de las contestaciones ofrecidas por el agente basado en IA no eran fácilmente contrastables. Sin embargo, lo realmente llamativo es que algunos voluntarios preferían las respuestas erróneas de ChatGPT sobre las correctas por “el tono agradable, confiado y positivo de la IA”.
En resumidas cuentas, los investigadores de la Universidad de Purdue decretaron que la mayor parte de las respuestas son incorrectas porque ChatGPT “es incapaz de entender el contexto subyacente de la pregunta”. Así, este estudio demuestra que, pese a los avances que ha realizado la inteligencia artificial, esta tecnología aún carece de comprensión, razón por la que en ocasiones emite respuestas que no son del todo fiables. Sea como fuere, la propia OpenAI ya reconoció este error y cree que parte del mismo se debe al entrenamiento de la IA basado en conversaciones con usuarios.
En 3DJuegos | Kia y Hyundai recomiendan aparcar al aire libre a raíz del riesgo de incendio de más de 110.000 vehículos de su nueva flota
Ver 7 comentarios