OpenAI anuncia un nuevo enfoque para combatir las ‘alucinaciones’ de la IA después de fabricaciones legales

El fabricante de ChatGPT, OpenAI, ha anunciado que ha encontrado un nuevo enfoque que ayudará a prevenir las "alucinaciones" en la inteligencia artificial tras un incidente en el que el modelo de lenguaje grande (LLM) del líder de la IA produjo casos fabricados para un abogado de Nueva York.

Los modelos de OpenAI ahora serán recompensados por cada paso del proceso en el que obtengan una respuesta correcta en lugar de recompensar al modelo por la respuesta final general, dijeron los investigadores de OpenAI en un artículo publicado el miércoles. La compañía llamó al nuevo enfoque supervisión de procesos, a diferencia de su enfoque anterior llamado supervisión de resultados.

"Además de impulsar el rendimiento en relación con la supervisión de resultados, la supervisión de procesos también tiene un importante beneficio de alineación: entrena directamente al modelo para producir una cadena de pensamiento respaldada por humanos", dijeron los investigadores.

Los investigadores de OpenAI señalaron que los LLM han "mejorado mucho" en la realización de razonamientos de varios pasos en los últimos años, pero aún producen "errores lógicos" llamados "alucinaciones".

La periodista tecnológica emergente de Quartz, Michelle Cheng, describió la alucinación de IA como un caso en el que un modelo de IA proporciona "información inexacta o cosas falsas".

El estratega del gobierno y de la empresa, Bernard Marr, se refirió a la alucinación en la tecnología como la generación de resultados que pueden sonar correctos pero que son "objetivamente incorrectos o no están relacionados con el contexto dado".

Marr proporcionó un ejemplo en el que un usuario preguntó a ChatGPT cuándo Leonardo da Vinci pintó la Mona Lisa, a lo que el chatbot de OpenAI dijo que la pintura se creó en 1815. Según el Getty Center, la Mona Lisa se pintó entre 1503 y 1506.

Si bien los investigadores de OpenAI creen que mitigar los errores lógicos de un modelo de IA desempeñaría un papel crucial para ayudar a los modelos a ser más capaces de resolver problemas de razonamiento, existe escepticismo sobre si el enfoque de supervisión de procesos haría lo suficiente para evitar que un modelo de IA alucine.

"Simplemente no creo que esto por sí solo mitigue de manera significativa las preocupaciones sobre la información errónea y los resultados incorrectos... cuando en realidad se usa de forma salvaje", Ben Winters, líder del proyecto de IA y derechos humanos en Electronic Privacy Information. Centro, le dijo a CNBC.

Suresh Venkatasubramanian, director del centro de responsabilidad tecnológica de la Universidad de Brown, le dijo al medio que cree que el documento era más una observación preliminar ya que no estaba claro si el documento fue revisado por pares.

Karl Cobbe, investigador de matemáticas en OpenAI, aclaró a CNBC que OpenAI no inventó el enfoque de supervisión de procesos, pero el líder de IA estaba ayudando a impulsar el enfoque en el espacio de IA.

El lanzamiento del periódico se produjo días después de que surgieran informes sobre un abogado en Nueva York que enfrentaba posibles sanciones después de que redactó un informe legal utilizando casos judiciales inexistentes proporcionados por ChatGPT.

El abogado Steven Schwartz de Levidow, Levidow & Oberman debe comparecer ante el tribunal para una audiencia de sanciones el 8 de junio después de que admitió haber usado ChatGPT para un escrito en el caso de lesiones personales de un cliente contra Avianca Airlines, informó Reuters.

Schwartz dijo en una presentación que "nunca" usó el chatbot antes del caso en cuestión y que no tenía la intención de "engañar" a Avianca o al tribunal. Agregó que en sus más de 30 años de práctica, nunca ha sido citado por ninguna mala conducta legal antes del incidente.

El abogado de Nueva York dijo que "lamenta mucho" el uso de IA generativa y que nunca volverá a hacerlo sin una "verificación absoluta" de la autenticidad de un modelo.

A principios de esta semana, el juez Brantley Starr de Texas agregó un nuevo requisito para cualquier abogado que comparezca en su tribunal: no usar ChatGPT ni ninguna otra IA generativa.

Si AI redactó una presentación, el abogado debe asegurarse de que la presentación haya sido verificada "por un ser humano" para verificar su precisión, dijo Starr en la orden , según el erudito legal Eugene Volokh.

No está claro si el juez Starr emitió la orden después de que saliera a la luz el caso de Schwartz.

A mediados de marzo, el director ejecutivo de OpenAI, Sam Altman, dijo en una entrevista con ABC News que cree que la IA era la "tecnología más grande que la humanidad haya desarrollado hasta ahora", pero que la compañía estaba "un poco asustada por esto".

El mes pasado, Altman se presentó ante los legisladores en el Capitolio para hablar sobre la IA. Dijo que OpenAI quería ser "claro" sobre las "inconvenientes" de la IA y que estaba dispuesto a cooperar con el gobierno para mitigar los riesgos de la tecnología.

El liderazgo de la compañía también propuso recientemente que el gobierno establezca un organismo regulador similar a la Agencia Internacional de Energía Atómica (OIEA) para mantener la tecnología bajo control.