Investigadores del MIT desarrollan una técnica que combina lenguaje natural y programación, mejorando las capacidades de razonamiento de los modelos de lenguaje.

Investigadores del MIT y otras instituciones han desarrollado una nueva técnica que mejora significativamente las capacidades de razonamiento de los grandes modelos de lenguaje (LLMs) como GPT-4.

Los grandes modelos de lenguaje, como aquellos que impulsan a ChatGPT, han demostrado un rendimiento impresionante en tareas como redactar informes legales, analizar la opinión de reseñas de clientes y traducir documentos. Sin embargo, suelen enfrentarse a desafíos al realizar tareas que requieren razonamiento numérico o simbólico.

Innovación del MIT

Esta nueva técnica, propuesta por el equipo de investigadores del MIT, junto con investigadores de otras instituciones y conocida como programas incrustados en lenguaje natural (NLEPs), aborda las limitaciones nombradas anteriormente e implica pedirle al modelo de lenguaje que genere y ejecute un programa en Python para resolver una consulta del usuario y luego proporcione la solución en lenguaje natural.

Según Hongyin Luo, PhD del MIT y coautor principal del estudio, «queremos que la IA realice razonamientos complejos de una manera transparente y confiable. Aún queda un largo camino por recorrer, pero hemos demostrado que combinar las capacidades de programación y lenguaje natural en modelos de lenguaje grandes es un primer paso prometedor hacia un futuro en el que las personas puedan comprender y confiar plenamente en lo que sucede dentro de su modelo de IA.»

Mayor Precisión y Transparencia

El equipo encontró que los NLEPs permiten a los modelos de lenguaje lograr una mayor precisión en una amplia gama de tareas de razonamiento. Además, el enfoque es generalizable, lo que significa que una instrucción NLEP puede reutilizarse para múltiples tareas.

«Es como una calculadora digital que siempre te da el resultado correcto siempre que el programa sea correcto«, explica Luo. Esto permite a los usuarios investigar el programa y corregir cualquier error en el código directamente, en lugar de tener que volver a ejecutar todo el modelo para solucionar problemas.

Metodología

Un NLEP es una plantilla de resolución de problemas con cuatro pasos. Primero, el modelo llama a los paquetes necesarios para resolver la tarea.

Luego, importa representaciones en lenguaje natural del conocimiento requerido (como una lista de los cumpleaños de los presidentes de EE. UU.).

En el tercer paso, el modelo implementa una función que calcula la respuesta. Finalmente, el modelo presenta el resultado en lenguaje natural con una visualización de datos automática, si es necesario.

Aplicaciones y Beneficios

Los NLEPs han logrado una precisión superior al 90% al solicitar a GPT-4 que resuelva una serie de tareas de razonamiento simbólico, como rastrear objetos mezclados o jugar un juego de 24, así como tareas de seguimiento de instrucciones y clasificación de textos.

El equipo también encontró que los NLEPs mostraban una precisión un 30% mayor que los métodos de solicitud específicos para cada tarea.

Además de mejorar la precisión, los NLEPs podrían mejorar la privacidad de los datos. Dado que los programas NLEP se ejecutan localmente, los datos sensibles de los usuarios no necesitan enviarse a empresas como OpenAI o Google para ser procesados por un modelo.

Futuro de los NLEPs

Sin embargo, un NLEP depende de la capacidad del modelo para generar programas, por lo que la técnica no funciona tan bien para modelos más pequeños que han sido entrenados con conjuntos de datos limitados.

En el futuro, los investigadores planean estudiar métodos que podrían hacer que los modelos de lenguaje más pequeños generen NLEPs más efectivos. También quieren investigar el impacto de las variaciones de solicitudes en los NLEPs para mejorar la robustez de los procesos de razonamiento del modelo.

El avance, que se presentará en la Conferencia Anual del Capítulo Norteamericano de la Asociación de Lingüística Computacional, ha sido apoyado, en parte, por el Centro para la Inteligencia Perceptual e Interactiva de Hong Kong.

Este desarrollo marca un paso importante hacia la creación de modelos de lenguaje que no solo sean poderosos, sino también comprensibles y confiables para los usuarios, lo que podría transformar la manera en que interactuamos con la inteligencia artificial en una variedad de contextos.

La innovación del MIT con los programas incrustados en lenguaje natural representa un avance significativo en el campo de la inteligencia artificial, mejorando tanto la precisión como la transparencia de los modelos de lenguaje grandes. Esta técnica promete hacer que las interacciones con la IA sean más confiables y comprensibles, allanando el camino para futuras aplicaciones en una variedad de campos.