CIENCIA

IBM creó una IA capaz de defenderse de los humanos en un debate

En los últimos años, la IA ha pasado de ser un tema de nicho a un campo explosivo. La IA puede mejorar la calidad de audio y video, animar imágenes fijas de personas fallecidas hace mucho tiempo e identificarlo a partir de una huella anal. ¿Algo que no ha podido hacer? Discuta con eficacia en el contexto de un debate formal.

Para superar este problema, IBM creó Project Debater, un programa de desarrollo de inteligencia artificial centrado en exactamente cómo suena. Muchos proyectos de IA, especialmente los que se centran en los juegos, tienen un claro ganador y un perdedor en función de la evaluación de criterios numéricos, como piezas capturadas, vidas perdidas o la relación entre asesinatos y muertes. Debatir con eficacia sobre un humano requiere un conjunto de habilidades muy diferente.

Un trabajo reciente en Naturaleza describe los resultados de una prueba de 2019 entre Project Debater y el campeón de debate reconocido mundialmente Harish Natarajan. La IA y el individuo debatieron si la educación preescolar debería ser subvencionada. A cada lado se le dio 15 minutos para el tiempo de preparación sin acceso adicional a Internet, que Project Debater usó para clasificar a través de su propia base de datos interna de contenido. Ambas partes dieron un discurso de cuatro minutos, seguido de una declaración de clausura de dos minutos.

En última instancia, se consideró que Natarajan había ganado el debate, pero Project Debater se mantuvo firme, formando declaraciones y argumentos lógicos a lo largo de la discusión.

Los investigadores que desarrollaron Project Debater no pueden compararlo con otros sistemas de este tipo. No hay ninguno. En cambio, utilizaron DP para generar un solo discurso de apertura y lo compararon con varios otros métodos.

En el gráfico siguiente, “Summit” es un sistema de resumen de varios documentos, Speech-GPT2 es un “modelo de lenguaje finamente ajustado” y Arg-GPT2 se generó mediante la concatenación de argumentos. Arg-Search se refiere a discursos extraídos usando ArgumenText. Arg-Human1 y Arg-Human2 se refieren a un enfoque híbrido que probó el módulo de minería de argumentos de Project Debater junto con la autoría humana y la verificación. Finalmente, se incluyeron discursos de expertos humanos.

El gráfico anterior muestra la puntuación de referencia, donde una puntuación de 5 indica “Totalmente de acuerdo” y una puntuación de 1 significa “Totalmente en desacuerdo”. Se pidió a los lectores que respondieran la siguiente pregunta: “Este discurso es un buen discurso de apertura para este tema”. Este gráfico no es una prueba completa de las capacidades de Project Debater, solo evalúa los discursos de apertura, pero demuestra que el sistema es capaz de producir argumentos coherentes. IBM tiene un sitio web para el proyecto con enlaces al documento técnico, el podcast y el debate de 2019 sobre los subsidios preescolares si desea ver más sobre cómo funcionó el sistema en acción.

La cuestión de quién gana un debate siempre será subjetiva, y los seres humanos todavía superan claramente al Debater de proyectos de IBM. Por ahora, todavía estamos muy lejos de Data, pero también hemos recorrido un largo camino desde Eliza.

Publicaciones relacionadas

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Botón volver arriba
Cerrar
Cerrar