La Conferencia de Procesamiento de Lenguaje Natural Empírico (EMNLP) es un evento anual que reúne a expertos de todo el mundo para presentar y discutir los últimos avances en este campo de la inteligencia artificial. En la edición de este año 2023, la cual se llevará a cabo en Singapur, se presentarán dos papers publicados por investigadores de Cenia, los cuales han sido seleccionados para ser presentados en el salón Main Tracks de la conferencia, un espacio distinguido y reservado para los artículos que año a año reciben un alto valor desde la comunidad científica.
Cristián Buc, líder del equipo de investigación de Cenia, y uno de los autores de los dos papers aceptados en el Main Track de la conferencia, señaló que el equipo se encuentra muy contento debido a que ser aceptados dentro de esta categoría presenta un desafío sumamente competitivo, “hay alrededor de un 15% o 16% de chance de que un paper sea aceptado dentro de los Main Tracks de una conferencia, es un porcentaje súper bajo y por eso es tan competitivo publicar en EMNLP (…) estamos muy felices porque, junto al paper de Valentino, Alexander y colegas (publicado en COLT 2023), estas publicaciones son los primeros dos papers que son presentados en una conferencia de rango “A*” que sacamos desde el grupo Cenia”.
Los investigadores de Cenia: Eugenio Herrera, Tomás Vergara, y Cristián Buc, junto a Pablo Leon-Villagra (Brown University) y Marc Lluis-Vives (Leiden University), publicaron un paper en el main track de la conferencia y lleva como título: “Large Language Models are biased to overestimate profoundness”, explorando los sesgos que existen en los modelos que procesan y trabajan con lenguaje natural, como Chat GPT.
Cristián explica que existe un concepto denominado “awe-inspiring sentences” o “non-sentical sentences” que hace referencia a aquellas frases que, si bien pueden sonar bien, no tienen sentido alguno. Al respecto, uno de los principales hallazgos publicados en este paper da cuenta que, a diferencia de los humanos, los modelos de lenguaje natural como Chat GPT y otros, tienen tendencia a sobrevalorar el nivel de significado que tienen las “awe-inspiring sentences”.
“Lo que nosotros mostramos, es que los grandes modelos de lenguaje, a diferencia del humano, tienden a sobrevalorar el sentido de estas frases, aunque no tengan sentido alguno, lo que da cuenta de la existencia de sesgos dentro de estos modelos. (…) Además, nuestros resultados sugieren que este sesgo podría ser acentuado por el uso de reinforcement learning from human feedback (RLHF); una manera de fine-tunear los modelos usando el feedback humano.”
El segundo paper: “Deep Natural Language Feature Learning for Interpretable Prediction“, presentado desde Cenia y que también ocupará un lugar en el Main Track de la EMNLP 2023 es autoría de los investigadores: el estudiante Felipe Urrutia, y los investigadores Cristián Buc y Valentín Barriere.
Este segundo artículo aborda la interpretabilidad de los modelos de inteligencia artificial; es decir, intentar entender cómo procesan sus respuestas ante los distintos tipos de tareas que se le solicitan. Usualmente estos modelos funcionan como una caja en la que entra una información determinada y, al realizarle preguntas y solicitarle tareas específicas, sale desde la caja una respuesta diferente.
¿Cómo llega la inteligencia artificial a tomar una decisión y dar una respuesta determinada para la tarea que se le solicita? La respuesta es compleja, ya que la forma en la que funcionan estos modelos suele ser muy difusa. Por esta razón se le llama “caja negra” a todo el proceso de pensamiento que realizan los modelos de inteligencia artificial. En este sentido, el artículo publicado por los investigadores del centro aporta otra forma en la que los modelos pueden trabajar, procesar información y además presentarla de manera que sea más ordenada y transparente para su entendimiento.
“Hoy en día la regulación está pidiendo que los modelos de IA sean claros, sean transparentes con lo que está pasando” (…) nuestro trabajo, y personalmente yo, me muevo en esta línea; en tratar de que los modelos sean más transparentes, evitar cajas negras, evitar opacidad, porque eso conlleva un montón de otras problemáticas, por ejemplo, que los modelos aprendan sesgos o patrones indeseados”, señaló Felipe Urrutia, estudiante de Magíster en Ciencias de la Computación de la Universidad de Chile y primer autor de este artículo.
“La idea de incluir un modelo de árbol es partir al revés. Es que partamos de un modelo que sea fácil de entender y eso nos ayudará para poder observar qué es lo que está pasando dentro de los modelos a medida que van procesando información, para poder explicarlo, y a su vez identificar y poder cortar sesgos que no queramos (…) El modelo de árbol permite desglosar una tarea más compleja en tareas sencillas, y de este modo, incluso predecir el resultado de la tarea principal.”
Si bien los papers aún no han sido difundidos públicamente, se espera que estén disponibles para su revisión durante el mes de noviembre, previo al inicio de la conferencia EMNLP, la cual tendrá lugar el próximo 6 de diciembre de 2023 en Singapur.
Por: Emilio Belmar Santibáñez
