Tribu iA/Papers. Sesión 4 - Larimar y Nolima
Los LLMs modernos están batiendo records en los benchmarks cada semana, pero hay cosas que todavía no dominan, como por ejemplo la memoria.
Este miércoles 7 de mayo a las 6pm en Tribu IA/Papers:
Por un lado, Larimar - Needle in the Haystack for Memory Based Large Language Models.
¿Cómo encuentran los modelos de lenguaje esa "aguja" en un mar de texto irrelevante?
Este paper presenta a Larimar, un modelo que incorpora memoria externa asociativa y que logra recuperar información clave de contextos larguísimos (hasta 1 millón de tokens), incluso sin haber sido entrenado con contextos tan largos.
Lo interesante es que hace todo esto con operaciones en CPU y sin necesidad de ajustar el modelo a tareas específicas.
Y por otro lado, NOLIMA - Long-Context Evaluation Beyond Literal Matching.
Este paper plantea una crítica muy válida: la mayoría de las pruebas de contexto largo se basan en coincidencias literales.
NOLIMA propone un benchmark mucho más desafiante, donde la pregunta y la respuesta no comparten palabras, sino asociaciones conceptuales que exigen razonamiento.
Por ejemplo, el texto incluye como aguja la palabra Monserrate y luego le preguntamos sobre un sitio de Bogotá, así que tiene que usar su conocimiento "externo" para establecer la asociación. La cosa no sale tan bien.
Las sesiones de Papers con las personas que ganaron el fellowship de 4 meses son los miércoles cada 15 días y todo el mundo puede conectarse por Youtube live para seguirlas.
Prepárate leyendo los papers o escuchando sus correspondientes podcast y regístrate para obtener el link al youtube live.
Agradecemos a nuestros patrocinadores Riscco y Softserve por su aporte para hacer estos espacios posibles.
Al registrarte, aceptas nuestra Política de tratamiento de datos