Tribu iA/Papers. Sesión 6 - LoRA y MiniLLM
¿Te interesa entender cómo adaptar y comprimir modelos de lenguaje grandes sin perder su poder?
En esta sesión vamos a conversar dos papers clave para cualquier persona que quiera estar al día con la eficiencia y escalabilidad en modelos de IA:
📄 Paper 1: LoRA: Low-Rank Adaptation of LLMs
¿Sabías que para adaptar GPT-3 a una tarea específica podrías reducir los parámetros entrenables hasta en 10,000 veces? LoRA propone una forma ultra eficiente de adaptar modelos congelando los pesos originales y añadiendo matrices entrenables de bajo rango. Así, mejora el rendimiento sin penalizar en memoria ni latencia.
→ Escucha el resumen en nuestro podcast
📄 Paper 2: MiniLLM: Knowledge Distillation of LLMs
Distilar conocimiento de modelos grandes a modelos más pequeños es todo un arte. MiniLLM propone una innovación clave: usar divergencia de Kullback-Leibler reversa, para que el modelo estudiante aprenda lo más importante sin copiar ruido. Una forma potente de construir modelos más rápidos, livianos y precisos.
→ En nuestro podcast encuentras el resumen de este paper
Cada 15 días, los miércoles, conversamos en Tribu iA / Papers sobre dos papers clave del mundo de la inteligencia artificial.
🟣 Te invitamos a conectarte por YouTube Live y sumarte a la conversación.
📚 Prepárate leyendo los papers o escuchando sus correspondientes podcasts.
📝 Regístrate para recibir el link al Live y no perderte nada.
Agradecemos a nuestros patrocinadores Riscco y Softserve por hacer estos espacios posibles.
Al registrarte, aceptas nuestra Política de tratamiento de datos.