ИИ-статИИ / paper readings - Reinforcement Learning via Self-Distillation

​На тази среща ще разгледаме Reinforcement Learning via Self-Distillation – статия за това как езиковите модели могат да се учат от собствените си грешки. При RL моделът прави опит да реши задача и получава награда според резултата. Но ако обратната връзка е само „вярно“ или „грешно“, остава трудният въпрос – коя част от разсъждението е довела до този резултат? В много задачи разполагаме с повече информация. Когато дадена програма не работи, например, средата може да върне съобщение за грешка, което подсказва какво се е объркало.

​Авторите предлагат подход, при който самият модел получава тази допълнителна информация и влиза в ролята на учител. Неговите предвиждания с достъп до обратната връзка се използват за обучение на модела, който трябва да решава задачата без нея. Това е „самодестилацията“ в заглавието – пренасяне на по-информираното поведение в параметрите на същия модел. Подходът напомня на преглеждането на контролно след получаване на поправките – целта е наученото да помогне при следващата задача.

​Ако не сте били на наша среща преди - събираме се хора, които искат да обменят опит в сферата. Присъстващите са на различни нива на познание, но минимум се изисква интерес към техническите детайли. Ако се чудите - елате най-малко да послушате дискусията.

​Срещите се провеждат в г/д свободен формат - един модератор минава по основните точки от статията и всеки може да се включи ако има неясноти или интересни точки за дискусия. Препоръчително е да сте прегледали статията преди това за поне час-два , за да се ориентираме по-лесно по време на срещата.

Статията е много елегантна и лека, достъпна е и за хора без голямо разбиране на RL методите.

​Като материали за подготовка за събитието препоръчвам:

• ​Кратко обяснение на SDPO (5 мин) – Кратко и интуитивно представяне на основната идея от старшия автор на статията.

• ​Интервю с двамата водещи автори (около 1 ч. и 30 мин) – по-подробен разговор за метода и идеите зад него. По-дълго е, но си заслужава.

• ​Постерът към статията – Визуално обобщение с най-важните части от статията.

​Фейсбук групата, в която се организираме: https://www.facebook.com/groups/1369557000588976

​Имаме и Сигнал група където може да ви добавим като дойдете на събитието

​За хора тепърва навлизащи в сферата - хубаво е да прегледате материали за някои основни концепции за deep learning. Поредицата на 3blue1brown е добър ресурс.

​Списък с покритите теми на предния събития тук.