Slayer 149m - retro

​Slayer 149M — release & repro. Od zera do #1 na GLINT

Slayer 139 ( Arek ) - również zostanie zaprezentowany

​Slayer149-ARC od Fabryki AI zdobył najwyższy Overall Score na GLINT Tiny-ML. Model ma 149,3 mln parametrów, przeszedł trening na 31 mld tokenów i osiągnął 66,58% na ARC-Easy. Drugie miejsce według Overall również zajmuje nasz model — Slayer139 1.01.

​Na spotkaniu pokażemy krok po kroku, jak osiągnęliśmy ten wynik i jak odtworzyć nasz proces: od danych i pierwszego treningu po fine-tuning i zgłoszenie na leaderboard.

​Przejdziemy przez:

• ​Dane i tokenizer — dobór mieszanki, przygotowanie zbiorów i kontrolę przecieków z benchmarków.

• ​Architekturę i przepis treningowy — kod, konfigurację, optymalizatory i hiperparametry.

• ​GPU, wydajność i koszty — na czym trenowaliśmy, jak przyspieszaliśmy trening i ile kosztowały eksperymenty.

• ​Drogę do #1 Overall — co dał pretraining, co zmienił fine-tuning i które pomysły nie zadziałały.

• ​Replikację — przygotowanie środowiska, uruchomienie treningu, zapis checkpointów i ewaluację własnego modelu.

​Pokażemy konkretne konfiguracje, wyniki oraz błędy po drodze. Chcemy, żeby po spotkaniu było jasne, jak odtworzyć nasze eksperymenty i zacząć pracę nad własnym małym LLM.

​Dla programistów, badaczy i osób zainteresowanych trenowaniem modeli od zera. Przyda się podstawowa znajomość Pythona i uczenia maszynowego. Na koniec — Q&A.

​Model: Slayer149-ARC na Hugging Face.

Chcesz też robić takie modele?
https://kurs2.fabryka.ai