Weekend Model Club: pierwszy trening - od zera do Hugging Face w 4h
Wytrenuj własny model językowy w 4 godziny
Wychodzisz z linkiem do własnych wag na Hugging Face. Trenujesz na naszym żelazie.
Nie fine-tuning cudzego modelu. Nie owijanie API w promptach. Od zera: własny tokenizer, własne dane, własny trening, własne wagi pod twoim nickiem na HF.
Trenujemy na infrastrukturze fabryka.ai — własne GPU, własny stack, ten sam, na którym serwujemy modele w produkcji. Nie kolejka do darmowego Colaba i nie kredyty od sponsora. Robimy dogfooding: dostajesz dokładnie to środowisko, którego używamy na co dzień w labie.
Model będzie mały — kilkadziesiąt milionów parametrów. Będzie gadał po polsku poprawną składnią i zmyślał wszystko, co powie. O to chodzi. W 4 godziny przejdziesz cały pipeline od surowego tekstu do działających wag i zobaczysz, gdzie w tym jest magia, a gdzie zwykła inżynieria.
Co robimy
Budujesz własny tokenizer BPE i sprawdzasz, dlaczego polski jest dla niego trudniejszy niż angielski
Wybierasz swój miks danych z polish-dynaword — ustawy, poezja, forum, wikipedia. Każdy trenuje na czymś innym, więc każdy model brzmi inaczej
Odpalasz trening na naszych kartach i patrzysz na loss na wspólnej tablicy
Bawisz się samplingiem i widzisz, jak temperatura zmienia charakter modelu
Pushujesz wagi, tokenizer i model card na Hugging Face
Twój model ląduje pod endpointem na Fabryka API — możesz go curlnąć z domu
Na koniec czytamy najlepsze i najgorsze outputy z sali
To jest sampler
W fabryka.ai / Slayer AI Lab robimy to codziennie, tylko na większą skalę: tokenizery pod polski, task modele 0.3–4B, continued pretraining, ewaluacje, inference na własnym żelazie w Polsce. Ten warsztat to cztery godziny z tego świata w wersji skondensowanej.
Jeśli po wyjściu chcesz więcej — mamy otwarte drzwi. Discord, wspólne projekty, ścieżka kontrybucji do labu. Kilka osób, które trafiły do nas przez takie rzeczy, robi dziś research na produkcji.
Czego potrzebujesz
Laptop, konto Hugging Face, dostęp do terminala. Python na poziomie "czytam kod i wiem, co robi pętla". Zero doświadczenia z trenowaniem modeli. GPU dostajesz od nas.
Dla kogo to nie jest
Jeśli szukasz wprowadzenia do tego, czym jest LLM, albo warsztatu o promptach i RAG-u — to nie tutaj. Piszemy kod treningowy od pierwszej minuty.
Prowadzi
Kacper Wikieł — Slayer AI Lab / fabryka.ai. Autor datasetu polish-dynaword.