Weekend Model Club: pierwszy trening - od zera do Hugging Face w 4h

​Wytrenuj własny model językowy w 4 godziny

​Wychodzisz z linkiem do własnych wag na Hugging Face. Trenujesz na naszym żelazie.

​Nie fine-tuning cudzego modelu. Nie owijanie API w promptach. Od zera: własny tokenizer, własne dane, własny trening, własne wagi pod twoim nickiem na HF.

​Trenujemy na infrastrukturze fabryka.ai — własne GPU, własny stack, ten sam, na którym serwujemy modele w produkcji. Nie kolejka do darmowego Colaba i nie kredyty od sponsora. Robimy dogfooding: dostajesz dokładnie to środowisko, którego używamy na co dzień w labie.

​Model będzie mały — kilkadziesiąt milionów parametrów. Będzie gadał po polsku poprawną składnią i zmyślał wszystko, co powie. O to chodzi. W 4 godziny przejdziesz cały pipeline od surowego tekstu do działających wag i zobaczysz, gdzie w tym jest magia, a gdzie zwykła inżynieria.

​Co robimy

• ​Budujesz własny tokenizer BPE i sprawdzasz, dlaczego polski jest dla niego trudniejszy niż angielski

• ​Wybierasz swój miks danych z polish-dynaword — ustawy, poezja, forum, wikipedia. Każdy trenuje na czymś innym, więc każdy model brzmi inaczej

• ​Odpalasz trening na naszych kartach i patrzysz na loss na wspólnej tablicy

• ​Bawisz się samplingiem i widzisz, jak temperatura zmienia charakter modelu

• ​Pushujesz wagi, tokenizer i model card na Hugging Face

• ​Twój model ląduje pod endpointem na Fabryka API — możesz go curlnąć z domu

• ​Na koniec czytamy najlepsze i najgorsze outputy z sali

​To jest sampler

​W fabryka.ai / Slayer AI Lab robimy to codziennie, tylko na większą skalę: tokenizery pod polski, task modele 0.3–4B, continued pretraining, ewaluacje, inference na własnym żelazie w Polsce. Ten warsztat to cztery godziny z tego świata w wersji skondensowanej.

​Jeśli po wyjściu chcesz więcej — mamy otwarte drzwi. Discord, wspólne projekty, ścieżka kontrybucji do labu. Kilka osób, które trafiły do nas przez takie rzeczy, robi dziś research na produkcji.

​Czego potrzebujesz

​Laptop, konto Hugging Face, dostęp do terminala. Python na poziomie "czytam kod i wiem, co robi pętla". Zero doświadczenia z trenowaniem modeli. GPU dostajesz od nas.

​Dla kogo to nie jest

​Jeśli szukasz wprowadzenia do tego, czym jest LLM, albo warsztatu o promptach i RAG-u — to nie tutaj. Piszemy kod treningowy od pierwszej minuty.

​Prowadzi

​Kacper Wikieł — Slayer AI Lab / fabryka.ai. Autor datasetu polish-dynaword.