Marek Mysior, Janusz Marcinkowski & Jan Blew: gdy 14 < 12, czyli co naprawdę potrafi genAI w zadaniach inżynierskich.
Łatwo robić marketing na rekordach benchmarków, wielkich zespołach badawczych i milionach dolarów przepalonych na trening oraz inferencję. Ale trochę trudniej, kiedy model użyty do zadania inżynierskiego z pełnym przekonaniem oznajmia, że 14 < 12.
Marek Mysior i Christian Iniotakis sprawdzili 86 zadań matematycznych, projektowych i optymalizacyjnych, analizując łącznie ponad 7 tysięcy odpowiedzi LLM-ów (link do artykułu: https://link.springer.com/article/10.1007/s00163-026-00504-1).
Modele radziły sobie wyraźnie lepiej z ogólnymi zadaniami matematycznymi niż z problemami inżynierskimi o porównywalnej złożoności. Szczególnie źle znosiły geometrię, wieloetapowe obliczenia i sytuacje, w których trzeba pogodzić sprzeczne ograniczenia.
To dość niewygodny wynik, jeśli próbujemy przenieść narrację z benchmarków prosto "na produkcję". W prawdziwym świecie nie interesuje nas przecież, że model średnio wypada świetnie. Ważne jest dla nas czy akurat ten wynik, na podstawie którego ktoś dobierze przekrój, policzy obciążenie albo podejmie decyzję, nie jest przypadkiem bardzo elokwentnie napisanym błędem.
A z elokwencją bywa wręcz zabawnie... w badaniu błędne odpowiedzi były przeciętnie dłuższe od poprawnych (sic!).
Ilustracja w tym zaproszeniu też nie jest przypadkowa. To Euklides (fragmencik) w wersji Olivera Byrne’a z 1847 roku - próba takiego zapisania geometrii, żeby można ją było łatwiej zobaczyć, a nie tylko opisać literami i symbolami. Dziś mamy czasem problem dokładnie odwrotny - model potrafi bardzo dobrze opisać figurę, której najwyraźniej nie „widzi”. To rozwinięcie tematów, które Marek poruszał podczas czerwcowej konferencji Isegoria o genAI w edukacji w kontekście STEM.
Za kilka dni będziemy go o opisane wyniki wypytywać podczas webinaru razem z Januszem Marcinkowskim. Sprawdzimy, czy na pewno przeczytał, to co mu AI na potrzeby tej publikacji opracowało😁
Według aktualnego planu Janusz i ja grillujemy Marka.
Chociaż równie możliwe, że Marek i ja będziemy grillować Janusza. Hmm... albo Janusz i Marek mnie... W sumie nieważne! Jedno jest bowiem pewne - będzie na pewno ciekawie, a sam układ sił będzie równie niedeterministyczny jak LLM-y. 😁
Będziemy też rozmawiać o tym, co naprawdę wynika z takich badań dla edukacji i praktycznego użycia AI.
Czego tradycyjnie NIE będzie? Ani lamentu, ani zachwytu. Rozmawiamy z danymi i otwartą głową.
Kiedy i jak:
👉środa, 30 września, 20:00–21:30, on-line
👉wstęp jak zwykle wolny! :)
Tradycyjnie będzie oczywiście czas na pytania - zachęcamy, żeby przyjść z własnym przypadkiem albo wątpliwością. Jeśli spotkanie potoczy się tak ciekawie jak filmy Tarantino - z pewnością nagranie później też udostępnimy:)
Serdecznie zapraszamy! :)
Prelegenci:
Marek Mysior - adiunkt na Politechnice Wrocławskiej, specjalizujący się w badaniach i rozwoju metod projektowania i konstruowania wynalazczego (TRIZ, Design Thinking, Inżynieria Wynalazczości). Członek zespołu Clarin. Jest współautorem sześciu zgłoszeń patentowych, w tym wdrożonego patentu europejskiego, oraz licznych publikacji naukowych. W swojej pracy łączy inżynierię z nowoczesnymi technikami Sztucznej Inteligencji. Tworzy i bada narzędzia wykorzystujące uczenie maszynowe, NLP i Generatywną SI do rozwiązywania problemów technicznych. Opracowywane rozwiązania samodzielnie buduje i testuje, weryfikując ich przydatność w rzeczywistych zadaniach inżynierskich.
Janusz Marcinkowski - praktyk, doradca, edukator, gościnny wykładowca. Konsultant i strateg AI oraz transformacji cyfrowej, który pomaga organizacjom odkrywać potencjał sztucznej inteligencji, automatyzacji i nowoczesnego środowiska pracy. Od ponad 20 lat wspiera firmy w skutecznym wdrażaniu AI, zarządzaniu zmianą organizacyjną i opracowywaniu strategii przyszłości pracy. Angażuje się w inicjatywy edukacji i wspierania talentów w obszarach STEM oraz innowacji.
Jan Blew - menedżer, researcher i analityk biznesowy z 25-letnim doświadczeniem w branży IT (przez 20 lat współprowadził software house), konsultant i wykładowca. Specjalizuje się w innowacjach, AI, analityce danych, rozwoju produktów cyfrowych oraz facylitacji pracy zespołów. Współpracował m.in. z PwC, w obszarze retailu (Answear.com, Bytom, Gino Rossi), realizował projekty dla IBM oraz w ramach funduszy NCBiR. Współpracuje z Akademią ATA WAB) na potrzeby m.in. zajęć z zakresu sztucznej inteligencji, analizy danych w biznesie i innowacji. Inicjator społeczności „AI vista360 — obiektywnie o AI" (https://www.linkedin.com/groups/9810710/) oraz konferencji „genAI & Edukacja - Isegoria". Publikuje również analizy o styku technologii, socjologii, humanistyki i geopolityki (Substack EN: https://substack.com/@janblew).