on {ai}r | Das Skalierungs-Dilemma: Physikalische und konzeptionelle Grenzen des Transformer-Paradigmas – LLMs in der Sackgasse | Finnova
on {ai}r | Das Skalierungs-Dilemma: Physikalische und konzeptionelle Grenzen des Transformer-Paradigmas – LLMs in der Sackgasse | Finnova
Das Transformer-Paradigma dominiert die generative Künstliche Intelligenz und hat durch beeindruckende Skalierungserfolge bei Modellen wie GPT und Llama eine Ära des Fortschritts eingeläutet.
Dieser Vortrag argumentiert jedoch, dass wir uns den fundamentalen Grenzen dieses Ansatzes von zwei Seiten nähern: den Daten und der Hardware.
Zum einen ist die Skalierung der Trainingsdaten nicht beliebig fortsetzbar, da die Menge an qualitativ hochwertigem, verfügbarem Text auf dem Planeten endlich ist und wir uns dieser Grenze rapide nähern.
Zum anderen stossen wir auf harte physikalische Hürden in der Hardware selbst: Die Bandbreite in Rechenzentren entwickelt sich zunehmend zum Flaschenhals, was die massive Parallelisierung auf tausenden GPUs ineffizient macht. Die Kosten für die Inter-Device-Kommunikation steigen exponentiell, während die tatsächlich nutzbare Rechenleistung abnimmt – ein klares Gesetz der abnehmenden Erträge. Die beste Evidenz für diese These liefert der Markt möglicherweise selbst: Wo bleibt das erwartete "Llama 4 Behemoth"?
Des weiteren sind unsere gefeierten LLMs hochentwickelte Papageien, die statistisch das nächste Wort erraten, aber kein echtes Verständnis der Welt besitzen – eine Einsicht, die Yann LeCun mit seiner These der "Low-Bandwidth"-Natur von Text prägnant zusammenfasst.
Echte AGI wird es erst mit einem Paradigma-Wechsel geben.
Speaker:
Martin Biehler, Subject Lead Analytics, Finnova
📅 Datum & Zeit: 29.09.2025, 14:00-15:00
⏱️ Dauer: 1 Stunde
🌐 Sprache: Deutsch
🗣️ Format: Seminar
📍 Ort: Live auf Zoom
Dieses Angebot richtet sich an die allgemeine Öffentlichkeit und KI-Interessierte.
🔗 Teil der on {ai}r-Reihe der Swiss {ai} Weeks in Kooperation mit Wildcard Media.
Weitere Angebote: swiss-ai-weeks.ch/onair