Die Herausforderung des kontinuierlichen Lernens für die nächste KI-Generation
Dieser Blogartikel wurde automatisch erstellt (und übersetzt). Er basiert auf dem folgenden Original, das ich für die Veröffentlichung auf diesem Blog ausgewählt habe:
Why I don’t think AGI is right around the corner.
Die Herausforderung des kontinuierlichen Lernens für die nächste KI-Generation
Ein aktueller Artikel beleuchtet die Grenzen der aktuellen Large Language Models (LLMs) und argumentiert, dass das Fehlen von kontinuierlichem Lernen (Continual Learning) einen erheblichen Engpass für die weitere Entwicklung und den wirtschaftlichen Nutzen von KI darstellt.
Aktuelle LLMs: Beeindruckend, aber nicht transformativ
Obwohl die Fähigkeiten heutiger LLMs beeindruckend sind, argumentiert der Artikel, dass sie noch nicht in der Lage sind, menschliche Arbeitskraft in ausreichendem Maße zu ersetzen. Dies liege nicht an mangelnder Bereitschaft der Unternehmen zur Innovation, sondern an fundamentalen Fähigkeiten, die den Modellen fehlen. Aufgaben, die für Menschen einfach sind, wie das Umschreiben von Transkripten oder das Entwerfen von Inhalten, werden von LLMs oft nur mittelmäßig erledigt.
Das Problem des fehlenden kontinuierlichen Lernens
Der entscheidende Punkt ist, dass LLMs im Laufe der Zeit nicht besser werden, wie es ein Mensch tun würde. Ihnen fehlt die Fähigkeit, aus Fehlern zu lernen, sich an veränderte Anforderungen anzupassen und kontinuierlich Verbesserungen vorzunehmen. Menschen sind nicht nur wegen ihrer "rohen Intelligenz" wertvoll, sondern vor allem wegen ihrer Fähigkeit, Kontext aufzubauen, Misserfolge zu analysieren und Effizienzsteigerungen zu erzielen.
Der Artikel zieht eine Analogie zum Saxophonunterricht: Es sei unmöglich, jemandem das Saxophonspielen beizubringen, indem man ihm nach jedem Fehlversuch detaillierte Anweisungen gibt. Diese Analogie verdeutlicht, dass das bloße Füttern von LLMs mit Daten und Anweisungen nicht ausreicht, um ihnen echtes Lernen zu ermöglichen.
Die Grenzen des Reinforcement Learning (RL)
Reinforcement Learning (RL) wird oft als Lösung für das Problem des kontinuierlichen Lernens angeführt. Der Artikel argumentiert jedoch, dass RL nicht so effektiv ist wie menschliches Lernen, da es kein bewusster, adaptiver Prozess sei. Menschliche Redakteure beispielsweise verbessern sich, indem sie kleine Details bemerken und darüber nachdenken, was beim Publikum ankommt. Es sei schwierig vorstellbar, wie ein Modell einen dedizierten RL-Kreislauf für sich selbst aufbauen könnte, der sich organisch anfühlt und auf verschiedene Arten von Aufgaben und Feedback verallgemeinern lässt.
Kontextfenster sind keine Lösung
Die Idee, lange Kontextfenster zu nutzen, um Sitzungsinformationen zu speichern und LLMs so ein gewisses Maß an kontinuierlichem Lernen zu ermöglichen, wird ebenfalls kritisch betrachtet. Die Verdichtung reichhaltiger, unausgesprochener Erfahrungen in Textzusammenfassungen sei anfällig für Fehler, insbesondere in Bereichen außerhalb der Softwareentwicklung.
Auswirkungen auf die Automatisierung von Wissensarbeit
Der Artikel widerspricht der These, dass die Automatisierung von Wissensarbeit unmittelbar bevorsteht. Selbst wenn die KI-Entwicklung stagnieren würde, würden weniger als 25 % der Wissensarbeit automatisiert werden. LLMs können zwar viele Teilaufgaben zufriedenstellend erledigen, aber ihre Unfähigkeit, Kontext aufzubauen, macht es unmöglich, sie als vollwertige Mitarbeiter einzusetzen.
Hoffnung für die Zukunft
Trotz der aktuellen Einschränkungen äußert sich der Artikel optimistisch über das Potenzial von KI in den kommenden Jahrzehnten. Wenn das Problem des kontinuierlichen Lernens gelöst wird, könnte dies zu einem sprunghaften Anstieg des Werts von KI-Modellen führen. Eine KI, die online lernen kann, könnte sich ohne weitere algorithmische Fortschritte schnell zu einer Superintelligenz entwickeln. Es wird jedoch erwartet, dass frühe Versionen des kontinuierlichen Lernens fehlerhaft sein werden, da Labore dazu neigen, Innovationen schnell zu veröffentlichen.
Konkrete Vorhersagen
Der Artikel wagt auch konkrete Vorhersagen: Bis 2028 wird eine KI in der Lage sein, die Steuererklärung für ein kleines Unternehmen so gut zu erstellen wie ein kompetenter General Manager. Bis 2032 wird eine KI in der Lage sein, so einfach, organisch und schnell wie ein Mensch am Arbeitsplatz zu lernen.
AGI: Ein Rennen gegen die Zeit?
AGI-Zeitleisten sind sehr lognormal verteilt. Es ist entweder dieses Jahrzehnt oder gar nicht. Nach 2030 muss der KI-Fortschritt hauptsächlich aus algorithmischen Fortschritten resultieren. Sollten die Entwicklungen länger dauern, könnte es bis in die 2030er oder sogar 2040er Jahre eine relativ normale Welt geben.
Fazit
Die Lösung des Problems des kontinuierlichen Lernens stellt eine entscheidende Hürde für die weitere Entwicklung von KI dar. Die Fähigkeit, aus Erfahrungen zu lernen und sich an veränderte Umstände anzupassen, ist essenziell, um das volle Potenzial von KI auszuschöpfen und die Automatisierung von Wissensarbeit voranzutreiben. Es stellt sich die Frage, welche Ansätze sich als vielversprechend erweisen werden, um diese Herausforderung zu meistern und den Weg für eine neue Generation intelligenter Systeme zu ebnen.