Ein Blick in die «Seele» der KI

Olten Zum Vortrag «Was steckt hinter Künstlicher Intelligenz?» geladen hatte die Naturforschende Gesellschaft des Kantons Solothurn (NGSO). Mit Fritz Gassmann konnte sie einen Referenten für sich gewinnen, der das renommierte Paul-Scherrer-Institut während vieler Jahre geprägt und dort mitunter das Schülerlabor «iLab» ins Leben gerufen hatte, das jährlich Tausenden von Schülern die Natur- und Ingenieurwissenschaften näherbringt. Gassmann ist seit 2012 pensioniert, die Wissenschaft liegt ihm als Präsident der Naturforschenden Gesellschaft Zürich indes noch immer am Herzen, weshalb er auch die Entwicklung der Künstlichen Intelligenz mit grossem Interesse verfolgt.

«Fast alle kennen ChatGPT», sagt Gassmann, «aber kaum jemand weiss, was diese drei Buchstaben wirklich bedeuten.» GPT steht für Generative Pre-trained Transformer. Besonders das G und das P ist laut Gassmann der eigentliche Kern der heutigen KI-Revolution. Aber immer der Reihe nach.

Generativ statt deterministisch

Im Unterschied zu herkömmlichen Programmen, die strikt nach Regeln arbeiten, erzeugt ein GPT-Modell Antworten wahrscheinlichkeitsbasiert. «Statt stur zu sein, ist die KI enorm flexibel», erörtert Gassmann. Während klassische Software-Programme wie «Word» bei fehlerhaften Eingaben nicht weiterwissen, liefere KI stets eine Antwort – wenn auch nicht immer eine korrekte. Wo die klassische Software auf eine gleiche Eingabe stets dieselbe Lösung präsentiert, ist dies bei der KI anders. Erteilt man der KI beispielsweise dreimal mit derselben Eingabe den Befehl, ein Bild der Mona Lisa zu generieren, spuckt sie als Resultat drei verschiedene Mona-Lisa-Variationen aus.

Diese Eigenschaft sei kein Programmierfehler, sondern systembedingt, so Gassmann. Antworten sind nicht eindeutig richtig oder falsch, sondern bewegen sich auf einer fliessenden Bandbreite. Gassmann vergleicht dies mit einem «mittelmässigen Schüler», der oft nahe an der richtigen Lösung liegt, sie aber nicht immer exakt trifft.

Das generative Prinzip, das «G» von GPT, geht auf Arbeiten von Geoffrey Hinton zurück, Nobelpreisträger für Physik im Jahr 2024. Hinton zeigte in den 1980er-Jahren auf, dass künstliche neuronale Netze selbstständig Muster erkennen und speichern können, statt stur nach festen Regeln zu arbeiten.

Vortrainiert wie ein Gedächtnis

Der zweite wichtige Aspekt von KI ist das «P» (Pre-trained; «vortrainiert»). Bevor ein Modell eingesetzt wird, durchläuft es zuerst eine lange Lernphase mit riesigen Datenmengen. Dabei speichert es nicht Wissen wie ein Lexikon ab, sondern bildet ein verteiltes Gedächtnis aus Mustern und Zusammenhängen innerhalb der Datenmenge.

Dieses Prinzip geht auf den Physiker John Hopfield zurück (ebenfalls Physik-Nobelpreisträger 2024), der zeigte, dass Erinnerung nicht an einzelne Speicherorte gebunden ist, sondern über viele Verbindungen hinweg entsteht. Daher gebe es auch kein «Grossmutter-Neuron», wie Fritz Gassmann ausführt. Damit ist die Idee gemeint, dass es im Gehirn eine einzelne Nervenzelle gibt, die für eine ganz bestimmte Person oder Sache zuständig ist – zum Beispiel genau ein Neuron, das nur dann feuert, wenn man seine Grossmutter sieht oder an sie denkt. Gassmann veranschaulicht dies anhand von Alzheimer: Die Krankheit zerstört nach und nach Nervenzellen und Verbindungen. Erinnerungen verschwinden aber nicht plötzlich, sondern schrittweise. Auch ein vortrainiertes KI-Modell funktioniert, indem Informationen über Millionen von Gewichtungen verteilt sind und es verliert sein Reproduktionsvermögen (Erinnerungsvermögen) schrittweise, je mehr Gewichtungen ausfallen.

Der letzte Aspekt von GPT, das «T», (Transformer) ist schliesslich die spezielle Architektur, die dafür sorgt, dass das Modell Wörter und Zusammenhänge im Kontext erkennen kann. Sie besteht aus Schichten von künstlichen Neuronen, die Aufmerksamkeit auf relevante Teile eines Textes richten, Informationen gewichten und so die Grundlage für flüssige, zusammenhängende Antworten schaffen.

Die zwei Seiten der Medaille

Die KI verarbeitet die Informationen in einem zweistufigen Prozess: Sie fasst grosse Mengen an Details in einem komprimierten inneren Modell zusammen und rekonstruiert daraus dann wieder die eingegebenen Informationen. Beim Training sorgt ein ausgeklügeltes Programm dafür, dass die Gewichtungen in vielen kleinen Schritten nach und nach so justiert (ausgebildet) werden, dass die Rekonstruktion (die Erinnerung) mit den zu lernenden Informationen übereinstimmt. Die justierte KI kann nun für Anfragen benutzt werden. Dabei entstehen als Antworten nicht nur exakte Wiederholungen des Gelernten, sondern auch neue Varianten. «Die KI drückt jeden Input in die Nähe gelernter Inhalte», erklärt Gassmann. Genau darin liege ihre Form von Kreativität. Gassmann formuliert es poetisch: Die KI sehe die Welt «durch die Brille dessen, was sie gelernt hat». Dieses Problem bestehe jedoch auch in der Wissenschaft bei neuen Entdeckungen: «Die Forscher sehen das, was sie gelernt haben. Sie haben für alles eine Erklärung und sehen gar nicht, dass da womöglich etwas ist, das sie mit ihrem Wissen gar nicht erklären können», so Gassmann.

Auch treten bei der KI Falschinformationen oder Verzerrungen auf. Dies sei jedoch kein Fehler, sondern schlicht die Kehrseite des Mechanismus; auch bei Menschen hat Kreativität habe positive wie auch negative Seiten. Der Malerei, Poesie, Musik etc. stehen Fake-News, Verschwörungstheorien, Halluzinationen und dergleichen gegenüber.

Schwierige Zukunftsprognosen

Auf die Frage aus dem Publikum, wo Fritz Gassmann KI in einigen Jahrzehnten sehe beziehungsweise was KI auf den Menschen für einen Einfluss haben wird, antwortete dieser mit einem Schmunzeln: «Man hat um das Jahr 1900 einer Expertenkommission der ETH Zürich die Frage gestellt: ‹Was hat Strom für eine Bedeutung für die Zukunft?› Die hochgradigen Experten der ETH Zürich haben geantwortet: ‹Strom wird nie eine wirtschaftliche Bedeutung haben.› Kurz: Ich kann sagen, was ich will; man kann darauf zählen, dass ich völlig daneben liege. Die Bedeutung aus meiner Sicht wird fundamental sein, doch am Ende hängt es von uns ab, in welche Richtung sich das Ganze entwickeln wird.»

David Annaheim