Zum Ausprobieren
Künstliche Intelligenz (KI) verstehen
„Wer versteht, wie ein Modell lernt, weiß auch, wo es irrt.“
Wie lernen Modelle aus Daten? Von einem Sprachmodell im Kleinen bis zum ältesten Werkzeug der Statistik: drei Stücke zum Anfassen, einfach erklärt. Alles rechnet in Ihrem Browser; nichts wird gespeichert oder verschickt.
Kurz vorweg: KI im Alltag
Was hinter dem steckt, was Sie täglich nutzen.
Hinter vielen Dingen des Alltags stecken genau die Methoden, die Sie auf dieser Seite ausprobieren können:
- ChatGPT, ClaudeEin Sprachmodell sagt Wort für Wort das nächste Wort voraus, gelernt aus riesigen Textmengen.Ausprobieren: Sprachmodell
- Alexa und andere SprachassistentenEin neuronales Netz macht aus gesprochener Sprache Text; neuere Assistenten antworten mit einem Sprachmodell.Ausprobieren: Sprachmodell
- Fahrassistent im AutoSpurhalte- und Notbremsassistenten erkennen Fahrspuren, Autos und Menschen im Kamerabild, heute meist mit neuronalen Netzen.Ausprobieren: Neuronales Netz
- Werbung und Vorschläge beim SurfenAus Klicks, Suchen und Käufen schätzen Modelle, was Sie interessiert, oft viele Entscheidungsbäume zusammen mit Regressionen.Ausprobieren: Entscheidungsbaum
- Musik- und FilmvorschlägeLieder und Filme werden wie Wörter zu Zahlen; ähnliche liegen nah beieinander, wie auf der Wortkarte unten.Ausprobieren: Wörter als Zahlen
- Kredit und VersicherungScores schätzen aus wenigen Merkmalen, wie wahrscheinlich ein Kredit zurückgezahlt wird, seit Jahrzehnten mit Regressionen, heute auch mit Bäumen.Ausprobieren: Regression
Vereinfacht; welche Methode ein Anbieter genau nutzt, legt er meist nicht offen.
Alte Methoden, neue Rechenkraft
Was Sie auf dieser Seite ausprobieren können, und warum es erst jetzt alle nutzen.
Künstliche Intelligenz klingt neu. Die Methoden dahinter sind es nicht: Die Gerade durch eine Punktwolke stammt von 1805, der erste Entscheidungsbaum von 1963, das erste lernende künstliche Neuron von 1958. Neu ist die Rechenkraft. Erst als Computer schnell und billig genug wurden, konnte jeder die Methoden nutzen: die Regression mit dem PC in den 1980er-Jahren, als Tabellenprogramme wie Lotus 1-2-3 sie per Befehl rechneten; Entscheidungsbäume und ihre Wälder mit freier Software in den 2000er-Jahren, etwa dem Paket randomForest für R von 2002. Neuronale Netze arbeiteten schon in den 1990er-Jahren, aber klein und für enge Aufgaben: In amerikanischen Banken lasen sie täglich mehrere Millionen Schecks. Tiefe Netze mit vielen Schichten ließen sich damals kaum trainieren, und von 1991 bis 2015 wuchs die Rechenkraft um rund das Millionenfache, vor allem durch Grafikkarten. 2012 gewann ein tiefes Netz, trainiert auf zwei Spiele-Grafikkarten, den wichtigsten Wettbewerb der Bilderkennung; spätestens seit 2015, als Google die Software TensorFlow freigab, kann jeder solche Netze selbst trainieren. Seit Mitte der 2010er-Jahre stecken sie in Spracherkennung und Übersetzung; ChatGPT ist nur das bekannteste Produkt: Zwei Monate nach dem Start Ende 2022 hatte es schätzungsweise 100 Millionen Nutzer.
1958 erstes lernendes Neuron (Rosenblatt) · 1986 Lernen durch Rückrechnen der Fehler (Backpropagation) · 1990er-Jahre kleine Netze lesen in Banken Schecks, tiefe lassen sich kaum trainieren (Hochreiter 1991) · 2012 AlexNet, trainiert auf zwei Spiele-Grafikkarten, gewinnt den Wettbewerb ImageNet (Deep Learning) · 2015 TensorFlow frei für alle · 2017 Transformer, die Bauweise heutiger Sprachmodelle · November 2022 ChatGPT, zwei Monate später schätzungsweise 100 Millionen Nutzer
1963 erster Baum (Morgan und Sonquist) · 1984 CART · 2001 Random Forests, viele Bäume zugleich (Breiman) · 2002 frei für alle im R-Paket randomForest
1805 Legendre, 1809 Gauß · 1980er-Jahre Tabellenprogramme auf dem PC wie Lotus 1-2-3 rechnen sie per Befehl
erfundenWarten auf Rechenkraft für alle
Modell 1 von 3
Ein Sprachmodell im Kleinen
Im Kern machen Claude oder ChatGPT dasselbe: Sie sagen das nächste Wort voraus. Hier mit zehn kurzen Texten statt einem großen Teil des Internets.
1 Lesen und lernen
Das Modell zerlegt die Texte in Wörter und lernt, welches Wort auf die zwei vorigen folgt. Jedes Wort wird dabei zu einer Reihe von Zahlen. Sie können die Texte ändern und es neu lernen lassen.
Einstellungen fürs Lernen
Mehr Zahlen und Neuronen heißt mehr Parameter, mehr Rechenarbeit, und das Modell lernt die Texte eher auswendig.
2 Blick ins Modell
Geben Sie einen Anfang ein. Links stehen die letzten Wörter, daneben ihre Zahlen, in der Mitte die Neuronen, rechts die wahrscheinlichsten nächsten Wörter. Petrol heißt positiv, Pflaume negativ; je kräftiger, desto stärker. Die Linien zeigen, was am meisten zum wahrscheinlichsten Wort beiträgt. Tippen auf ein Wort hängt es an.
3 Weiterschreiben
Das Modell wählt Wort für Wort. Die Kreativität bestimmt, wie oft es vom wahrscheinlichsten Wort abweicht: niedrig wiederholt die Texte, hoch mischt sie neu, zu hoch wird es Unsinn. Oben im Blick ins Modell sehen Sie mit, wie es Wort für Wort rechnet.
4 Wörter als Zahlen
Jedes Wort ist eine Reihe von Zahlen. Auf einer Karte gezeigt, liegen Wörter nah beieinander, die ähnlich gebraucht werden. Niemand hat dem Modell gesagt, welche Wörter zusammengehören.
Was große Modelle anders machen
Sie lernen aus Billionen Wörtern statt aus zehn Sätzen und haben Milliarden Zahlen statt ein paar Tausend. Sie schauen nicht nur auf die letzten zwei Wörter, sondern auf sehr viel Text davor, oft so viel wie ein ganzes Buch, und wägen ab, welche Teile gerade wichtig sind (Aufmerksamkeit, englisch attention). Danach werden sie mit Rückmeldungen von Menschen verfeinert, damit sie hilfreich antworten und nicht nur Text fortsetzen. Das Prinzip bleibt: das nächste Wort vorhersagen.
Modell 2 von 3
Entscheidungsbaum: Fragen nacheinander
Ein Baum stellt Ja-Nein-Fragen nacheinander, bis die Gruppen möglichst rein sind. In der Forschung nutze ich Bäume etwa, um Aktien zu sortieren.
Jeder Punkt ist ein Tag: nach rechts die Temperatur, nach oben die Regenwahrscheinlichkeit. Petrol: spazieren gegangen, Pflaume: zu Hause geblieben. Der Baum lernt die Regel aus den Tagen. Mehr Tiefe heißt mehr Fragen.
Modell 3 von 3
Regression: eine Gerade durch die Wolke
Das älteste Werkzeug der Statistik und bis heute eines der nützlichsten: Wie stark ändert sich das eine, wenn sich das andere ändert?
Jeder Punkt ist ein Sommertag einer Eisdiele: nach rechts die Temperatur, nach oben die verkauften Kugeln. Tippen setzt einen Punkt, Ziehen verschiebt ihn. Die Gerade liegt dort, wo die Quadrate zusammen am kleinsten sind: die Methode der kleinsten Quadrate (OLS).
Wie die Modelle zusammenhängen
Komplexer, aber ineinander geschachtelt: Die Gerade steckt in jedem Modell.
Die drei Modelle sind keine fremden Welten. Ein Entscheidungsbaum ist eine Regression auf Ja-Nein-Fragen und ihre Kombinationen. Ein neuronales Netz ist eine Regression auf Knicke, die es selbst lernt, in vielen Schichten hintereinander. Nimmt man die Knicke weg, bleibt die Gerade. Mehr Komplexität heißt mehr Wechselwirkungen, mehr Nichtlinearität und mehr Rechenaufwand; der Kern bleibt: Zahl plus Zahl mal Merkmal.
- 1Regressiony = a + b × xeine Gerade
- 2Entscheidungsbaumy = a + b1 × [x ≥ s1] + b2 × [x ≥ s1 und z ≥ s2]eine Regression auf Ja-Nein-Fragen; das „und“ ist die Wechselwirkung
- 3Neuronales Netzy = a + b1 × max(0, c1 + d1x) + b2 × max(0, c2 + d2x)eine Regression auf Knicke, die es selbst lernt, in vielen Schichten
- 4Sprachmodelldasselbe, milliardenfach, mit Wörtern statt xein sehr großes Netz
Jeder Punkt ist ein Tag einer Eisdiele übers Jahr. Wird es zu heiß, bleiben die Leute drinnen. Wählen Sie ein Modell und wie komplex es sein darf; darunter steht es ausgeschrieben als Regression.
verkaufte Kugeln
Temperatur in °C
Immer dieselbe Form: Zahl plus Zahl mal Merkmal. Nur die Merkmale werden raffinierter.
Aus der Praxis
Diese Werkzeuge sind für mich kein Spielzeug: Ich nutze sie seit 2013 in der Forschung.
- 2013Ein KI-Modell mit Entscheidungsbäumen für die Aktienauswahl, gerechnet auf dem Harvard-Supercomputer; 2015 bester Beitrag der Jahrestagung der Deutschen Gesellschaft für Finanzwirtschaft.
- 2018Promotion über Textanalyse und maschinelles Lernen in der Kapitalmarktforschung, ausgezeichnet mit dem PLEXUS-Förderpreis für Künstliche Intelligenz in der Finanzwirtschaft.
- HeuteMit Studierenden und Partnern an Universitäten, etwa der UC Berkeley: maschinelles Lernen bei der Fondsauswahl und Modelle für Szenarien.
Alle Projekte in Werdegang und Forschung
Wer wissen möchte, wie sich solche Modelle sinnvoll einsetzen lassen, kann mir gern schreiben: mail (at) benjaminmoritz (dot) de