Backpropagation beim Training künstlicher Intelligenz
Künstliche Intelligenzen müssen trainieren, damit sie korrekte Antworten ausgeben. Ohne Training bekämen wir nur Kauderwelsch von der KI. Das Training läuft über das neuronale Netzwerk, das das „Gehirn“ einer KI darstellt. Eine der etabliertesten Trainingsmethoden ist Backpropagation.
So trainiert eine künstliche Intelligenz
Das Training einer KI ist ein langwieriger Prozess. Bevor ChatGPT im November 2022 öffentlich gemacht wurde, durchlief das neuronale Netzwerk GPT-3 unzählige Trainingseinheiten. Für einen Eindruck davon, wie aufwendig dieser Trainingsprozess war, müssen wir uns nur ins Gedächtnis rufen, dass ChatGPT über Jahre auf mehreren Systemen gleichzeitig trainiert wurde und die Gesamtzeit dafür ungefähr 300 Jahre betragen würde.
Wenn wir bedenken, dass wir als Menschen im Durchschnitt ungefähr 70 Jahre haben, um zu lernen, zeigt sich, dass uns die KI auf gewisse Weise bereits überlegen ist.
Trotzdem gibt es immer Einschränkungen und Fehler, wenn wir KI mit Menschen vergleichen. Das liegt daran, dass die KI nicht im eigentlichen Sinne denkt, sondern sich Zusammenhänge antrainiert, die dann zu den Ergebnissen führen.
Diese Zusammenhänge müssen aber erst entstehen. Wenn wir Menschen beispielsweise das Sprechen lernen, bestehen in unserem Gehirn die Zusammenhänge bereits. Wir müssen sie dann nur noch über die Lippen bringen.
Für eine KI ist das schwieriger, denn sie kennt nichts. Null. Nada. Es ist im Grunde keinerlei Basis vorhanden. Deshalb arbeitet eine KI ausschließlich mit Zahlenwerten. Diese Zahlenwerte stellt sie durch Training in Verbindung miteinander und so ergeben sich dann irgendwann korrekte Ergebnisse.
Ein Beispiel dafür ist der Chatbot ChatGPT. Die KI soll uns Fragen beantworten. Aber woher soll die KI die korrekte Antwort wissen? Genau. Sie muss lernen.
Dafür bekommt sie die entsprechende Frage gestellt, aber die korrekte Antwort wird ihr nicht verraten. Es ist die Aufgabe der KI, anhand des Trainings zu der richtigen Antwort zu kommen. Das funktioniert über Backpropagation.
So erklärt ChatGPT Backpropagation
Was ist Backpropagation?
Backpropagation ist ein wesentlicher Bestandteil des Lernprozesses in künstlichen neuronalen Netzwerken, insbesondere in tiefen neuronalen Netzwerken (Deep Learning). Es handelt sich um eine Methode, mit der das neuronale Netzwerk angepasst oder trainiert wird, um bessere Ergebnisse bei der Vorhersage oder Klassifizierung von Daten zu erzielen.
Der Name „Backpropagation“ leitet sich von der Idee ab, dass der Fehler, den das Netzwerk bei der Vorhersage macht, „zurückpropagiert“ wird, um die Gewichtungen der Neuronen in den vorherigen Schichten zu aktualisieren. Der Prozess besteht aus zwei Hauptphasen:
- Vorwärtsdurchlauf (Forward Pass): Während der Vorwärtsdurchlauf wird Eingabe durch das neuronale Netzwerk geleitet, und die Aktivierungen der Neuronen in den verschiedenen Schichten werden berechnet, bis die Ausgabe des Netzwerks erzeugt wird. Jede Schicht besteht aus einer Reihe von Neuronen, die mit Gewichten verbunden sind, die zu Beginn des Trainings zufällig initialisiert werden.
- Rückwärtsdurchlauf (Backward Pass): Im Rückwärtsdurchlauf wird der Fehler zwischen den vorhergesagten Ausgaben des Netzwerks und den tatsächlichen Zielwerten berechnet. Dieser Fehler wird dann durch das Netzwerk zurückpropagiert, indem der Gradient der Verlustfunktion bezüglich der Gewichtungen berechnet wird. Der Gradient zeigt die Richtung und Stärke, in der die Gewichtungen angepasst werden müssen, um den Fehler zu reduzieren. Diese Anpassung erfolgt normalerweise mithilfe eines Optimierungsalgorithmus wie dem Gradientenabstieg.
Der Vorgang des Vorwärts- und Rückwärtsdurchlaufs wird wiederholt, bis das Netzwerk konvergiert und die Verlustfunktion minimiert wird, was bedeutet, dass es besser in der Lage ist, die Daten zu modellieren und präzisere Vorhersagen zu treffen.
Backpropagation ermöglicht es dem neuronalen Netzwerk, aus den Trainingsdaten zu lernen, indem es die Gewichtungen in den Neuronen anpasst und auf diese Weise die Fähigkeit des Netzwerks verbessert, zukünftige Eingabedaten zu verarbeiten. Es ist eine leistungsstarke Methode des maschinellen Lernens, die in vielen modernen Anwendungen wie Bilderkennung, Spracherkennung, natürlicher Sprachverarbeitung und anderen Bereichen erfolgreich eingesetzt wird.
Backpropagation bei ChatGPT
Eine untrainierte KI gibt erstmal nur Schwachsinn von sich, der keinerlei Zusammenhang besitzt. Stellen wir dann beispielsweise eine Frage wie diese:
Was sitzt im Wald und winkt?
Bekämen wir als Antwort sowas wie: durch 80 Käse nun wer Hallo Turnbeutel Mayonnaise wo quetschen Schwalbe.
Hier setzt dann die Backpropagation ein. Dabei wird die Frage zurückpropagiert und der Fehler bei der Antwort gesucht. Dafür bekommen alle betroffenen Neuronen des neuronalen Netzwerks eine neue Gewichtung für die Beantwortung dieser Frage zugewiesen.
Beispielsweise hat die Zahl 80 hier gar nichts zu suchen und bekommt gar keine Gewichtung. Die anderen Begriffe könnten aber noch zur Lösung beitragen und werden entsprechend höher oder niedriger gewichtet.
Der Vorgang der Backpropagation erfolgt so häufig, wie es dauert, dass die Antwort korrekt oder zumindest sinnvoll ist. Dass das Training einer KI niemals vorbei ist, zeigt sich daran, dass ChatGPT die Antwort auf unsere Frage nicht kennt.
ChatGPT und der Humor
Eine Antwort auf dieses Rätsel könnte sein: „Eine Palme in einem Sandsturm.“
Die Pointe dieses Rätsels liegt darin, dass eine Palme normalerweise nicht im Wald, sondern in trockenen und sandigen Gebieten wie Wüsten zu finden ist. Wenn sie jedoch in einem Sandsturm steht, könnte sie in der Ferne aussehen, als ob sie im Wald ist und winkt, weil ihre Blätter vom Wind bewegt werden.
Die künstliche Intelligenz gibt sich aber Mühe, nach einer logischen Lösung zu suchen. Auch, wenn diese natürlich absolut an den Haaren herbeigezogen ist.
Die korrekte Antwort lautet natürlich: Ein Huhu.
Jetzt sind Sie dran!
Wobei dürfen wir Ihnen mit Texten behilflich sein?
Senden Sie uns Ihre Nachricht über unser Kontaktformular.