Letzte Woche haben Sie gesehen, wie Sie mit dem Tokenizer Ihren Text für die Verwendung durch ein neuronales Netzwerk vorbereiten können, indem Sie Wörter in numerische Token umwandeln und aus diesen Token Sätze zusammenstellen. Diese Woche lernen Sie etwas über Embeddings, bei denen diese Token als Vektoren in einem hochdimensionalen Raum abgebildet werden. Mit Embeddings und markierten Beispielen können diese Vektoren dann so abgestimmt werden, dass Wörter mit ähnlicher Bedeutung eine ähnliche Richtung im Vektorraum haben. Damit beginnen wir mit dem Training eines neuronalen Netzwerks, um die Stimmung in Texten zu verstehen. Sie beginnen mit Filmkritiken, trainieren ein neuronales Netzwerk auf Texte, die als "positiv" oder "negativ" gekennzeichnet sind, und bestimmen, welche Wörter in einem Satz diese Bedeutungen steuern.

In den letzten Wochen haben Sie sich zunächst mit der Tokenisierung von Wörtern befasst, um aus ihnen numerische Werte zu erhalten, und dann mit der Verwendung von Einbettungen, um Wörter mit ähnlicher Bedeutung je nach ihrer Kennzeichnung zu gruppieren. Damit haben Sie eine gute, wenn auch grobe Stimmungsanalyse durchgeführt. Wörter wie "lustig" und "unterhaltsam" könnten in einer positiven Filmkritik auftauchen, während "langweilig" und "öde" in einer negativen auftauchen könnten. Die Stimmung kann aber auch durch die Reihenfolge, in der die Wörter erscheinen, bestimmt werden. Sie könnten zum Beispiel 'nicht lustig' haben, was natürlich das Gegenteil von 'lustig' ist. In dieser Woche werden Sie sich mit einer Vielzahl von Modellformaten beschäftigen, die beim Training von Modellen verwendet werden, um den Kontext in der Reihenfolge zu verstehen!

Mit allem, was Sie beim Training eines neuronalen Netzwerks auf der Grundlage von NLP gelernt haben, dachten wir, dass es vielleicht ganz lustig wäre, den Spieß umzudrehen und Ihr Wissen für Vorhersagen zu verwenden. Aus einer Reihe von Wörtern könnten Sie das Wort vorhersagen, das am wahrscheinlichsten auf ein bestimmtes Wort oder eine bestimmte Phrase folgt, und wenn Sie das getan haben, können Sie es wieder und wieder tun. Mit diesem Gedanken im Hinterkopf werden Sie diese Woche einen Gedichtgenerator erstellen. Er wurde mit den Texten traditioneller irischer Lieder trainiert und kann verwendet werden, um eigene, wunderschön klingende Verse zu erzeugen!