Ist die Eingabesprache bei der Nutzung von Sprachmodellen von Belang? Ich habe Chat-GPT gefragt und etwas gelernt.
Um Unterschiede in der Ausgabe bei deutschsprachigen Prompts und bei englischsprachigen Eingaben zu finden, kann es durchaus ratsam sein, jemanden zu fragen, der sich damit auskennt.
Oder halt das AI-Sprachmodell selber.
Meine Fragen dabei sind: Kann das System das Ergebnis einer Anfrage in irgendeiner Form bewerten? Oder anders gefragt: Weiß die AI um Unterschiede in der Akkuratesse ihrer Antworten bezogen auf verschiedene Trainingssprachen? Lässt sich das irgendwie umgehen?
Darf ich Eingabesprachen mixen, und in welcher Form, wenn ich bestmögliche Ergebnisse haben will?
Ein AI-Sprachmodell kann verschiedene Aspekte einer Anfrage bewerten und analysieren, aber es gibt Einschränkungen in der Bewertung der eigenen Ausgaben, da kein internes Bewertungssystem für Inhalte existieren kann. Sagt Chat-GPT.
„Ich kann beispielsweise die Qualität einer Antwort anhand
der Kohärenz, Relevanz und Konsistenz bewerten. Allerdings beruhen diese Bewertungen auf statistischen Mustern und der Modellarchitektur, nicht auf einem umfassenden Verständnis des
Inhalts.“
Das wussten wir schon. Die Antworten basieren auf einer Kombination aus vorherigen Trainingsdaten und dem Muster der bereitgestellten Eingabe. Auf die Unterschiede zwischen deutschen und englischen Eingaben kann Chat-GPT reagieren. Aufgrund der begrenzten Verfügbarkeit von Trainingsdaten für Deutsch in Version 3.5, ist es möglich (wahrscheinlicher), eine ungenauere und
weniger umfassende Antwort zu erhalten als auf Englisch.
Wenn es um die Bewertung von Sprachmodellen geht, ist generell eine menschliche Überprüfung oder ein externes
Bewertungssystem vonnöten, um die Qualität der generierten Antworten zu beurteilen.
Das war der Moment, in dem ich ins Englische wechselte, um bessere Ergebnisse zu erzielen. Für die bessere Lesbarkeit hier, bleibe ich bei Deutsch.
“Ich kann zwar Aufforderungen in anderen Sprachen, wie z. B. Deutsch, verstehen und beantworten, aber meine Ausbildung in nicht-englischen Sprachen ist möglicherweise nicht so umfangreich, so das ich bei der Bearbeitung von Aufforderungen in englischer Sprache nicht den gleichen Kenntnisstand oder die gleiche Genauigkeit habe”, sagt Chat-GPT und rät mir, meine Fragen auf Englisch zu stellen, um die zuverlässigsten und genauesten Antworten zu erhalten, wenn ich die Möglichkeit dazu hätte.
Das hat auch mich jahrelanges Training gekostet, aber ja, diese Möglichkeit habe ich weitgehend. Allerdings ist mein Englisch dann doch nicht so akkurat im Detail. Macht das was? Was genau? Und
kann nicht die AI einfach meine Anfragen ins Englische übersetzen, bevor sie Antworten gibt? Wäre das ein sinnvolles Modell?
Ja, generell kann die AI das, allerdings nicht in der Qualität eines Übersetzers. Gründe dafür sind mangelnde Präzision in Nuance und Kontext und den Eigenheiten der Sprache (Idiome z. B.), Klarheit
der sprachlichen Eingabe zum Schutz vor Missverständnissen (Methaphern z. B.) und, das hatten wir schon, weniger Training in der Sprache als in Englisch. Grundsätzlich sind Übersetzungen möglich und gut, allerdings nicht zu vergleichen mit der eines Kundigen in beiden Sprachen.
Was also tun? Ein (etwas?) schlechteres Englisch verwenden oder doch das besser zu formulierende Deutsch? Oder geht beides? Und wenn ja, wie am besten?
Also lautet mein Prompt: Wie sieht es mit der Vermischung der Sprachen in einer Eingabeaufforderung aus?
Um es kurz zu machen: Ja, aber. Ja, mixen Sie ihre Eingabesprachen, aber bitte als ganzen Satz, oder vollständige Phrase, in jeweils nur einer Sprache. Erstaunlich, oder? Nein, eigentlich nicht, denn das
Training war ja auch nicht in Mixed Languages.
Beispiele:
„What are the main causes of climate change? Können Sie auch Informationen zur Auswirkung auf die Umwelt geben?“
„Can you explain the concept of ‚machine learning‘ und wie es in der Industrie eingesetzt wird?”
Das eröffnet ganz neue Möglichkeiten für mich, Prompts zu formulieren, bei denen ich mir in der englischen Phrasierung nicht sicher bin. Ich werde in Erwägung ziehen, deutsche und englische Sätze in einer Aufforderung zu kombinieren, wenn ich denke, dass dies hilfreich ist, um mein Anliegen genauer auszudrücken.
„Eine Kombination aus deutschen und englischen Sätzen kann besonders nützlich sein, wenn es bestimmte Begriffe oder Konzepte gibt, die in einer Sprache besser ausgedrückt werden als in der
anderen. Indem Sie beide Sprachen verwenden, können Sie sicherstellen, dass Ihr Prompt die Nuancen und spezifischen Details erfasst, die Sie vermitteln möchten.“
Experimentieren wir also mit verschiedenen Sprachen in den Prompts, je nach Bedarf. Fragen wir nach, suchen wir uns Quellen und vergleichen wir die Antworten. Denn, wie oben bereits erwähnt:
Das AI-System ersetzt unsere Bewertung eh nicht.
ab-230622