-
Frage gestellt peak22wye am 14 Jun 2023.
-
Karsten Weber Beantwortet am 14 Jun 2023:
Genauso gut oder schlechtwie bei Menschen. Man muss prüfen. Es gibt meines Wissens keinen formalen Weg, wie man das sicherstellen könnte. Erstens hängt die Wahrheit der Aussagen einer KI von den Trainingsdaten ab (im Fall von Machine-Learning-Systemen) und zweitens vom Aufbau des neuronalen Netzes selbst und drittens von der Trainingsart. Allerdings sind neuronale Netze in der Regel „Black Boxes“, man kann nicht gut hineinschauen und gucken, was darin passiert. Eine Überprüfung auf Wahrheit kann also erst dann geschehen, wenn eine Aussage vorliegt — durch Überprüfung an der Realität.
-
-
Timo Baumann Beantwortet am 14 Jun 2023:
um zu ergänzen (wow, wir sind heute voll auf dem Logik-Trip!):
man kann schon das KI-System darauf kontrollieren, dass bestimmte Fakten in der Ausgabe korrekt sind. Zum Beispiel kann man ein System, das Texte aus einem logischen Ausdruck generieren soll, darauf kontrollieren, ob in den Texten auch die entsprechenden Teilausdrücke gefunden werden. (Das macht dann natürlich auch ein System und das ist nicht fehlerfrei. Man kann aber beide so trainieren, dass sie gemeinsam miteinander immer besser werden; aber nicht unbedingt perfekt.) -
Roman Klinger Beantwortet am 14 Jun 2023:
Wenn man solche Systeme anguckt wie ChatGPT – das ist schwierig. Die Aussagen sehen oft richtig aus, sind es aber nicht.
In der Sprachverarbeitung gibt es auch das Forschungsfeld des „Fact Checkings“: Automatisch überprüfen, ob eine Behauptung war ist. Wenn das gut funktionieren würde, könnte man damit zum Beispiel automatische eine Warnung neben einem Tweet einblenden, wenn etwas vermutlich falsch ist. Aber das ist auch gefährlich:
Ein automatisches System könnte zum Beispiel lernen, das vieles, was Donald Trump sagt, nicht stimmt. Das wäre aber schade, falls er mal was richtiges sagt.
Man muss also irgendwie eine Aussage mit einer vertrauenswürdigen Quelle vergleichen, so wie das auch Journalisten tun. Und genau so sehen auch automatische Systeme aus, die Fact Checking machen:
1. Suchen einer vertrauenswürdigen Quelle, die eigentlich das gleiche Thema wie eine Behauptung behandelt.
2. Vergleich der Aussage mit der Quelle, ob die Aussage wirklich die gleiche ist, oder sich widerspricht.
3. Das macht man für mehrere Quellen und fasst die Ergebnisse zusammen.Das funktioniert aber bisher noch nicht so gut, dass ich solchen Systemen wirklich voll vertrauen würde. Daran wird aber aktiv geforscht.
-
Christian Gawron Beantwortet am 15 Jun 2023: last edited 15 Jun 2023 09:51
Bei aktuellen (Sprach-)Modellen wie GPT ist das aufgrund des „Designs“ (fast) aussichtslos. Diese Sprachmodelle berechnen für einen „Kontext“ die *wahrscheinlichste* Fortsetzung eines Textes.
Bei diesen Modellen ist es für mich sehr überraschend, wie gut das funktioniert und wie gut die Ergebnisse sind – mit ChatGPT kann man recht anspruchsvolle Diskussionen (fast) wie mit Menschen führen. Neulich habe ich mit ChatGPT folgende Frage diskutiert: „Is it possible to find an uncountable collection of subsets of the natural numbers so that for any two sets in this collection, their intersection is nonempty and finite?“. Die Antwort von ChatGPT war zwar falsch, aber das Diskussionsniveau war durchaus auf dem Niveau von Mathestudierenden …Spannend ist, dass man Sprache mit solchen „schwammigen“ Modellen viel besser erzeugen kann als mit „logischen“ Modellen.
Kommentare