AI-Modelle zeigen erhebliche Uneinigkeit beim Faktencheck
- Fünf fortschrittliche KI-Modelle waren sich in 67 % der Fälle uneinig über die Genauigkeit von Behauptungen.
- Einheitliche Zustimmung wurde nur bei 328 von 1.000 Behauptungen erreicht.
- Der Krippendorff’s-Alpha-Wert lag bei 0,639, unter dem Zuverlässigkeitsschwellenwert von 0,8.
- In 34 % der Uneinigkeiten bewertete ein Modell eine Behauptung als wahr, während ein anderes sie als falsch einstufte.
- Keine Behauptungen erhielten unter den Modellen einheitliche „überwiegend wahr“-Urteile.
Eine kürzlich durchgeführte Studie fand erhebliche Uneinigkeit unter fünf fortschrittlichen KI-Modellen, als diese mit dem Faktencheck von realen Behauptungen beauftragt wurden. Dies unterstreicht potenzielle Zuverlässigkeitsprobleme für Nutzer, die sich auf diese Systeme zur genauen Informationsüberprüfung verlassen.
Die Studie zeigt, dass, obwohl KI-Modelle strukturierte Urteile anbieten können, ihre Inkonsistenz Fragen über ihre Effektivität als alleinige Faktenprüfer aufwirft, besonders angesichts ihres Versagens, sich auf nuancierte Wahrheiten zu einigen.
