Modelos de IA Mostram Desacordo Significativo na Verificação de Fatos
- Cinco modelos avançados de IA discordaram sobre a precisão das afirmações em 67% dos casos.
- Foi alcançado um acordo unânime em apenas 328 de 1.000 afirmações.
- A pontuação alfa de Krippendorff foi de 0,639, abaixo do limite de confiabilidade de 0,8.
- Em 34% dos desacordos, um modelo rotulou uma afirmação como verdadeira enquanto outro a rotulou como falsa.
- Nenhuma afirmação recebeu um veredicto unânime de “majoritariamente verdadeira” entre os modelos.
Um estudo recente encontrou um desacordo significativo entre cinco modelos de IA de ponta quando encarregados de verificar fatos de afirmações do mundo real, destacando possíveis problemas de confiabilidade para os usuários que confiam nesses sistemas para a verificação precisa de informações.
O estudo indica que, embora os modelos de IA possam oferecer julgamentos estruturados, sua inconsistência levanta questões sobre sua eficácia como verificadores de fatos únicos, especialmente dada sua falha em concordar sobre verdades sutis.
