Yapay Zekâ Botları Doğruluk Testinden Geçti: Sonuçlar Düşündürücü

Beş yapay zekâ sohbet botu 10 hafta boyunca test edildi. Rapor, botların güncel olmayan rakam kullandığını ve tutarsız yanıt verebildiğini ortaya koydu.

Yaygın kullanılan beş yapay zekâ sohbet botu, doğruluk testine tabi tutuldu.

Rapor, botların yanlış iddialarda bulunmaya, güncel olmayan rakamları kullanmaya ve aynı soruyu farklı günlerde farklı şekillerde yanıtlamaya yatkın olduğunu ortaya koydu.

Araştırmayı İngiltere merkezli doğrulama kuruluşu Full Fact yürüttü.

TEST NASIL YAPILDI?

Yöntem
Süre: 10 hafta
Başlangıç: Temmuz ortası
Sıklık: Her gün
Kapsam: Yaygın kullanılan 5 model
Yöntem: Aynı soruların tekrar tekrar sorulması

Araştırmacılar yanıtların doğruluğunu, tutarlılığını ve güncelliğini analiz etti.

“GENELDE DOĞRU, AMA...”

Raporda, sohbet botlarının genellikle doğru yanıtlar verdiği ve kökleşmiş yanlış bilgilere direnç gösterdiği belirtildi.

Sorun, ayrıntıda ortaya çıkıyor.

Tespit edilen başlıca sorunlar
Yanlış hesaplama yapma
Güncel olmayan rakamları kullanma
Aynı soruya farklı günlerde farklı yanıt verme
Kendinden emin biçimde yanlış istatistik sunma
Bilginin kaynağını gösterememe

İKİ ÖRNEK

1. Yanlış hesaplama

Botlardan belirli bir dönemdeki bir sayı istendiğinde, bazıları toplam rakamdan bir aylık veriyi çıkararak kendi hesabını yapıp sonucu kesin bilgi gibi sundu.

2. Eski rakam

Haftalık bir ödeme tutarı sorulduğunda, bazı botlar bir yıl önce değiştirilmiş eski tutarı güncel rakam gibi verdi.

Rapora göre bu örnekler, botların nasıl kendinden emin şekilde yanlış istatistik verebildiğini ve kaynak gösteremediğini ortaya koyuyor.

“MİLYONLARCA İNSAN BUNA GÜVENİYOR”

Raporu değerlendiren kuruluş yetkilisi Morris, giderek daha fazla kişinin olgusal sorulara yanıt almak için bu araçlara başvurduğunu belirtti.

Sık sorulan konu başlıkları
Neye ihtiyaç olduğu
Neye hak kazanıldığı
Bir kuralın değişip değişmediği

ŞİRKETLERE ÇAĞRI

Morris, yapay zekâ şirketlerine iki konuda çağrıda bulundu:

Talepler
Modellerin zamana duyarlı bilgiler için canlı ve yetkili kaynakları kontrol etmesi
Alıntıladıkları kaynakları açıklayabilmesi

KULLANICILAR NE YAPMALI?

Rapordan çıkan pratik sonuçlar:

Öneriler
Tarih, tutar ve oran içeren bilgileri mutlaka resmî kaynaktan teyit edin
Mevzuat ve hak sorularında kurumun kendi sitesine bakın
Botun verdiği kaynağı isteyin ve kontrol edin
Aynı soruyu farklı zamanlarda sorduğunuzda yanıt değişebileceğini bilin
Hesap gerektiren konularda sonucu kendiniz doğrulayın TRT Haber