Yaygın kullanılan beş yapay zekâ sohbet botu, doğruluk testine tabi tutuldu.
Rapor, botların yanlış iddialarda bulunmaya, güncel olmayan rakamları kullanmaya ve aynı soruyu farklı günlerde farklı şekillerde yanıtlamaya yatkın olduğunu ortaya koydu.
Araştırmayı İngiltere merkezli doğrulama kuruluşu Full Fact yürüttü.
TEST NASIL YAPILDI?
| Yöntem |
|---|
| Süre: 10 hafta |
| Başlangıç: Temmuz ortası |
| Sıklık: Her gün |
| Kapsam: Yaygın kullanılan 5 model |
| Yöntem: Aynı soruların tekrar tekrar sorulması |
Araştırmacılar yanıtların doğruluğunu, tutarlılığını ve güncelliğini analiz etti.
“GENELDE DOĞRU, AMA...”
Raporda, sohbet botlarının genellikle doğru yanıtlar verdiği ve kökleşmiş yanlış bilgilere direnç gösterdiği belirtildi.
Sorun, ayrıntıda ortaya çıkıyor.
| Tespit edilen başlıca sorunlar |
|---|
| Yanlış hesaplama yapma |
| Güncel olmayan rakamları kullanma |
| Aynı soruya farklı günlerde farklı yanıt verme |
| Kendinden emin biçimde yanlış istatistik sunma |
| Bilginin kaynağını gösterememe |
İKİ ÖRNEK
1. Yanlış hesaplama
Botlardan belirli bir dönemdeki bir sayı istendiğinde, bazıları toplam rakamdan bir aylık veriyi çıkararak kendi hesabını yapıp sonucu kesin bilgi gibi sundu.
2. Eski rakam
Haftalık bir ödeme tutarı sorulduğunda, bazı botlar bir yıl önce değiştirilmiş eski tutarı güncel rakam gibi verdi.
Rapora göre bu örnekler, botların nasıl kendinden emin şekilde yanlış istatistik verebildiğini ve kaynak gösteremediğini ortaya koyuyor.
“MİLYONLARCA İNSAN BUNA GÜVENİYOR”
Raporu değerlendiren kuruluş yetkilisi Morris, giderek daha fazla kişinin olgusal sorulara yanıt almak için bu araçlara başvurduğunu belirtti.
| Sık sorulan konu başlıkları |
|---|
| Neye ihtiyaç olduğu |
| Neye hak kazanıldığı |
| Bir kuralın değişip değişmediği |
ŞİRKETLERE ÇAĞRI
Morris, yapay zekâ şirketlerine iki konuda çağrıda bulundu:
| Talepler |
|---|
| Modellerin zamana duyarlı bilgiler için canlı ve yetkili kaynakları kontrol etmesi |
| Alıntıladıkları kaynakları açıklayabilmesi |
KULLANICILAR NE YAPMALI?
Rapordan çıkan pratik sonuçlar:
| Öneriler |
|---|
| Tarih, tutar ve oran içeren bilgileri mutlaka resmî kaynaktan teyit edin |
| Mevzuat ve hak sorularında kurumun kendi sitesine bakın |
| Botun verdiği kaynağı isteyin ve kontrol edin |
| Aynı soruyu farklı zamanlarda sorduğunuzda yanıt değişebileceğini bilin |
Hesap gerektiren konularda sonucu kendiniz doğrulayın TRT Haber |