Columbia Üniversitesi Tow Center for Digital Journalism araştırmacıları tarafından yapılan testlere göre, OpenAI’nin ChatGPT arama aracı, doğruluk konusunda ciddi sorunlar yaşıyor.
OpenAI, Ekim ayında abonelere özel olarak sunduğu bu aracı “hızlı, güncel ve ilgili web kaynaklarına bağlantılar içeren yanıtlar verebileceği” iddiasıyla tanıttı. Ancak Futurism tarafından yayımlanan bulgulara göre, araştırmacılar ChatGPT’nin veri paylaşımı konusunda OpenAI ile anlaşmalı yayıncıların makalelerindeki alıntıları bile doğru şekilde tanımlamakta zorlandığını ortaya koydu.
Araştırmacılar, ChatGPT’ye farklı yayınlardan alınan toplamda 200 alıntının kaynağını sordu. Bu alıntıların kırkı, OpenAI’nin arama tarayıcısının erişimini engelleyen yayıncılardan alınmıştı. Buna rağmen, chatbot, yanlış bilgilerle dolu yanıtlar verdi ve verdiği bilgilerin doğruluğundan emin olmadığını nadiren kabul etti.
Genel olarak ChatGPT, 153 durumda kısmen ya da tamamen yanlış yanıtlar verdi. Sadece 7 kez, bir soruya doğru şekilde yanıt veremediğini kabul etti. Bu tür durumlarda “görünüşe göre,” “muhtemel,” “olabilir” gibi belirsizlik belirten ifadeler kullandı ya da “tam makaleyi bulamadım” şeklinde açıklamalar yaptı.
Tow Center testinde, ChatGPT’nin bir mektup-yazarı alıntısını yanlış bir şekilde Orlando Sentinel yerine Time dergisine atfettiği kaydedildi. Başka bir örnekte, New York Times’ta nesli tükenmekte olan balinalar hakkında yayımlanan bir makaleden alınan bir alıntı sorulduğunda, chatbot tamamen kopyalanmış bir içeriğin yer aldığı farklı bir web sitesine bağlantı verdi.
OpenAI: ChatGPT standart dışı bir testten geçirildi
Columbia Journalism Review’e konuşan OpenAI yetkilileri, bu yanlış atıfların Tow Center’ın “paylaşmadığı veri ve yöntemlere” bağlı olduğunu belirtti. Ayrıca yapılan testlerin ürünün standart kullanımından farklı olduğunu savundu. Şirket, “arama sonuçlarını geliştirmeye devam edeceğiz” diyerek sorunu çözmek için çalıştıklarını ifade etti.
