Microsoft’un Bing AI sohbet robotu Copilot yanlış seçim bilgileri veriyor

Görünüşe göre Microsoft’un yapay zeka sohbet robotu seçim gerçeğini doğruluyor.

Bir göre yeni çalışma Kar amacı gütmeyen iki grup olan AI Forensics ve AlgorithmWatch tarafından yürütülen Microsoft’un AI sohbet robotu, seçimle ilgili üç sorudan birine doğru yanıt veremedi.

Microsoft’un chatbot’u siyasi adaylarla ilgili tartışmalar yaratıyor

Eskiden Bing Chat olarak bilinen chatbot (daha sonra Microsoft Copilot olarak yeniden adlandırıldı), temel gerçekleri yanlış anlamadı. Evet, çalışma Copilot’un yanlış seçim tarihleri ​​veya güncel olmayan adaylar sağladığını ortaya çıkardı. Ancak çalışma aynı zamanda chatbotun tamamen adaylarla ilgili tartışmalar gibi hikayeler uydurduğunu da ortaya çıkardı.

Örneğin çalışmada bahsedilen bir örnekte Copilot, Alman siyasetçi Hubert Aiwanger hakkında bilgi paylaşmıştı. Chatbot’a göre Aiwanger, Kovid-19 ve aşı hakkında yanlış bilgi yayan broşürlerin dağıtımıyla ilgili bir tartışmaya karıştı. Ancak böyle bir hikaye yoktu. Chatbot’un, 30 yıl önce lisedeyken “Yahudi karşıtı broşürler” yaydığı Ağustos 2023’te ortaya çıkan Aiwanger hakkında bilgi topladığı görülüyor.

Yapay zeka dil modellerinde bu uydurma anlatıların oluşturulmasına genellikle “halüsinasyonlar” adı verilir. Ancak araştırmaya katılan araştırmacılar, bunun olup biteni açıklamanın doğru bir yolu olmadığını söylüyor.

Uygulamalı Matematik Lideri ve AI Forensics Araştırmacısı Riccardo Angius yaptığı açıklamada, “Bu hataları ‘halüsinasyon’ olarak adlandırmanın itibarını zedelemenin zamanı geldi” dedi. “Araştırmamız, genel amaçlı LLM’lerde yanıltıcı olgusal hataların çok daha karmaşık ve yapısal oluşumunu ortaya koyuyor. ve sohbet robotları.”

AI chatbot’un sorusu araştırmacıları alarma geçirdi

Araştırma ayrıca chatbot’un yüzde 40 civarında soruları doğrudan yanıtlamaktan kaçındığını da ortaya çıkardı. Araştırmacılar, chatbotun konuyla ilgili bilgiye sahip olmadığı durumlarda cevap uydurmak yerine bunun tercih edildiğini belirtiyor. Ancak araştırmacılar, chatbotun kaçındığı bazı soruların ne kadar basit olduğu konusunda endişeliydi.

Araştırmacılara göre bir diğer sorun da, chatbotun daha fazla bilgiye erişime sahip olduğu için zamanla gelişmemiş gibi görünmesi. Chatbot tarafından sağlanan yanlış yanıt, bir soru birden çok kez sorulduğunda değişmiş olsa bile, yanlış yanıtlar sürekli olarak yanlıştı.

Ayrıca çalışma, chatbotun Almanca ve Fransızca gibi İngilizce dışındaki dillerde daha da kötü performans gösterdiğini ortaya çıkardı. Örneğin, çalışma İngilizce olarak sorulan sorulara verilen yanıtların yüzde 20 oranında maddi hata içeren yanıtlarla sonuçlandığını buldu. Almanca sorulduğunda yanlış cevap verme oranı yüzde 37’ye çıktı. Chatbot’un her iki dilde de bir soruyu yanıtlamaktan kaçma sayısı çok daha yakındı; kaçınma sırasıyla yüzde 39 ve yüzde 35 oranında gerçekleşti.

Araştırmacılar, çalışmanın bulgularıyla ilgili olarak Microsoft ile temasa geçtiklerini ve kendilerine bu sorunların çözüleceğinin söylendiğini söylüyor. Ancak araştırmacılar bir ay sonra daha fazla örnek incelediler ve “kullanıcılara sağlanan bilgilerin kalitesinde çok az değişiklik olduğunu” buldular.

“Araştırmamız kötü niyetli aktörlerin yanlış bilginin tek kaynağı olmadığını gösteriyor; Yapay Zeka Adli Bilimleri Kıdemli Araştırmacısı Salvatore Romano, yaptığı açıklamada, genel amaçlı sohbet robotlarının da bilgi ekosistemi için aynı derecede tehdit oluşturabileceğini söyledi. “Microsoft bunu kabul etmeli ve başkaları tarafından oluşturulan üretken yapay zeka içeriğini işaretlemenin yeterli olmadığını kabul etmelidir. Araçları, güvenilir kaynakları işaret ederken bile geniş ölçekte yanlış bilgi üretiyor.”

Yapay zeka çevrimiçi platformlarda daha yaygın hale geldikçe, bunun gibi çalışmalar kesinlikle endişelenmek için nedenler sunuyor. Kullanıcılar rutinlerini basitleştirmek ve üretkenliği artırmak için giderek daha fazla yapay zeka sohbet robotlarına yöneliyor. Sınırsız bilgi parmaklarının ucunda olan bu sohbet robotlarının doğru bilgi sağlayacağı varsayımı var. Bu kesinlikle böyle değil.

AlgorithmWatch Kıdemli Politika ve Savunuculuk Müdürü Clara Helming, “Şimdiye kadar teknoloji şirketleri, ciddi sonuçlardan korkmak zorunda kalmadan toplumsal riskler ortaya çıkardı” dedi. “Bireysel kullanıcılar, gerçeği yapay zeka tarafından üretilmiş kurgudan ayırma konusunda kendi başlarına bırakıldı.”

ABD’de başkanlık seçim yılına girerken, potansiyel seçim dürüstlüğü sorunlarının söz konusu olduğu açık. Araştırmacılar bunu akılda tutarak çalışmalarına şu sonucu eklediler: Bu sorunlar tek başına şirketler tarafından çözülmeyecek. AI düzenlenmelidir.