AI gelişimini yönlendiren iş teşvikleri, halüsinasyonları azaltarak yanlış hizalanmıştır. Teşvikler başkaları olmadığı sürece halüsinasyonlar devam edecektir.
Bir madde Openai’nin Eylül ayı başlarında tanı koyan araştırması, çünkü ChatGPT ve diğer büyük ölçekli dil modelleri, yapay zeka dünyasında “halüsinasyon” olarak bilinen şeyleri icat edebilir.
Belge ayrıca, en azından tüketiciler söz konusu olduğunda sorunun neden düzeltilmesinin imkansız olabileceğini de ortaya koyuyor.
Makale, neden için en titiz matematiksel açıklamayı sunuyor. Bu modeller yalanları güvenle teyit ediyor.
Ayrıca, bunların sadece IAS’ın şu anda eğitilme şeklinin talihsiz bir yan etkisi olmadığını, aynı zamanda kaçınılmaz.
Soru kısmen IAS’ı eğitmek için kullanılan temel verilerdeki hatalarla açıklanabilir. Ancak AI sistemlerinin nasıl öğrendiğinin matematiksel analizini kullanarak, araştırmacılar bunu kanıtlıyor Mükemmel eğitim verileriyle bile, sorun var olmaya devam ediyor.
Dil modellerinin soruları cevaplama şekli – olasılıklara dayalı bir cümlede bir seferde bir kelimeyi tahmin etmek – doğal olarak hatalar üretir. Araştırmacılar, aslında, cümleler oluşturmak için toplam hata oranının basit bir evet/hayır sorusunda olabilecek hata oranından en az iki kat daha yüksek olduğunu, çünkü hatalar birkaç tahmin üzerinde birikebilir.
Başka bir deyişle, halüsinasyon oranları temel olarak IA sistemlerinin geçerli yanıtları geçersizden ayırma yeteneği ile sınırlıdır. Bu sınıflandırma sorunu birçok bilgi alanında özünde zor olduğundan, halüsinasyonlar kaçınılmaz hale gelir.
Değerlendirme tuzağı
Bir makalede Konuşma– Wei xingSheffield Üniversitesi Matematik ve Fizik Bilimleri Okulu’nda profesör, egzersiz sonrası çabalara rağmen halüsinasyonların neden devam ettiğine dair makalenin analizi olduğuna dikkat çekiyor (bir IA’nın halka açılmadan önce bir IA’nın cevaplarına nasıl geniş insan geri bildirimi sağlanacağı).
Yazarlar, Google, Openai ve AI modellerini sınıflandıran liderlik personeli tarafından kullanılanlar da dahil olmak üzere önde gelen AI değerlendirme referanslarının 10’unu incelediler. Bu, 9 referansın sıfır noktaları belirleyen ikili sınıflandırma sistemlerini kullandığını, belirsizliği ifade eden IAS’a yönlendirdiğini ortaya koydu.
Bu, yazarların dediği şeyi yaratır Dürüst yanıtların “salgını” cezası.
Bir AI sistemi “Bilmiyorum” dediğinde, tamamen yanlış bilgi vermekle aynı puanı alır. Bu tür bir değerlendirme altındaki büyük strateji netleşir: her zaman tahmin edin.
Araştırmacılar bunu matematiksel olarak kanıtlıyorlar. Belirli bir yanıtın olasılıkları kesin olursa olsun, değerlendirme ikili sınıflandırma kullandığında beklenen tahmin puanı her zaman kaçınmayı aşar.
Yarın Chatgpt ile sona eren çözüm
Teklifi Openai çözümü, kendi güvenini sınıflandırıyordum Bir yanıtta, sunmadan önce ve referansların buna dayanarak sınıflandırdığı. AI daha sonra talimat verilebilir, örneğin: “Sadece% 75’ten fazla kendinizden eminseniz yanıt verir, çünkü hatalar 3 puanda cezalandırılırken doğru cevaplar 1 puan alır.”
Openai araştırmacılarının matematiksel yapısı, uygun güvenilir eşikler altında, AI sistemlerinin doğal olarak tahmin etmek yerine belirsizliği ifade edeceğini göstermektedir. Bunun gibi, Bu daha az halüsinasyona yol açar.
Sorun, kullanıcının deneyimine ne yapacaktır.
CHATGPT, soruların% 30’una kadar “bilmiyorum” demeye başlarsa ve eğitim verilerinde olgusal belirsizlik üzerine makalenin analizine dayanan muhafazakar bir tahmin olarak sonuçlar dikkate alınır. Kullanıcılar muhtemelen neredeyse her soruya kendinden emin yanıt alırlardı bu tür sistemleri hızla terk ederdi.
Kullanıcılar herhangi bir soruya kendinden emin cevaplar veren sistemler ister. Değerlendirme Referansları, belirsizliği ifade etmek yerine tahmin eden sistemleri ödüllendirir. Hesaplama maliyetleri, yavaş ve belirsiz tepkilerin zarar görmesine hızlı ve aşırı kendinden emin yanıtları desteklemektedir.
Hesaplama ekonomisi sorunu
Wei Xing’in görüşüne göre, makalenin bilgisini kullanarak halüsinasyonları azaltmak zor olmaz. Belirsizliği ölçmek için kurulan yöntemler onlarca yıldır var olmuştur. Bunlar güvenilir belirsizlik tahminleri sağlamak ve AI’ye daha akıllı kararlar vermesi için yönlendirilebilir.
Ancak kullanıcıların sorunu bu belirsizlikten hoşlanmasa bile, Daha büyük bir engel var: hesaplama ekonomisi.
Belirsizlik bilincinde dil modelleri, olası cevapları değerlendirmek ve güven seviyelerini tahmin etmek zorunda oldukları için mevcut yaklaşımdan önemli ölçüde daha fazla bilgi işlem gerektirir. Günde milyonlarca soruyu işleyen bir sistem için bu, Dramatik olarak daha yüksek işletme maliyetleri.
Daha sofistike yaklaşımlar aktif öğrenmeAI sistemleri belirsizliği azaltmak için açıklama soruları sorursa, doğruluğu artırabilirler, ancak Hesaplama gereksinimlerini daha da çarpın.
Bu yöntemler, yanlış cevapların milyonlarca dolara mal olduğu ve kapsamlı hesaplamayı haklı çıkardığı Chip Design gibi özel alanlarda iyi çalışır. Kullanıcıların anında yanıtlar beklediği tüketici uygulamaları için Ekonomi engelleyici hale geliyor.
Openai makalesi yanlışlıkla rahatsız edici bir gerçeği vurgular: AI gelişimini tüketim için yönlendiren iş teşvikleri temelde kalır halüsinasyonların azaltılmasıyla yanlış hizalanmış. Teşvikler değişmediği sürece halüsinasyonlar devam edecektir.