Oyuncak bebek cinsel içerikli soruları yanıtladı ve hatta sado-mazoşizm uygulamalarını denemeyi bile önerdi. Şirket zaten satışları askıya aldı.
Rapora göre OpenAI, yapay zekalı oyuncak ayının sergilediği endişe verici davranışlar nedeniyle Singapurlu bir oyuncak üreticisinin teknolojisine erişimini askıya aldı. Gizmodo.
Tartışma, Kuzey Amerika’da tüketicinin korunmasına odaklanan kar amacı gütmeyen bir kuruluş olan Kamu Çıkarı Araştırma Grubu’nun (PIRG) ayrıntılı bir rapor yayınlamasıyla başladı. birkaç oyuncaktan gelen uygunsuz tepkiler yapay zekaya sahip, özellikle de FoloToy tarafından yaratılan konuşan bir oyuncak ayı olan Kumma. Kumma dahili bir hoparlör kullanıyor ve sohbet etmek için OpenAI’nin GPT-4o’su da dahil olmak üzere birden fazla dil modeline (LLM) güveniyor.
PIRG araştırmacılarına göre oyuncak, hangi temaların çocuklar için uygun olduğunu belirlemede “yargılama eksikliği” gösterdi. Test etkileşimlerinde Kumma kolaylıkla tartışıldı tehlikeli ev eşyaları nerede bulunurbıçak, kibrit, hap ve plastik torba gibi. Oyuncak aynı zamanda kokain de dahil olmak üzere uyuşturucularla ilgili soruları da yanıtlıyor, bazen bilgilerin önüne “bir yetişkine sormanız” gerektiğini hatırlatıyor ancak yine de tehlikeli nesneler hakkında belirli ayrıntılar veriyordu.
Oyuncak aynı zamanda araştırmacılar cinsel temaları gündeme getirdiğinde de yanıtlar sağlıyordu. PIRG, Kumma’nın basit soruları hızla açık açıklamalara dönüştürdüğünü, buna referanslar da dahil olduğunu bildirdi. sado-mazoşist uygulamalaresaret veya rol yapma. Bir noktada ayı, kullanıcıya hangi aktiviteyi “keşfetmeyi en eğlenceli” bulduğunu bile sorar.
Raporun ardından OpenAI, FoloToy’un sistemlerine erişimini askıya aldı. “Bu programcıyı askıya aldık politikalarımızı ihlal etmek” diyen bir OpenAI sözcüsü, kurallarının şirketin teknolojisinin reşit olmayanları cinselleştirmek, tehlikeye atmak veya istismar etmek için kullanılmasını kesinlikle yasakladığını vurguladı.
FoloToy yanıtladı tüm satışların geçici olarak durdurulması ve ürünlerini platformdan kaldırmak. PIRG’e yapılan açıklamada şirket, “tüm FoloToy ürünlerinin satışını askıya aldığını” ve “şirket çapında eksiksiz bir güvenlik denetimi” yürüttüğünü söyledi. Web siteniz artık satın alınabilecek hiçbir ürünü görüntülemiyor.
PIRG her iki şirketin de hızlı aksiyonunu övdü ancak sektörün bir bütün olarak aynı durumda olduğu konusunda da uyardı. büyük ölçüde düzenlenmemiş. Kuruluş, daha sıkı bir denetim gerektiğini savunarak, “Yapay zeka oyuncakları hâlâ büyük ölçüde denetimsiz ve bugün satın alınabilecek çok sayıda oyuncak var” dedi.