- Tiiny AI Pocket Lab, büyük modelleri yerel olarak çalıştırarak bulut bağımlılığını ortadan kaldırır
- Mini bilgisayar, ayrı GPU desteği olmadan gelişmiş çıkarım görevlerini yürütür
- 10B’den 120B’ye kadar parametrelere sahip modeller 65W güç dahilinde çevrimdışı çalışır
Amerikalı bir girişim olan Tiiny, büyük dil modellerini yerel olarak çalıştırabilen, cep boyutunda bir AI süper bilgisayarı olan AI Pocket Lab’ı piyasaya sürdü.
Cihaz bir mini bilgisayar gelişmiş çıkarım iş yüklerini bulut erişimi, harici sunucular veya ayrı hızlandırıcılar olmadan yürütmek üzere tasarlanmıştır.
Şirket, tüm işlemlerin çevrimdışı kaldığını, bunun da ağ gecikmesini ortadan kaldırdığını ve harici verilere maruz kalmayı sınırladığını belirtiyor.
Büyük modelleri bulut olmadan çalıştıracak şekilde tasarlandı
Tiiny AI GTM Direktörü Samar Bhoj, “Bulut AI dikkate değer bir ilerleme sağladı, ancak aynı zamanda bağımlılık, güvenlik açığı ve sürdürülebilirlik zorlukları da yarattı” dedi.
“Tiiny AI Pocket Lab ile zekanın veri merkezlerine değil insanlara ait olması gerektiğine inanıyoruz. Bu, büyük modellerin gücünü buluttan her bir cihaza getirerek gelişmiş yapay zekayı gerçekten erişilebilir, özel ve kişisel hale getirmenin ilk adımıdır.”
Cep Laboratuvarı, kısıtlı 65W güç aralığında çalışırken karmaşık akıl yürütme ve uzun bağlamlı görevler için tasarlanmış büyük kişisel modelleri hedefliyor.
Tiiny, 10B–100B parametre aralığındaki modeller için 120B’ye kadar uzanan destekle tutarlı performans iddia ediyor.
Bu üst sınır, önde gelen bulut sistemlerinin kapasitesine yaklaşarak gelişmiş akıl yürütmenin ve genişletilmiş bağlamın yerel olarak çalıştırılmasına olanak tanır.
Guinness Dünya Rekorları’nın, donanımı yerel 100B sınıfı model uygulaması için onayladığı bildirildi.
Sistem, yaklaşık 190 TOPS bilgi işlem sağlayan özel bir heterojen yapay zeka modülüyle eşleştirilmiş 12 çekirdekli bir ARMv9.2 CPU kullanıyor.
Sistem, 1 TB SSD’nin yanı sıra 80 GB LPDDR5X bellek içeriyor ve toplam güç tüketiminin 65 W sistem zarfı dahilinde kaldığı bildiriliyor.
Fiziksel boyutu, büyük bir harici sürücüye daha çok benzemektedir. iş istasyonucep odaklı markalaşmasını güçlendiriyor.
Spesifikasyonlar Houmo Manjie M50 tarzı çipe benzese de, bağımsız gerçek dünya performans verileri henüz mevcut değil.
Tiiny ayrıca önemli modellerin ve aracı çerçevelerin tek tıklamayla kurulumunu destekleyen açık kaynaklı bir ekosistemi de vurguluyor.
Şirket, OTA donanım yükseltmeleri olarak tanımladığı güncellemeler de dahil olmak üzere sürekli güncellemeler sağlayacağını belirtiyor.
Bu ifade sorunludur çünkü kablosuz iletişim mekanizmaları geleneksel olarak yazılıma uygulanır.
Açıklama, gerçek anlamda donanım değişikliğinden ziyade ya belirsiz ifadeler ya da pazarlama hatası olduğunu öne sürüyor.
Teknik yaklaşım, ham silikon performansını ölçeklendirmek yerine iki yazılım odaklı optimizasyona dayanır.
TurboSparse, model yapısını değiştirmeden çıkarım maliyetini azaltmak için seçici nöron aktivasyonuna odaklanır.
PowerInfer, iş yüklerini heterojen bileşenler arasında dağıtır ve CPU’yu özel bir NPU ile koordine ederek daha düşük güçte sunucu düzeyinde üretime ulaşır.
Sistem ayrı bir GPU içermiyor; şirket, dikkatli planlamanın pahalı hızlandırıcılara olan ihtiyacı ortadan kaldırdığını savunuyor.
Bu iddialar, kaba kuvvet donanımından ziyade verimlilik kazanımlarının birincil farklılaştırıcı olarak hizmet ettiğini göstermektedir.
Tiiny AI, Pocket Lab’ı merkezi yapay zeka hizmetlerini etkileyen sürdürülebilirlik, gizlilik ve maliyet baskılarına yanıt olarak konumlandırıyor.
Koşma büyük dil modelleri yerel olarak yinelenen bulut masraflarını azaltabilir ve hassas verilerin açığa çıkmasını sınırlayabilir.
Ancak bu tür kısıtlı donanımlarda yetenek, sunucu düzeyinde performans ve kusursuz ölçeklendirmeye ilişkin iddiaların bağımsız olarak doğrulanması hâlâ zordur.
Aracılığıyla TechPowerUp
TechRadar’ı Google Haberler’de takip edin Ve bizi tercih edilen kaynak olarak ekleyin Akışlarınızda uzman haberlerimizi, incelemelerimizi ve görüşlerimizi almak için. Takip Et butonuna tıklamayı unutmayın!
Ve tabii ki siz de yapabilirsiniz TechRadar’ı TikTok’ta takip edin haberler, incelemeler ve video biçimindeki kutu açma işlemleri için bizden düzenli olarak güncellemeler alın WhatsApp fazla.