- Raspberry Pi AI HAT+ 2, Raspberry Pi 5’in LLM’leri yerel olarak çalıştırmasına olanak tanır
- Hailo-10H hızlandırıcı, 40 TOPS INT4 çıkarım gücü sağlar
- PCIe arayüzü, kart ile Raspberry Pi 5 arasında yüksek bant genişliğine sahip iletişim sağlar
Raspberry Pi, sınır bilişim hedeflerini piyasaya sürülmesiyle genişletti. ŞAPKA VAR + 2Üretken AI iş yüklerini Raspberry Pi 5’e getirmek için tasarlanmış bir eklenti kartıdır.
Daha önceki AI HAT donanımı neredeyse tamamen bilgisayarlı görmeyi hızlandırmaya, nesne algılama ve sahne bölümleme gibi görevleri yerine getirmeye odaklanıyordu.
Yeni yönetim kurulu bu kapsamı genişletiyor büyük dil modelleri ve bulut altyapısına veya kalıcı ağ erişimine dayanmadan yerel olarak çalışan görüş dili modelleri.
Yerel dil modellerine olanak tanıyan donanım değişiklikleri
Yükseltmenin merkezinde, 40TOPS INT4 çıkarım performansı sunan Hailo-10H sinir ağı hızlandırıcı yer alıyor.
Önceki modelden farklı olarak AI HAT+ 2, 8 GB özel yerleşik belleğe sahip olup, daha büyük modellerin ana bilgisayar Raspberry Pi’de sistem RAM’i tüketmeden çalışmasını sağlar.
Bu değişiklik, LLM’lerin ve VLM’lerin cihaz üzerinde doğrudan yürütülmesine olanak tanır ve birçok uç konuşlandırma için temel bir gereklilik olan düşük gecikmeyi ve yerel verileri korur.
Bir standart kullanma Raspberry Pi dağıtımıile kullanıcılar desteklenen modelleri yükleyebilir ve tarayıcı tabanlı sohbet araçları gibi tanıdık arayüzler aracılığıyla bunlara erişebilir.
AI HAT+ 2, GPIO başlığı aracılığıyla Raspberry Pi 5’e bağlanır ve veri aktarımı için sistemin PCIe arayüzüne güvenir; bu da Raspberry Pi 4 ile uyumluluğu ortadan kaldırır.
Bu bağlantı, model girişlerini, çıkışlarını ve kamera verilerini verimli bir şekilde taşımak için gerekli olan hızlandırıcı ile ana bilgisayar arasındaki yüksek bant genişliğine sahip veri aktarımını destekler.
Gösterimler arasında Qwen2 ile metin tabanlı soru yanıtlama, Qwen2.5-Coder kullanarak kod oluşturma, temel çeviri görevleri ve canlı kamera yayınlarından görsel sahne açıklamaları yer alıyor.
Bu iş yükleri şunlara bağlıdır: Yapay zeka araçları Konteynerli arka uçlar ve yerel çıkarım sunucuları da dahil olmak üzere Pi yazılım yığınında çalışacak şekilde paketlenmiştir.
Tüm işlemler harici bilgi işlem kaynakları olmadan cihazda gerçekleşir.
Desteklenen modeller bir ila bir buçuk milyar parametre arasında değişmektedir; bu, çok daha büyük ölçeklerde çalışan bulut tabanlı sistemlerle karşılaştırıldığında mütevazı bir rakamdır.
Bu daha küçük LLM’ler geniş, genel amaçlı bilgi yerine sınırlı hafızayı ve güç zarflarını hedefler.
Bu kısıtlamayı gidermek için AI HAT+ 2, geliştiricilerin çoğu parametreyi değiştirmeden modelleri dar görevler için özelleştirmesine olanak tanıyan Düşük Sıralı Uyarlama gibi ince ayar yöntemlerini destekler.
Görme modelleri ayrıca Hailo’nun araç zinciri aracılığıyla uygulamaya özel veri kümeleri kullanılarak yeniden eğitilebilir.
AI HAT+ 2, 130 ABD Doları fiyatla satışa sunuluyor; bu da onu daha önceki görüş odaklı aksesuarların üstüne çıkarırken benzer bilgisayar görüşü verimi sunuyor.
Yalnızca görüntü işlemeye odaklanan iş yükleri için yükseltme, sınırlı kazançlar sunuyor çünkü çekiciliği büyük ölçüde yerel Yüksek Lisans uygulamasına ve gizliliğe duyarlı uygulamalara dayanıyor.
Pratik anlamda donanım, Raspberry Pi donanımında üretken yapay zekanın artık mümkün olduğunu gösteriyor, ancak sınırlı bellek boşluğu ve küçük model boyutları bir sorun olmaya devam ediyor.
TechRadar’ı Google Haberler’de takip edin Ve bizi tercih edilen kaynak olarak ekleyin Akışlarınızda uzman haberlerimizi, incelemelerimizi ve görüşlerimizi almak için. Takip Et butonuna tıklamayı unutmayın!
Ve tabii ki siz de yapabilirsiniz TechRadar’ı TikTok’ta takip edin haberler, incelemeler, video biçimindeki kutu açılışları için ve bizden düzenli olarak güncellemeler alın WhatsApp fazla.