- HBF, DRAM’den daha yavaş kalarak HBM kapasitesinin on katı sunar
- GPU’lar, katmanlı HBM-HBF bellek aracılığıyla daha büyük veri kümelerine erişecek
- HBF’de yazma işlemleri sınırlıdır ve yazılımın okumaya odaklanmasını gerektirir
Yapay zeka iş yüklerindeki patlama, bellek sistemleri üzerinde benzeri görülmemiş bir baskı oluşturarak şirketleri, verileri hızlandırıcılara nasıl ulaştıracaklarını yeniden düşünmeye zorladı.
Yüksek bant genişlikli bellek (HBM), GPU’lar için hızlı bir önbellek görevi görerek, Yapay zeka araçları Anahtar/değer (KV) verilerini verimli bir şekilde okumak ve işlemek için.
Bununla birlikte, HBM pahalıdır, hızlıdır ve kapasitesi sınırlıdır; yüksek bant genişlikli flaş (HBF) ise daha düşük hızlarda çok daha büyük hacim sunar.
HBF, HBM’yi nasıl tamamlar?
HBF’nin tasarımı şunları sağlar: GPU’lar yazma sayısını sınırlandırırken daha geniş bir veri kümesine erişmek için (modül başına yaklaşık 100.000), bu da yazılımın okumalara yazmalara göre öncelik vermesini gerektirir.
HBF, yapay zeka hızlandırıcılarının yakınında HBM ile entegre olacak ve katmanlı bir bellek mimarisi oluşturacak.
KAIST’ten Profesör Kim Joungho, HBM’yi hızlı çalışma için evdeki bir kitap rafına benzetirken, HBF çok daha fazla içeriğe sahip ancak daha yavaş erişime sahip bir kütüphane gibi işlev görüyor.
Profesör Kim, “Bir GPU’nun AI çıkarımı yapması için, HBM’den KV önbelleği adı verilen değişken verileri okuması gerekir. Daha sonra bunu yorumlayıp kelime kelime aktarır ve bence bu görev için HBF’yi kullanacaktır” dedi.
“HBM hızlı, HBF yavaş ama kapasitesi yaklaşık 10 kat daha büyük. Ancak HBF’nin okuma sayısında bir sınırı olmasa da yazma sayısında 100.000 civarında bir sınırı var. Bu nedenle OpenAI veya Google Program yazmak için yazılımlarını okumaya odaklanacak şekilde yapılandırmaları gerekiyor.”
HBF’nin, birden fazla HBM yığınının bir ağda birbirine bağlanarak hem bant genişliğini hem de kapasiteyi artırdığı HBM6 ile piyasaya sürülmesi bekleniyor.
Konsept, HBM7 gibi gelecekteki yinelemelerin, verilerin geleneksel depolama ağlarından sapmadan doğrudan HBF’den işlenebildiği bir “bellek fabrikası” olarak işlev görmesini öngörüyor.
HBF, birden fazla 3D NAND kalıbını, HBM’nin DRAM istiflemesine benzer şekilde dikey olarak istifler ve bunları silikon geçiş yoluyla (TSV’ler) bağlar.
Tek bir HBF ünitesi 512 GB kapasiteye ulaşabilir ve standart SSD NVMe PCIe 4.0 hızlarını çok aşan 1,638 TBps bant genişliğine ulaşabilir.
SK Hynix ve Sandisk, TSV’ler aracılığıyla bir temel mantık kalıbına bağlanan ve işlevsel bir yığın oluşturan üst NAND katmanlarını gösteren diyagramlar gösterdi.
Prototip HBF yongaları, alt katmanlarda bükülmeyi önlemek için dikkatli bir üretim gerektirir ve ek NAND yığınları, TSV bağlantılarının karmaşıklığını daha da artıracaktır.
SAMSUNG Electronics ve Sandisk HBF’yi bünyesine katmayı planlıyor Nvidia, AMDve Google AI ürünleri önümüzdeki 24 ay içinde.
SK Hynix bu ayın sonunda bir prototip yayınlayacak ve şirketler aynı zamanda bir konsorsiyum aracılığıyla standardizasyon üzerinde çalışıyor.
HBF’nin benimsenmesinin HBM6 döneminde hızlanması bekleniyor ve Kioxia halihazırda 64 Gbps’de PCIe Gen 6 x8 kullanan 5 TB’lık bir HBF modülünün prototipini oluşturdu. Profesör Kim, HBF pazarının 2038 yılına kadar HBM’yi geçebileceğini öngörüyor.
Aracılığıyla Sisajournal (orijinal olarak Korece)
TechRadar’ı Google Haberler’de takip edin Ve bizi tercih edilen kaynak olarak ekleyin Akışlarınızda uzman haberlerimizi, incelemelerimizi ve görüşlerimizi almak için. Takip Et butonuna tıklamayı unutmayın!
Ve tabii ki siz de yapabilirsiniz TechRadar’ı TikTok’ta takip edin Video biçimindeki haberler, incelemeler ve kutu açma işlemleri için bizden düzenli güncellemeler alın WhatsApp fazla.