Yapay zeka teknolojilerinde öncü olan Nvidia, yakın zamanda rekabet avantajını daha da artırabilecek, oyunun kurallarını değiştiren yenilikler sunarak pazar lideri konumunu doğruladı. H100 AI çipiyle Nvidia, Alphabet ve Amazon gibi devleri geride bırakarak multi trilyon dolarlık bir şirket haline geldi. Ancak sektördeki son hamlesi rakipleri daha da geride bırakabilir: yeni Blackwell B200 GPU ve GB200 “süper çip”in tanıtılması.
GPU Teknoloji Konferansı etkinliğinin canlı yayını sırasında Nvidia CEO'su Jensen Huang, artık ünlü olan H100'ün yanı sıra yeni B200 GPU'yu da tanıttı ve 208 milyar transistörü sayesinde FP4'ün 20 petaflop'a kadar hesaplama gücünü ortaya çıkardı. Daha da etkileyici olanı, iki B200 GPU'yu tek bir Grace işlemciyle birleştiren, büyük dil modeli (LLM) çıkarımı için 30 kata kadar daha yüksek performans sunan ve H100'e kıyasla %95'e varan maliyet ve güç tüketiminde önemli azalma sağlayan GB200'dür.
Daha önce 8.000 Hopper GPU ve 15 megavat güç gerektiren 1,8 trilyon parametreli bir modeli eğitmek, artık yalnızca dört megavat tüketen 2.000 Blackwell GPU ile gerçekleştirilebiliyor. 175 milyar parametreli LLM GPT-3 kıyaslaması ile karşılaştırıldığında GB200, H100'ün yaklaşık yedi katı performans sergileyerek eğitim hızını dört katına çıkardı. Nvidia'nın en büyük iyileştirmelerinden biri, nöron başına sekiz yerine yalnızca dört bit kullanarak bilgi işlem gücünü, bant genişliğini ve model boyutunu iki katına çıkaran ikinci nesil Transformer Engine'dir. Bu GPU'ların büyük bir kısmını bağlarken bir diğer önemli yenilik ortaya çıkıyor: saniyede 1,8 terabayt çift yönlü bant genişliği ile 576 GPU'nun birbiriyle iletişim kurmasına olanak tanıyan yeni nesil bir NVLink anahtarı.
Blackwell mimarisi aynı zamanda FP4 ve FP6 formatlarının eklenmesi ve yeni Quantum-X800 InfiniBand veya Spectrum-X800 ethernet teknolojisi ile 800 Gbps ağlar üzerinden bağlanan onbinlerce GB200 süper çipe kadar ölçeklendirme yeteneği ile de dikkat çekiyor. Nvidia bununla da yetinmiyor ve ayrıca DGX GB200 için sekiz sistemi toplam 288 CPU, 576 GPU, 240 TB bellek ve 11,5 exaflops FP4 bilgi işlem gücü için bir araya getiren DGX Superpod'u da sunuyor ve bu alanda bir devrim vaat ediyor. Geniş ölçekte yapay zeka eğitimi. Amazon, Google, Microsoft ve Oracle gibi bulut devleri, bulut hizmeti tekliflerinde şimdiden NVL72 raflarını sunmayı planlıyor ve bu, yapay zeka için mevcut bilgi işlem gücünde yeni bir çağın başlangıcını işaret ediyor.
GPU Teknoloji Konferansı etkinliğinin canlı yayını sırasında Nvidia CEO'su Jensen Huang, artık ünlü olan H100'ün yanı sıra yeni B200 GPU'yu da tanıttı ve 208 milyar transistörü sayesinde FP4'ün 20 petaflop'a kadar hesaplama gücünü ortaya çıkardı. Daha da etkileyici olanı, iki B200 GPU'yu tek bir Grace işlemciyle birleştiren, büyük dil modeli (LLM) çıkarımı için 30 kata kadar daha yüksek performans sunan ve H100'e kıyasla %95'e varan maliyet ve güç tüketiminde önemli azalma sağlayan GB200'dür.
Daha önce 8.000 Hopper GPU ve 15 megavat güç gerektiren 1,8 trilyon parametreli bir modeli eğitmek, artık yalnızca dört megavat tüketen 2.000 Blackwell GPU ile gerçekleştirilebiliyor. 175 milyar parametreli LLM GPT-3 kıyaslaması ile karşılaştırıldığında GB200, H100'ün yaklaşık yedi katı performans sergileyerek eğitim hızını dört katına çıkardı. Nvidia'nın en büyük iyileştirmelerinden biri, nöron başına sekiz yerine yalnızca dört bit kullanarak bilgi işlem gücünü, bant genişliğini ve model boyutunu iki katına çıkaran ikinci nesil Transformer Engine'dir. Bu GPU'ların büyük bir kısmını bağlarken bir diğer önemli yenilik ortaya çıkıyor: saniyede 1,8 terabayt çift yönlü bant genişliği ile 576 GPU'nun birbiriyle iletişim kurmasına olanak tanıyan yeni nesil bir NVLink anahtarı.
Blackwell mimarisi aynı zamanda FP4 ve FP6 formatlarının eklenmesi ve yeni Quantum-X800 InfiniBand veya Spectrum-X800 ethernet teknolojisi ile 800 Gbps ağlar üzerinden bağlanan onbinlerce GB200 süper çipe kadar ölçeklendirme yeteneği ile de dikkat çekiyor. Nvidia bununla da yetinmiyor ve ayrıca DGX GB200 için sekiz sistemi toplam 288 CPU, 576 GPU, 240 TB bellek ve 11,5 exaflops FP4 bilgi işlem gücü için bir araya getiren DGX Superpod'u da sunuyor ve bu alanda bir devrim vaat ediyor. Geniş ölçekte yapay zeka eğitimi. Amazon, Google, Microsoft ve Oracle gibi bulut devleri, bulut hizmeti tekliflerinde şimdiden NVL72 raflarını sunmayı planlıyor ve bu, yapay zeka için mevcut bilgi işlem gücünde yeni bir çağın başlangıcını işaret ediyor.