Önemli Çıkarımlar:
Nvidia'nın Düzgün Olmayan Tensör Paralelliği, yapay zeka modellerinin GPU arızalarında %1'in altında ek yük ile eğitime devam etmesini sağlıyor; bu, kümeler 100.000 çipe ölçeklendikçe büyüyen bir soruna çözüm getiriyor.
Nvidia'nın yeni Düzgün Olmayan Tensör Paralelliği (NTP) tekniği, yapay zeka kümelerinin on binlerce GPU'ya genişlemesiyle artan bir soruna yanıt olarak, büyük dil modeli eğitimini donanım arızalarında %1'in altında hesaplama ek yükü ile sürdürmeye olanak tanıyor.
"Kalan GPU'lar, tensör paralelliği konfigürasyonlarını dinamik olarak ayarlayarak artan iş yüklerini üstleniyor ve etkilenen replikanın eğitim hattına katkıda bulunmaya devam etmesini sağlıyor," dedi Nvidia araştırma ekibi, tekniği detaylandırdıkları bir blog yazısında.
Yöntem, bir çip arızalandığında tensör paralelliği grubunun derecesini otomatik olarak düşürüyor — örneğin sekiz GPU'dan yedi GPU'ya — ve ardından iş yükünü kalan cihazlar arasında yeniden dağıtıyor. Aktif GPU'lar, verimi korumak için geçici güç artışları alıyor ve etkilenen alanın tamamen çalışan replikalarla senkronize kalmasını sağlıyor. Nvidia'ya göre, yeniden paylaştırma süreci geriye dönük hesaplama ve parametre senkronizasyonu ile örtüşüyor ve bazı konfigürasyonlarda toplam ek yükü %1'in altında tutuyor.
Bu düzeltme, LLM eğitim işlerinin artık haftalar veya aylar boyunca binlerce GPU'ya yayılması nedeniyle önem taşıyor. Sıkı bir şekilde bağlı bir tensör paralelliği grubundaki tek bir donanım arızası, tüm bir eğitim sürecini durdurabilir ve milyonlarca dolarlık hesaplama süresinin boşa gitmesine neden olabilir. Nvidia'nın alan başına 72 GPU'yu saniyede 1.800 GB hızında birbirine bağlayan NVLink altyapısı, ölçeklenebilirlik alanları genişledikçe karşılıklı bağımlılık sorununu daha da akut hale getiriyor.
Teknik, Nvidia'nın çoğu büyük yapay zeka laboratuvarının büyük modelleri eğitmek için kullandığı yazılım yığını olan Megatron Core çerçevesinin geliştirici dalına entegre edildi. Şirket ayrıca, aynı dayanıklılık mantığını farklı bir paralellik stratejisine genişleterek, Uzman Karışımı (MoE) modelleri için Düzgün Olmayan Uzman Paralelliği üzerinde de çalışıyor.
Nvidia donanımını çalıştıran bulut sağlayıcıları — Microsoft Corp., Amazon.com Inc. ve Alphabet Inc.'in Google'ı — için bu iyileştirme, eğitim kesintilerini azaltabilir ve efektif hesaplama maliyetlerini düşürebilir. Bir sınır modelini eğitmek, GPU kiralama başına 100 milyon dolar veya daha fazlaya mal olabilir ve herhangi bir boşta kalma süresi, bu yatırımın getirisini doğrudan aşındırır. Llama modellerini eğitmek için Nvidia GPU'larını kullanan Meta Platforms Inc. ve Microsoft'un Azure altyapısında GPT'yi çalıştıran OpenAI de arıza kaynaklı kesintilerin azalmasından faydalanacak.
Bu duyuru, Nvidia'nın kendi ürün geçişlerini yönettiği bir dönemde geliyor. Şirketin 2027 Rubin Ultra çiplerini barındırmak üzere tasarlanan bir sonraki nesil Kyber raf ölçeğindeki mimarisi, CNBC tarafından aktarılan 6 Temmuz tarihli bir SemiAnalysis raporuna göre, üretim zorlukları nedeniyle 12 aydan fazla bir süreyle 2028'e ertelendi. Büyük bulut müşterileri, Nvidia'nın yedek raf ölçeği tasarımını hantal ve maliyetli bularak reddetti ve bu da iptaline yol açtı.
Bu aksaklıklara rağmen SemiAnalysis, Nvidia'nın veri merkezi bilgi işlem gelirinin 2027 mali yılının ikinci yarısında Wall Street konsensüsünü yüzde 20 oranında aşacağını öngörüyor. Nvidia hisseleri, yaklaşık 22 kat ileriye dönük kazançtan işlem görüyor ve piyasa değeri 4,72 trilyon dolar seviyesinde bulunuyor.
NTP araştırması, Nvidia'nın donanım yol haritası gecikmelerle karşı karşıyayken bile yazılım düzeyinde dayanıklılığa yatırım yaptığına işaret ediyor. Yatırımcılar için soru, yazılım iyileştirmelerinin, daha yavaş donanım yenilemelerinin yarattığı rekabetçi boşluğu kapatıp kapatamayacağıdır. Advanced Micro Devices Inc., MI300X ve yakında çıkacak MI400 hızlandırıcıları ile performans farkını kapatırken, hiper ölçekli bulut sağlayıcıları — Google'ın TPU'su, Amazon'un Trainium'u, Microsoft'un Maia'sı — Nvidia'nın yol haritasına olan bağımlılıklarını azaltan özel çipler geliştiriyor. Bu alternatifler olgunlaştıkça Nvidia ekosistemindeki her verimlilik kazanımı daha da önemli hale geliyor.
Bu makale yalnızca bilgilendirme amaçlıdır ve yatırım tavsiyesi niteliği taşımaz.
