엔비디아의 비균일 텐서 병렬화, LLM 학습 오버헤드를 1% 미만으로 유지

엔비디아의 비균일 텐서 병렬화(NTP)는 GPU 장애가 발생해도 1% 미만의 오버헤드로 AI 모델이 계속 학습될 수 있게 하며, 클러스터가 10만 개 칩 규모로 확장됨에 따라 커지는 문제에 대한 해결책이다.

엔비디아의 새로운 비균일 텐서 병렬화 기술은 하드웨어 장애 상황에서도 대규모 언어 모델(LLM) 학습을 1% 미만의 연산 오버헤드로 유지하며, AI 클러스터가 수만 개 GPU로 확장됨에 따라 커지는 고충을 해결한다.

엔비디아 연구팀은 이 기술을 상세히 설명한 블로그 게시물에서 "텐서 병렬화 구성을 동적으로 조정함으로써, 남은 GPU들이 증가된 작업 부하를 받아 장애가 발생한 복제본(replica)이 계속 학습 파이프라인에 기여할 수 있도록 보장한다"고 말했다.

이 방법은 칩이 고장 나면 텐서 병렬화 그룹의 차수(degree)를 자동으로 축소(예: 8개 GPU에서 7개로)한 후, 남은 장치들에 작업 부하를 재분배한다. 활성 GPU는 일시적으로 전력 부스트를 받아 처리량을 유지하며, 장애가 발생한 도메인도 완전히 작동하는 복제본들과 동기화 상태를 유지한다. 엔비디아에 따르면 리샤딩(resharding) 과정은 역방향 계산 및 파라미터 동기화와 중첩되어 수행되며, 일부 구성에서 총 오버헤드를 1% 미만으로 유지한다.

이러한 해결책이 중요한 이유는 LLM 학습 작업이 이제 수천 개의 GPU에 걸쳐 수주 또는 수개월 동안 진행되기 때문이다. 긴밀하게 결합된 텐서 병렬화 그룹에서 단 한 번의 하드웨어 장애로 전체 학습 실행이 중단될 수 있으며, 이는 수백만 달러의 컴퓨팅 시간 낭비로 이어진다. 도메인당 최대 72개 GPU를 초당 1,800GB 속도로 연결하는 엔비디아의 NVLink 패브릭은 스케일업 도메인이 확장됨에 따라 상호 의존성 문제를 더욱 심화시킨다.

이 기술은 대부분의 주요 AI 연구소가 대규모 모델 학습에 사용하는 소프트웨어 스택인 엔비디아의 Megatron Core 프레임워크 개발자 브랜치에 통합되었다. 엔비디아는 또한 Mixture-of-Experts 모델을 위한 비균일 전문가 병렬화(Nonuniform Expert Parallelism)를 탐색 중이며, 동일한 복원력 로직을 다른 병렬화 전략으로 확장하고 있다.

엔비디아 하드웨어를 운영하는 클라우드 제공업체(마이크로소프트, 아마존닷컴, 알파벳의 구글)에게 이번 개선은 학습 중단 시간을 줄이고 유효 컴퓨팅 비용을 낮출 수 있다. 프론티어 모델 하나를 학습하는 데 GPU 임대료로 1억 달러 이상이 소요될 수 있으며, 유휴 시간은 해당 투자 수익을 직접적으로 잠식한다. 엔비디아 GPU로 Llama 모델을 학습하는 메타 플랫폼스와 마이크로소프트의 Azure 인프라에서 GPT를 실행하는 OpenAI도 장애 관련 중단 감소의 혜택을 받을 것이다.

이번 발표는 엔비디아가 자체 제품 전환기를 헤쳐 나가는 상황에서 나왔다. 2027년 Rubin Ultra 칩을 수용하도록 설계된 엔비디아의 차세대 Kyber 랙스케일 아키텍처는 제조상의 어려움으로 인해 2028년으로 12개월 이상 지연됐다고 CNBC가 인용한 7월 6일 SemiAnalysis 보고서가 전했다. 주요 클라우드 고객들은 엔비디아의 백업 랙스케일 설계를 어색하고 비용이 많이 든다는 이유로 거부했고, 결국 취소됐다.

이러한 차질에도 불구하고 SemiAnalysis는 엔비디아의 2027 회계연도 하반기 데이터센터 컴퓨팅 매출이 월가 컨센서스를 20% 상회할 것으로 전망한다. 엔비디아 주식은 선행 주가수익비율(P/E) 약 22배에 거래되고 있으며, 시가총액은 4조 7200억 달러에 달한다.

NTP 연구는 엔비디아의 하드웨어 로드맵이 지연을 겪는 가운데서도 소프트웨어 수준의 복원력에 투자하고 있음을 시사한다. 투자자에게 남은 질문은 소프트웨어 개선이 느려진 하드웨어 업그레이드 주기로 인해 생긴 경쟁적 틈새를 메울 수 있느냐는 것이다. 어드밴스드 마이크로 디바이스(AMD)는 MI300X와 차기 MI400 가속기로 성능 격차를 좁히고 있으며, 클라우드 하이퍼스케일러들은 구글의 TPU, 아마존의 Trainium, 마이크로소프트의 Maia 등 엔비디아 로드맵에 대한 의존도를 낮추는 맞춤형 칩을 개발 중이다. 이러한 대안들이 성숙해짐에 따라 엔비디아 생태계의 모든 효율성 개선은 더욱 중요해지고 있다.

본 기사는 정보 제공 목적으로만 작성되었으며 투자 조언을 구성하지 않습니다.