Những điểm chính:
Nonuniform Tensor Parallelism của Nvidia cho phép các mô hình AI tiếp tục đào tạo ngay cả khi GPU gặp sự cố với chi phí dưới 1%, một giải pháp cho vấn đề ngày càng lớn khi các cụm máy tính mở rộng lên tới 100.000 chip.
Kỹ thuật Nonuniform Tensor Parallelism mới của Nvidia giúp quá trình đào tạo mô hình ngôn ngữ lớn tiếp tục chạy xuyên suốt các sự cố phần cứng với chi phí tính toán dưới 1%, giải quyết một điểm đau ngày càng lớn khi các cụm AI mở rộng lên hàng chục nghìn GPU.
"Bằng cách tự động điều chỉnh cấu hình song song tensor, các GPU còn lại sẽ đảm nhận khối lượng công việc tăng lên, đảm bảo bản sao bị ảnh hưởng vẫn tiếp tục đóng góp vào pipeline đào tạo," nhóm nghiên cứu của Nvidia cho biết trong một bài đăng trên blog mô tả chi tiết kỹ thuật này.
Phương pháp này tự động giảm mức độ của một nhóm song song tensor — ví dụ từ tám GPU xuống bảy — khi một chip bị lỗi, sau đó phân phối lại khối lượng công việc cho các thiết bị còn lại. Các GPU đang hoạt động nhận được tăng công suất tạm thời để duy trì thông lượng, giữ cho miền bị ảnh hưởng đồng bộ với các bản sao hoạt động đầy đủ. Quá trình tái phân mảnh trùng lặp với quá trình tính toán ngược và đồng bộ hóa tham số, giữ tổng chi phí dưới 1% trong một số cấu hình, Nvidia cho biết.
Giải pháp này có ý nghĩa quan trọng vì các công việc đào tạo LLM hiện nay kéo dài hàng nghìn GPU trong nhiều tuần hoặc nhiều tháng. Một sự cố phần cứng duy nhất trong một nhóm song song tensor liên kết chặt chẽ có thể làm đình trệ toàn bộ quá trình đào tạo, lãng phí hàng triệu đô la chi phí tính toán. Kiến trúc NVLink của Nvidia, kết nối tới 72 GPU mỗi miền với tốc độ 1.800 GB mỗi giây, khiến vấn đề phụ thuộc lẫn nhau trở nên nghiêm trọng hơn khi các miền mở rộng quy mô.
Kỹ thuật này được tích hợp vào nhánh dành cho nhà phát triển của Megatron Core framework của Nvidia, ngăn xếp phần mềm được hầu hết các phòng thí nghiệm AI lớn sử dụng để đào tạo các mô hình lớn. Công ty cũng đang khám phá Nonuniform Expert Parallelism cho các mô hình Mixture-of-Experts, mở rộng cùng logic phục hồi sang một chiến lược song song khác.
Đối với các nhà cung cấp đám mây sử dụng phần cứng của Nvidia — Microsoft Corp., Amazon.com Inc. và Google của Alphabet Inc. — cải tiến này có thể giảm thời gian chết trong đào tạo và hạ thấp chi phí tính toán hiệu quả. Đào tạo một mô hình tiên tiến có thể tiêu tốn 100 triệu USD hoặc hơn cho việc thuê GPU, và bất kỳ thời gian nhàn rỗi nào cũng trực tiếp làm giảm lợi nhuận từ khoản đầu tư đó. Meta Platforms Inc., công ty sử dụng GPU Nvidia để đào tạo các mô hình Llama, và OpenAI, công ty chạy GPT trên cơ sở hạ tầng Azure của Microsoft, cũng sẽ được hưởng lợi từ việc giảm gián đoạn liên quan đến sự cố.
Thông báo này được đưa ra trong bối cảnh Nvidia đang điều hướng các quá trình chuyển đổi sản phẩm của riêng mình. Kiến trúc Kyber rack-scale thế hệ tiếp theo của công ty, được thiết kế để chứa các chip Rubin Ultra 2027, đã bị trì hoãn hơn 12 tháng đến năm 2028 vì những thách thức trong sản xuất, theo một báo cáo ngày 6 tháng 7 từ SemiAnalysis được CNBC trích dẫn. Các khách hàng đám mây lớn đã từ chối thiết kế rack-scale dự phòng của Nvidia vì cho rằng nó cồng kềnh và tốn kém, dẫn đến việc hủy bỏ.
Bất chấp những thất bại đó, SemiAnalysis dự báo doanh thu điện toán trung tâm dữ liệu của Nvidia sẽ vượt đồng thuận Phố Wall 20% trong nửa cuối năm tài chính 2027. Cổ phiếu Nvidia giao dịch ở mức khoảng 22 lần thu nhập dự phóng, với vốn hóa thị trường đạt 4,72 nghìn tỷ USD.
Nghiên cứu NTP cho thấy Nvidia đang đầu tư vào khả năng phục hồi ở cấp độ phần mềm ngay cả khi lộ trình phần cứng của họ đối mặt với sự chậm trễ. Đối với các nhà đầu tư, câu hỏi đặt ra là liệu những cải tiến phần mềm có thể bù đắp khoảng trống cạnh tranh do tốc độ làm mới phần cứng chậm hơn tạo ra hay không. Advanced Micro Devices Inc. đang thu hẹp khoảng cách hiệu suất với các bộ tăng tốc MI300X và MI400 sắp tới, trong khi các siêu quy mô đám mây đang phát triển chip tùy chỉnh — TPU của Google, Trainium của Amazon, Maia của Microsoft — giúp giảm sự phụ thuộc của họ vào lộ trình của Nvidia. Mọi cải thiện hiệu quả trong hệ sinh thái của Nvidia đều trở nên quan trọng hơn khi các giải pháp thay thế này trưởng thành.
Bài viết này chỉ nhằm mục đích cung cấp thông tin và không cấu thành lời khuyên đầu tư.
