Tin Tức
TOPS là gì mà cả Qualcomm, Intel hay AMD đều khoe để chạy AI? Người ta đo chỉ số TOPS như thế nào?
Chúng ta thường nghe về các con số TOPS (trillion operations per second) khi nói về các vi xử lý mới, như một vi xử lý có sức mạnh NPU là 15 TOPS, một vi xử lý khác là 45 TOPS, và còn rất nhiều con số khác. Vậy TOPS là gì? Làm thế nào để đo lường số TOPS này? Tại sao trong lĩnh vực AI, việc đề cập đến TOPS lại trở nên phổ biến và quan trọng đến vậy?
TOPS đo lường khả năng thực hiện các phép tính toán của một vi xử lý trong mỗi giây. Cụ thể, nó chỉ ra số lượng phép tính (operations) mà vi xử lý có thể thực hiện trong một giây. Vì AI đòi hỏi sự xử lý song song của nhiều phép tính cùng một lúc, nên TOPS được coi là một chỉ số quan trọng để đánh giá hiệu suất của vi xử lý trong các ứng dụng AI.
Tuy nhiên, cần phải phân biệt giữa TOPS và TFLOPS (trillion floating-point operations per second), một đơn vị thường được sử dụng trong tính toán thông thường. TFLOPS đo lường khả năng thực hiện các phép tính toán dấu chấm động (floating-point operations), trong khi TOPS tập trung vào các phép tính nhị phân (binary operations) thường được sử dụng trong các mạng nơ-ron và các thuật toán AI.
Do đó, trong lĩnh vực AI, các hãng công nghệ như Qualcomm, Intel và AMD thường sử dụng TOPS để đo lường và so sánh hiệu suất của các vi xử lý AI của họ. Đối với các ứng dụng AI, TOPS là một chỉ số quan trọng giúp đánh giá và lựa chọn vi xử lý phù hợp nhất cho nhu cầu cụ thể của từng ứng dụng.
TOPS là gì?
TOPS, hay Tera Operations Per Second, là chỉ số biểu thị khả năng tính toán của một con chip trong mỗi giây. Đây thường là đơn vị được sử dụng để đo lường hiệu suất của các bộ xử lý trí tuệ nhân tạo (NPU), đặc biệt là trong các thiết bị di động, máy tính xách tay và máy tính để bàn.
Các nhà sản xuất chip thường sử dụng số TOPS này để quảng cáo về hiệu suất tính toán của sản phẩm của họ so với các đối thủ. Dần dần, TOPS đã trở thành một thước đo quan trọng để so sánh tốc độ, sức mạnh và hiệu suất xử lý của các con chip. Tất nhiên, còn có nhiều yếu tố khác cần xem xét, nhưng thường khi nói về số TOPS, người ta thường liên tưởng đến vi xử lý AI, đặc biệt là NPU, tương tự như khi nói về GPU, người ta thường sử dụng số TFLOPS để so sánh.
TOPS và TFLOPS khác gì nhau?
TFLOPS, hoặc Floating Point Operations Per Second, là đơn vị đo lường số lượng phép tính dấu phẩy động (Tera Floating Point Operations Per Second) mà một hệ thống có thể thực hiện trong mỗi giây. Đây thường được sử dụng trong các lĩnh vực như tính toán khoa học và máy tính.
Trong khi đó, TOPS đo lường số lượng phép tính tổng quát, bao gồm cả phép toán với số nguyên và dấu phẩy động. Trái lại, TFLOPS tập trung vào phép toán dấu phẩy động như cộng, trừ, nhân, chia với số thực. Do đó, TFLOPS thường được sử dụng trong tính toán khoa học, mô phỏng và các ứng dụng yêu cầu tính toán chính xác với số thực.
Đồng thời, TOPS thường được áp dụng để đo lường hiệu suất trong lĩnh vực trí tuệ nhân tạo, đặc biệt là trong các mạng neural và các mô hình học sâu.
Người ta tính số TOPS như thế nào?
TOPS được tính bằng công thức: MACs * Frequency * 2. Ở đây, MACs (Multiply-Accumulates) biểu thị cho số lượng phép nhân và cộng mà một hệ thống có thể thực hiện trong mỗi giây, Frequency là tần số thực hiện các phép MAC.
Ví dụ, nếu một NPU có 60.000 đơn vị MACs và hoạt động ở tần số 1.5GHz, thì sẽ đạt 180 TOPS. Tuy nhiên, nếu tăng tần số lên 1.75GHz, giữ nguyên đơn vị MACs, thì lúc này sẽ đạt 210 TOPS.
Điều này chỉ ra rằng các đại lượng này có mối quan hệ tỉ lệ thuận. Tức là, tần số càng cao (càng lớn), chỉ số TOPS càng lớn, và từ đó, NPU hoặc toàn bộ SoC sẽ hoạt động càng hiệu quả. Tuy nhiên, điều này cũng đồng nghĩa với việc tăng năng lượng tiêu thụ.
Mọi thành phần, chẳng hạn như CPU, GPU hoặc NPU, đều tiêu tốn năng lượng. Nếu cung cấp nhiều năng lượng hơn, chúng sẽ mạnh mẽ hơn và chỉ số TOPS cũng sẽ tăng lên. Trong việc tiếp thị, các sản phẩm như Qualcomm Snapdragon X Elite (45 TOPS), Intel Core Ultra (NPU 10 TOPS), hoặc AMD Ryzen 8040 “HawkPoint” (NPU 16 TOPS) rõ ràng mang lại hiệu quả cho người dùng. Tuy nhiên, vấn đề là việc tiêu thụ nhiều năng lượng cũng tăng nhiệt độ. Với các SoC ARM như Qualcomm Snapdragon X Elite, họ tiếp tục quảng cáo hiệu suất mỗi watt tiêu thụ là gấp đôi so với Intel.
Với các hệ thống lớn như máy chủ, điện năng cao và nhiệt độ cao không phải là vấn đề lớn, nhưng đối với các thiết bị như laptop hoặc điện thoại, việc quá nhiệt độ có thể gây ra những vấn đề. Câu hỏi là làm thế nào để tăng số TOPS mà không tăng năng lượng tiêu thụ quá nhiều, và vẫn giữ được tốc độ cao? Điều này đã dẫn đến cuộc đua trong việc phát triển các công nghệ tiên tiến để giải quyết vấn đề này: làm thế nào để tăng cường sức mạnh của chip mà vẫn tiết kiệm năng lượng. Đây là một vấn đề mà cả người dùng cá nhân và các nhà sản xuất đều quan tâm, tuy nhiên, đối với các nhà sản xuất, họ cũng phải đối mặt với nhiều vấn đề khác như môi trường.
Mặc dù vấn đề môi trường là quan trọng, nhưng tạm thời ta hãy để nó qua một bên. Nếu không sử dụng TOPS, có cách nào để đánh giá hiệu suất của AI không? Tất nhiên là có, nhưng điều này sẽ phức tạp hơn nhiều. Mỗi nhà sản xuất sẽ có một cách đo lường, một định nghĩa và một đơn vị khác nhau, điều này làm cho việc so sánh giữa các NPU trở nên khó khăn hơn. Để có thể so sánh được, chúng ta cần đưa chúng về cùng một chuẩn đo lường.
Khi các hãng công bố con số TOPS, cách họ đo lường thường không được tiết lộ rõ ràng (ví dụ như INT4 hoặc INT8, BFLOAT16 hoặc FLOAT16…), và có rất nhiều mô hình khác nhau được sử dụng để đánh giá hiệu suất của NPU. Sự khác biệt về tốc độ, số lượng đơn vị MACs, hoặc các mô hình mạng thần kinh được sử dụng trong quá trình thử nghiệm đều có thể làm thay đổi số TOPS. Hơn nữa, sự phát triển trong tiến trình sản xuất cũng ảnh hưởng đến con số này.
TOPS có quan trọng với AI hay không?
Trong bài viết này, câu hỏi lớn nhất là liệu chỉ số TOPS có quan trọng hay không? Trả lời ngắn gọn là có, vì đây là “thước đo” mà các hãng sử dụng hiện nay để nói về sức mạnh của NPU. Sẽ rất khó cho người dùng nhận biết được NPU nào mạnh hơn nếu mỗi hãng sử dụng một định nghĩa khác nhau. Tuy nhiên, TOPS không phải là tất cả khi nói về sức mạnh xử lý của một con chip, hay cụ thể hơn là NPU.
TOPS là chỉ số đo hiệu suất tối đa, không phản ánh hiệu suất thực tế. Ví dụ, RTX 4090 có sức mạnh 1300 TOPS, nhưng không phải lúc nào nó cũng tận dụng hết sức mạnh đó. Để đánh giá một cách toàn diện, chúng ta cần xem xét nhiều yếu tố khác như thông lượng, bộ nhớ, chi phí, và nhiều yếu tố khác nữa.
Các tính năng AI cũng sẽ dựa trên con số này để biết được máy tính của bạn có thể sử dụng được hay không mà không cần kết nối internet. Ví dụ, Copilot cần ít nhất 40 TOPS để chạy local, và hiện chỉ có Qualcomm Snapdragon X Elite mới đáp ứng được yêu cầu này.
Tóm lại, TOPS không phải là một thước đo tốt nhất, chuẩn nhất để xem xét hiệu suất của NPU, nhưng vẫn là một tiêu chuẩn tối thiểu để so sánh các NPU và các mẫu AI PC trong tương lai.