TOPS（每秒萬億次運算）是一個用來衡量、簡化和宣傳神經處理單元（NPU）在AI PC中表現的術語。
TOPS 並不是一個完美的指標，許多變量會影響系統處理AI任務的能力。然而，TOPS仍然提供了一個快速參考NPU速度及其與競爭對手比較的方法。
隨著NPU的出現，需要一個新的指標來衡量性能，這就是“TOPS”這個術語的由來。隨著AI PC繼續佔據市場，將會經常聽到TOPS這個詞。
什麼是TOPS？
TOPS在科技界並不是一個新詞，但隨著高端AI PC的興起（具體定義仍不明確，但基本上是一台配備現代CPU、GPU和NPU的PC），它最近獲得了大量主流關注。Windows Central編輯Rebecca Spear撰寫了一篇關於NPU如何不同於GPU的優秀文章，可以參考以獲取更多信息。
TOPS表示系統每秒可以執行多少萬億次運算。TOPS可以用來衡量整體系統性能，也可以分解為特定硬件的性能。
例如，NVIDIA的RTX 4090桌面顯卡（GPU）可以提供超過1300 TOPS的性能，無論是用於遊戲還是加速AI任務。它是當今市場上最強大的GPU之一，但這個數字仍然有些令人困惑。即使是NVIDIA的移動GPU也可以為AI工作負載提供高達1000 TOPS的性能。
Intel Meteor Lake和Lunar Lake
Darren Crews在Intel舞台上談論Lunar Lake NPU 4（圖片來源：Ben Wilson | Windows Central）
Intel的Core Ultra “Meteor Lake”筆記本電腦CPU總共提供34 TOPS（包括CPU、集成GPU和NPU），其中約11.5 TOPS專門用於NPU。下一代Intel “Lunar Lake”移動芯片預計將其所謂的“NPU 4”提升至48 TOPS。
在Lunar Lake發布中，Intel引入了新的術語來更好地表示性能。平台TOPS，或“PTOPS”，用於計算CPU、GPU和NPU的總和。峰值TOPS，或“pTOPS”，用於表示單個部分的性能（如NPU）。
考慮到這一點，Intel表示其Lunar Lake芯片將提供48 pTOPS的NPU，而整個芯片在考慮所有組件後將有120 PTOPS。在2024年台北的Intel技術巡演中，Intel還暗示如果需求下降，未來Meteor Lake NPU（約11.5 pTOPS）將能運行Copilot+功能。這似乎是一個很高的要求，只有時間能證明。
AMD Ryzen 8040和Ryzen AI 300
AMD的Ryzen 8040移動CPU提供高達16 TOPS的NPU性能，略高於Intel的“Meteor Lake”芯片。還有專業人士使用的AMD Ryzen PRO桌面APU，配備同樣具有16 TOPS的NPU。這些芯片現已上市，但對AI性能感興趣的人毫無疑問應該等待在Computex 2024上宣布的AMD Ryzen AI 300硬件。
AMD的兩款基於Zen 5架構的新移動CPU包括旗艦Ryzen AI 9 HX 370和AMD Ryzen AI 9 365，每款都配備了50 TOPS的NPU。配備Ryzen AI 300芯片的筆記本電腦預計今年晚些時候由Acer、ASUS、HP、Lenovo和MSI推出。
Qualcomm Snapdragon X和Copilot+
Microsoft和Qualcomm於2024年5月20日聯手推出Copilot+。Copilot+是一組高級AI功能的總稱——包括Windows Recall、實時字幕和本地圖像和文本創建——將登陸Windows 11。Copilot+ PC品牌用於能夠在本地運行這些功能的筆記本電腦，這些筆記本電腦配備了至少40 TOPS的強大NPU。
在Qualcomm方面，5月20日揭幕了一系列由Snapdragon X Elite和Snapdragon X Plus芯片驅動的Copilot+筆記本電腦。這些來自幾乎所有主要筆記本電腦品牌的Windows on ARM設備配備了45 TOPS的Hexagon NPU，將成為首批於2024年6月18日上市的Copilot+ PC。
Intel下一代“Lunar Lake”和AMD的Ryzen AI 300芯片將在稍後獲得Copilot+功能。
關於即將推出的Copilot+設備，還在Computex 2024上宣布，NVIDIA的RTX支持設備預計今年晚些時候將獲得訪問權限。NVIDIA展示了來自ASUS的五款RTX筆記本電腦和一款來自MSI的筆記本電腦，這些筆記本電腦將獲得Copilot+訪問，功能將在RTX 40系列移動硬件上首次亮相。
為什麼AI性能用TOPS來衡量？
在分析NPU性能時，TOPS當然不能代表全部。芯片製造商正在利用TOPS來宣傳其產品，主要是為了簡化性能並幫助買家了解他們所獲得的產品。就像2020年次世代遊戲機還在地平線時的TFLOPs熱潮一樣，TOPS被用來簡化和宣傳系統性能給更多人。能夠提供兩三倍TOPS的NPU在紙面上看起來很棒，但這個指標最終缺乏細微差別。
這是一種“數字大好，數字小壞”的情況，至少在第一眼看來是這樣，但有很多因素可以影響NPU的性能。理論上來說，一個特定的NPU可能具有100 TOPS，專門針對某個特定任務進行調整，在這種情況下，它可以超過另一個具有200 TOPS的NPU，後者針對不同任務進行調整。
測量PC的整體性能通常歸結為具體的基準測試數據和抽象觀察。在我們的筆記本電腦評測中，我們提供了大量使用專門測試軟件獲得的硬數據，但我們也提供了系統在現實場景中表現的更一般“感覺”。
測試NPU也是我們前進過程中需要解決的問題。有一些針對NPU的基準測試，它們是朝著以具體任務衡量功率的良好開端。所以，即使TOPS不是判斷NPU性能的最佳指標，它也給買家提供了一個標準，讓他們可以大致比較AI PC。
應該關心TOPS嗎？
測量TOPS是一種快速且簡單的方法來比較NPU或判斷NPU是否能夠處理某些工具。然而，TOPS不應被認為是衡量NPU功率的終極指標。這裡涉及很多細微差別，應確保獲得適合即將到來的工作的硬件。
應該關心TOPS嗎？這取決於。如果是處理電子郵件、網頁瀏覽和生產力的普通PC用戶，無需擔心NPU及其性能測量方法。如果正在購買新筆記本電腦，仍然可能需要關注某些AI工具的需求，這些工具可以幫助生活更輕鬆。
另一方面，如果對新興的AI PC世界感興趣，NPU及其以TOPS衡量的能力可能已經是熟悉的話題。只需記住，TOPS不是完美的指標，而是一種芯片製造商用來比較和宣傳其產品的簡便方法。
