0800-000-964

全球AI算力需求持續向上！先進大模型常採用輝達A100 谷歌擁逾百萬顆H100等效算力

取自：鉅亨網

【狂賀】jumpAD 傑愛得資訊有限公司，榮獲國際期刊《MarTech Outlook》評選為2024年亞太區年度AI人工智慧廣告科技公司雜誌封面人物。
【狂賀】jumpAD 傑愛得資訊有限公司，榮獲國際期刊《APAC CIO Outlook》評選為2023年亞太區20大傑出AI人工智慧解決方案供應商。

您好，我們是傑愛得資訊，歡迎來到我們的媒體聯播網

AI 研究室 | 智庫

鉅亨網編譯陳韋廷 2025-02-17 16:10

全球AI算力需求持續向上！先進大模型常採用輝達A100 谷歌擁逾百萬顆H100等效算力（圖：Shutterstock）

最新研究顯示，全球 AI 算力持續提升，因輝達與超微半導體等 AI 晶片廠商紛紛推出加速器，加上一些新興勢力開始製造晶片，其中大語言模型最愛使用輝達 (NVDA-US) A100 晶片，谷歌 (GOOGL-US) 擁有逾 100 萬個跟 H100 晶片相當的算力。

根據 AI 新創企業 Epoch AI 上周四 (13 日) 依照公開資訊對全球機器學習硬體的現狀和趨勢做出的報告，全球機器學習硬體性能每年成長 43%，價格下降 30%，輝達在全球支持的算能平均每 10 個月增加一倍，且低精度計算成為主流，頂級硬體能效每 1.9 年增加一倍。此外，過去八年訓練大模型所需的處理器數量增加 20 多倍。

研究指出，優化機器學習數位格式和 TPU 核心提供額外的改進，其他驅動因素還包括晶體管數量增加和其他半導體製程進步，以及針對 AI 工作負載的專門設計。這種改進降低每 FLOP 的成本並提高能效，並實現大規模 AI 訓練。

下方繼續閱讀

jAD Ads 聯播廣告

曝光6,789/日成本100/月

下文請點廣告解鎖

投放Google多媒體聯播網廣告(點此)arrow_downward，包含轉換代碼安裝

※ 如果看到投資類型廣告，請再三評估風險！

繼續閱讀keyboard_double_arrow_down

在使用針對 AI 計算優化的張量核心和數據格式時，GPU 通常速度更快。與使用非張量 FP32 相比，TF32、張量 FP16 和張量 INT8 在總體性能趨勢中平均提供約 6 倍、10 倍和 12 倍的性能提升。一些晶片甚至實現更大的加速，例如 H100 在 INT8 時速度比在 FP32 時快 59 倍。

自推出以來，這些改進約佔整體性能趨勢改進的一半。隨著開發人員利用這種性能提升，使用較低精度格式，尤其是張量 FP16 訓練的模型已變得很常見。

歷史數據顯示，頂級 GPU 和 TPU 的能效每 1.9 年成長一倍。輝達 A100 是用於高引用或最先進 AI 模型最常用硬體。自發佈以來已用在 65 個著名機器學習 (ML) 模型，其次是輝達 V100，用於訓練 55 個著名模型，其次是谷歌 TPU v3，用於 47 個，但 H100 可能在不久的將來成為訓練模型最受歡迎的 GPU。

研究還指出，谷歌、微軟、Meta 和亞馬遜擁有相當於數十萬個 H100 的 AI 算力，這些計算資源既用於這四大「算力帝國」內部的 AI 開發，也用於雲端客戶，包括許多頂級 AI 實驗室，如 OpenAI 和 Anthropic。

谷歌可能擁有相當於超過一百萬個 H100 的計算能力，主要來自他們的 TPU，微軟也可能擁有最大的輝達晶片庫存，約為 50 萬個 H100 當量。

這項研究之所以重點介紹谷歌、微軟、Meta 和亞馬遜，因為他們可能擁有最多的計算能力，而其他公司的數據公開較少。

此外，自 2019 年以來，輝達晶片的總可用計算能力大約每年增長 2.3 倍，從而能夠訓練越來越大的模型，也就是說，全球輝達組成的算力平均每 10 個月成長一倍。Hopper 這一代輝達 AI 晶片目前占其所有 AI 硬體總算力的 77%。按此增長速度，舊的晶片在推出後約 4 年，對累計計算量的貢獻往往會低於一半。

值得注意的是，上述分析不包括 TPU 或其他專用 AI 加速器，因為這方面的數據較少。TPU 可能提供跟輝達晶在相當的總算力。

此外，Epoch AI 報告還發現，自 2019 年以來，算力的累計總和 (考慮折舊) 每年增長 2.3 倍。

點此投放Google多媒體聯播網廣告

※ 如果看到投資類型廣告，請再三評估風險！

點 AI 專欄推薦

post_add 資料來源：鉅亨網

回智庫 apartment | 超玩媒

Ads by jAD

網站+主機+網域+廣告，找我們一次解決

點AI》用 Google AI 打選戰，落實政黨數位轉型

Google Gemini AI：傑愛得資訊（jumpAD）的 AI 創新度

Google Gemini AI：傑愛得資訊（jumpAD）近況

谷歌高層：量子電腦五年將大突破

洛克希德·馬丁與谷歌雲計劃整合人工智能功能

谷歌粉注意！Gemini將接管行動裝置 Google Assistant走入歷史

傑愛得資訊領先業界

國際認證獎項報導

我們是業界少數同時具備數位行銷、系統開發、雲端服務的數位整合專業團隊

─ 2021.05

【2024年亞太區年度AI人工智慧廣告科技公司】封面人物
榮獲 MarTech Outlook 美國期刊評選

【2023年亞太區20大傑出AI人工智慧解決方案服務商】
榮獲 APAC CIO Outlook 美國矽谷期刊評選

【2024年值得關注的30大領先企業】
榮獲 CIO Bulletin 美國期刊評選

取得AI廣告追蹤技術國家發明專利

ISO/IEC 27001:2022 Lead Auditor 資安管理系統主導稽核員

explore 發展趨勢

bookmark_star 查看資歷

【2024年亞太區年度AI廣告科技公司 AI Advertising Technology Company of the Year in APAC 2024】封面人物，榮獲MarTech Outlook期刊評選
【2024年全球十大最具影響力的領導人 Top 10 Best Global Influential Leaders of 2024】榮獲Business Frontier雜誌評選
【2024年值得關注的30大領先企業 30 Leading Companies to Watch 2024】榮獲CIO Bulletin期刊評選
【2023年最具啟發性的企業領袖總裁】榮獲CXO Outlook美國期刊評選
【2023年亞太區20大傑出AI人工智慧供應商】榮獲《APAC CIO Outlook》矽谷科技期刊評選
Google Ads 全台灣第一個金融業智慧出價2.0成功案例。
多年數位行銷經驗，為Google Partners徽章認證經銷，代理Google, Facebook, Dcard, Microsoft, Yahoo apollo，並提供旗下jAD Ads聯播網廣告。
擁有AI數位廣告技術專利。全台灣第一家擁有專利的廣告代理商。
全台獨家推出 Google語音助理專用廣告。
2018年台灣地區Google Ads帳戶優化品質第一。
每月代客操盤數位廣告投放金額達800萬台幣。Google Ads代理累計超過4億台幣+。
回饋Google官方協助Google Ads廣告系統優化與無效點擊分析。
參與過多次台灣地區選舉網路廣告，2018年為候選人輔選衝出第一高票，當選率100%。
曾為某家無品牌客戶三年內在網路上陌生開發一億業績。
曾為企業旗下三網站在Yahoo!奇摩搜尋引擎優化SEO，自然搜尋關鍵字排名前三名(第一名~三)。
旗下經營自媒體與電商。
曾研發Yahoo!關鍵字廣告惡意點擊反擊程式。
曾為客戶品牌行銷，透過搜尋行銷SEM讓關鍵字在產業TA形成Google熱搜。
領先業界研發網站人潮之網頁定點閱讀率分析。
領先業界研發網站全通路人潮分析系統，直接於訂單中分析客戶來訪的廣告來源(搜尋/FB/LINE/WeChat)、客戶搜尋的關鍵字、客戶點閱的廣告文案。
為全端網站設計團隊，並具有多年網路行銷經驗。
擔任企業網路行銷顧問講師，專門破解同業暗黑行銷術。提供網醫數位行銷診斷服務

立即聯絡

Google數位行銷服務關鍵字搜尋聯播網廣告 GDN 多媒體聯播網廣告 YouTube 影片聯播網廣告 Performance Max PMax最高成效廣告購物廣告智慧型廣告探索廣告應用程式廣告 motion_sensor_active 轉換追蹤規劃設定服務類別 AI 網路廣告 AI 網站系統 AI 雲端主機 AI 人工智慧 AI SEO優化站內搜尋 medication 網醫診斷 AI客服 LINE id: @vhp8681s [email protected] 傑愛得資訊 Jump AD 聯絡： 0800-000-964 WeChat id: godzilla1128
			聯絡我們