作者neone (neone)
看板Stock
標題[請益] AI伺服器成本分析——記憶體是最大的輸家
時間Mon May 29 22:13:34 2023
剛看到半導體產業分析機構semianalysis的這篇新文章:https://www.semianalysis.com/p/ai-server-cost-analysis-memory-is雖然沒付費只能看到部分
bing摘要:
這篇文章的核心內容是分析人工智能伺服器的成本。文章指出，隨著數據中心建設的瘋狂
，市場也隨之瘋狂。但是，有許多公司並不應該因此而受益。文章還提到，IT預算有限，
因此Nvidia銷售額的增長主要來自於購買較少的非GPU伺服器。文章中還提供了一個標準
CPU伺服器的成本分解，顯示內存佔伺服器成本的近40%。文章最後指出，在人工智能時代
，普通伺服器的百分比將會下降，並且在數據中心轉向加速計算時，各組件的成本分配也
會發生重大變化。
分析cpu server和ai server的成分價格 概念不錯https://i.imgur.com/mHf654R.png
但intel server沒把gpu+switch baseboard部分的價格抓出來來比
就說憶體幾乎是伺服器成本的40%
問號?
—
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.226.155.185 (臺灣)
※ 文章網址:https://www.ptt.cc/bbs/Stock/M.1685369616.A.A84.html
→ appledick : AI伺服器會走AWS那種營運模式啦，真以為每家公司自 05/29 22:17
→ appledick : 己架設自己要的AI伺服器喔？頭殼壞才這樣搞，就連Op 05/29 22:17
→ appledick : enAI 微軟都砸多少錢花了幾年 05/29 22:17
推 YU1225 : 尬死空軍總部 05/29 22:17
推 wingstar : 這篇文章的成本計算好奇妙， 05/29 22:17
推 jiansu : 大老黃買越多(Gpu)省越多(cpu) 應該是真的server總 05/29 22:19
→ jiansu : 數量可能下降 Ai server佔比大提升… 05/29 22:19
推 Kleiza : 這樣GG是受益者還是受害者啊？ 05/29 22:30
推 ip102 : 把原本記憶體的費用轉向高速運算了 05/29 22:33
推 Buddy : SmartNIC成本是過去的16倍 那間台廠不就賺爆 05/29 22:33
推 popo123456 : 所以爽到韓國hbm記憶體 05/29 22:34
→ william7713 : memory這麼貴是用CXL嗎… 這誰算的啊 05/29 22:36
推 stosto : 爽到海力士 05/29 22:37
推 easygo : 99旺宏 05/29 22:39
推 nangaluchen : 最近確實這種論述蠻多的 05/29 22:39
→ nangaluchen : 但這個論述的邏輯是有漏洞的 05/29 22:39
→ nangaluchen : 基本上建立在AI伺服器和一般伺服器是替代品 05/29 22:39
→ nangaluchen : 但其實並不是 05/29 22:39
→ nangaluchen : 若一般伺服器能做到AI伺服器能做的事 05/29 22:39
→ nangaluchen : 那不會有人願意買AI伺服器 05/29 22:39
推 nangaluchen : 2023的預算已經訂了 短期確實會這樣搞 05/29 22:42
→ nangaluchen : 但2024後 其實應該是整體資本支出往上噴 05/29 22:42
→ nangaluchen : AI伺服器的資本支出是額外往上加的 05/29 22:42
→ nangaluchen : 而非用於取代一般伺服器 05/29 22:42
→ nangaluchen : 拿AI伺服器來做一般伺服器能做的事 05/29 22:44
→ nangaluchen : 也很不合邏輯 05/29 22:44
→ mooto : 老黃今天不是有說嗎 cpu伺服器又貴又耗能 你可以買 05/29 22:46
→ mooto : 低階的gpu 一顆gpu就抵n顆cpu 這樣還是比較省阿 05/29 22:46
推 nangaluchen : cpu跟gpu適合的任務是不同的 05/29 22:48
→ nangaluchen : 如果gpu能完美取代cpu 那nv早年不會那麼慘 05/29 22:48
→ nangaluchen : 很多東西不能只看算力和能耗 05/29 22:49
推 saygogo : 狙擊槍跟散彈槍不能拿來比較 05/29 22:50
→ mooto : 你講的是”伺服器” 你如果是要做其他用途 譬如儲存 05/29 22:50
→ mooto : 你就買NAS阿 cpu當然不可能消失 只是在算力上面 05/29 22:51
推 nfsong : 今天新的 gh200 直接存取記憶體用很兇 05/29 22:52
→ nfsong : 低電壓記憶體 05/29 22:52
→ nfsong : 特點是今天有賣高級switch 05/29 22:52
→ nfsong : 而且全部走光纖 05/29 22:53
→ mooto : gpu是更好的選擇 沒有人說不能買籃球鞋跑步 05/29 22:53
→ nfsong : Spectrum-X 4奈米 05/29 22:53
→ nfsong : 64port 800G光纖速度 05/29 22:54
推 nangaluchen : 你搞錯意思了 一般伺服器也不會配備gpu 05/29 22:55
→ nangaluchen : 兩顆cpu就能解決的事 何必多配gpu? 05/29 22:55
→ nangaluchen : 特別是你加gpu 要拿來幹嘛? 05/29 22:55
→ nangaluchen : 就沒適合的任務給他算啊 05/29 22:55
→ nfsong : 順邊做網通 05/29 22:55
推 aegis43210 : H100還是要用到SPR，i皇還是有得賺 05/29 22:56
→ nangaluchen : 絕大部分的應用 根本不需要那麼高的算力 05/29 22:56
→ nangaluchen : 反而是cpu更適合多功處理 取代個毛 05/29 22:56
→ nfsong : DGX GH200 , 144TB 直接存取記憶體 !!! 05/29 22:57
→ mooto : 已經沒人會叫兩顆cpu的機器伺服器了 那個是個人電腦 05/29 22:57
→ nfsong : 1 ExaFLOPS 05/29 22:57
→ nfsong : 一台大概2000多顆 記憶體顆粒 三家買 大概6000多個 05/29 22:58
推 nangaluchen : 而且老實講啦 nv就最沒資格講低功耗 低成本 05/29 22:58
→ nangaluchen : 就算不用ai chip 05/29 22:58
→ nangaluchen : 消費級的gpu 也快跟server cpu差不多貴了 省個毛 05/29 22:58
→ mooto : 你要抬槓就去抬槓吧 XD 誰不知道cpu的指令集更泛用 05/29 22:58
→ nfsong : 其實還是個人電腦市場 的記憶體用量比較大 05/29 22:59
→ mooto : 如果沒人care你說的這種應用要怎麼配置了 講難聽一 05/29 22:59
→ mooto : 點就是很多x86能做的事情arm也能做 那你買手機還會 05/29 23:00
→ mooto : 去想要怎麼配嗎 買PC還會去文書機怎麼組嗎 05/29 23:01
推 nangaluchen : 目前絕大部分的伺服器 仍是配備2顆 05/29 23:01
推 aegis43210 : 記憶體是輸家??未來CXL3.0普及就更需要大量記憶體， 05/29 23:02
→ aegis43210 : 加上記憶體內運算是未來趨勢 05/29 23:02
推 la8day : 記憶體 又是你 你最爛 05/29 23:03
→ aegis43210 : 如果只是講Flash，那的確是輸家 05/29 23:03
推 s860134 : 買越多越省錢 05/29 23:04
→ nfsong : 恩 單一個GH200的小型server 576G的記憶體 05/29 23:04
→ nfsong : 有1000多家合作廠商 人人買一台小型的 也不少 05/29 23:04
→ nfsong : the more u buy the more u save指的是AI算力 05/29 23:05
→ nfsong : 而且老黃今天說 算力還在往上衝 05/29 23:05
→ nfsong : 要用傳統的server 跟他的cuda tensor cores 05/29 23:06
→ nfsong : 已經被甩到看不到車尾燈了 05/29 23:06
→ nfsong : 10年前就1台抵10台了 05/29 23:06
→ mooto : 我不覺得flash會是輸家~別忘了flash成本下降也是很 05/29 23:07
推 Kobe5210 : 感謝分享 05/29 23:07
→ mooto : 快的 有個說法再5年 SSD就會取代傳統的HDD 05/29 23:07
推 jiansu : 模型目前越來越大 記憶體需求增加 training 你限制 05/29 23:08
→ jiansu : 只能用Nv 但目前還是有很多inference 用Cpu70%？, 05/29 23:08
→ jiansu : chatgpt 給你用的就只是inference 如果一堆infer 05/29 23:08
→ jiansu : ence都有Gpu或asic加速 確實server需求可能會降 05/29 23:08
推 ben811018 : 伺服器要建置成本超高 05/29 23:08
推 hihjktw : 我怎沒看到20T的SSD 05/29 23:09
推 nangaluchen : 目前 llm inference 也是用 ai server 05/29 23:10
→ nangaluchen : 只是不用配到H100 但主流應仍配備A100 05/29 23:10
→ bobjohns : 看起來 三星記憶體又要大賺 晶圓代工滿血復活。 05/29 23:13
→ mooto : 你問這之前要不要先google….2年前就在賣100T了 05/29 23:14
推 nfsong : 老黃除了拉抬gg一把 還救了三星和美光阿!! 05/29 23:17
推 pisu : 目前伺服器類股都噴出 05/29 23:20
噓 a000000000 : semianalysis的東西看看就好 不過也沒啥人認真研究 05/29 23:21
→ a000000000 : 然後一樓那葛論點=糞 smci這一年多噴多少 05/29 23:21
→ a000000000 : 4說原po尼到底有沒看他整篇 他下面94加ai卡的成本 05/29 23:23
→ a000000000 : inference用cpu是牙膏的論點 05/29 23:24
→ a000000000 : 牙膏說九成的ai行為是inference 然後inference 05/29 23:24
→ susanmm : 基本上他就不是消費性電子產品 05/29 23:24
→ a000000000 : 60%在cpu上面 05/29 23:25
→ a000000000 : 詳細數據可能有些錯 不過牙膏那論點跟大便依樣 05/29 23:25
推 FlynnZhang : 感謝教主開示 05/29 23:25
→ a000000000 : 因為簡單的ai像照相抓人臉那種 手雞cpu就做掉惹 05/29 23:26
→ a000000000 : 跟牙膏也無關 05/29 23:26
→ mamorui : 美光真的感恩 上週快摸到75 香噴噴 05/29 23:26
→ a000000000 : 接下來的時代重點是生成型ai會普及 運算需求爆炸 05/29 23:27
→ a000000000 : 從server到手機 半導體需求也會大爆炸 05/29 23:27
→ a000000000 : dram廠也會受惠 05/29 23:27
→ neone : 謝教主哥提點 偶是被那空一欄不計誤導了 05/29 23:32