實測本地運行DeepSeek AI – R1版本671b
灣仔298電腦資訊網 報導
近日,開源大型語言模型DeepSeek R1 成為大熱,其中的一個版本671B因號稱「接近AGI(通用人工智慧)」引發最新熱議。
據悉,Digital Spaceport頻道主持實測發現,運行此模型需至少1.5TB記憶體,並需依賴老舊高階伺服器如戴爾PowerEdge R930,儘管硬體成本可壓至1,500美元,但對一般用戶而言,光是如何湊齊96條記憶體插槽便是一場噩夢。
測試中,模型雖通過「小行星末日倫理決策」等複雜情境,展現深度邏輯推演能力,但其推理速度卻因「並行處理參數設定異常」而暴跌至每秒1-35個token,生成一段百字回答竟需逾1小時。技術團隊推測,問題可能源於底層框架Open WebUI的參數覆蓋,導致上下文窗口從預設16k暴增4倍至65k,大幅拖累效能。
我們看看測試影片:
值得關注的是,DeepSeek團隊公開的「低階程式碼優化技術」雖能提升NVIDIA顯卡推理速度,但多數開源社群尚未跟進,使得CPU運算反成權宜之計。此現象凸顯開源AI的雙面性:一方面加速技術民主化,另一方面卻因硬體落差加劇應用門檻。
儘管測試結果顯示,該模型離真正的AGI仍有差距,但其在有限資源下的表現已令人驚豔。例如,面對「解析薄荷糖字母數」等刁鑽問題,模型能快速給出精準答案,顯見其潛力。未來若結合分散式運算與記憶體共享技術,或許能為家用實驗室開啟大模型落地的新可能。
觀點
DeepSeek R1 671b的現況,正是AI發展的縮影——技術突破往往伴隨實用性陣痛。與其追逐「AGI在車庫」的浪漫想像,不如正視開源生態的整合困境:如何讓優化技術普及、降低硬體依賴,才是推動AI民主化的關鍵戰場。
[完]
對於以上消息,各位298電腦讀者又怎看呢?
歡迎到我們的<<討論區>>分享你的意見。
另外:
- 寫稿不容易,如果大家覺得這篇文章對你有幫助,請記得Like我們的FB Fans Page與分享這篇文章給你的親朋好友呀!謝謝。
- 報料不斷:如果你有什麼新的資訊想讓廣大的電腦愛好者知道,也可以主動向我們編輯部電腦記者報料,報料電郵「info@wanchai298.com」。
- 攜手合作:若有任何廣告合作、商業合作或邀約採訪,亦歡迎電郵我們商談。
「298電腦Whatsapp粉絲群」開通了喇,快些加入啦:https://wanchai298.com/fans
灣仔298電腦資訊網
免費網上電腦雜誌,電腦IT人集中地!
網址:www.wanchai298.com