來源:直播吧2025-02-01 12:02
2月1日的消息令人振奮,DeepSeek的R1模型一經推出,便掀起了一陣熱潮,甚至對美股市場造成了顯著影響,英偉達的一天市值瞬間蒸發了6000億美元,這無疑是行業內的一次震撼。
最近,英偉達正式宣布在其官網推出了基於DeepSeek R1 671b的“英偉達NIM微服務”預覽版,明顯看出其對DeepSeek-R1推理能力的信心,稱其為現階段最先進的技術。英偉達表示,DeepSeek-R1模型在推理、數學和編碼領域表現卓越,體現了其強大的能力。
NIM微服務的能力也頗為驚人。在單一的HGX H200系統上,它每秒最高可以處理多達3872個tokens,這不僅歸功於H200使用的高帶寬HBM3e內存,同時也得益於在軟件層面的多項優化。這包括動態批處理、量化和使用TensorRT進行加速等技術創新,確保了處理速度和效率的雙重提升。
英偉達此番舉動,不僅是為了進一步完善NIM生態,吸引眾多開發者使用其全棧解決方案,更是為了增強其在AI基礎設施領域的競爭力。與此同時,這也是在與AWS Bedrock和Azure AI Model Catalog等雲服務巨頭展開競爭,目的在於以靈活的本地化部署方案,搶占企業AI市場的份額。
英偉達無疑正在大力推動AI領域的進步,努力在技術和市場上占據一席之地,而這種積極的拓展態勢,讓我們期待其未來的發展和更多創新的到來。