V2EX 最热主题
15:05 · Jan 31, 2025 · Fri
V2EX-最热主题
本地部署 DeepSeek-R1 671B 千亿大模型流程
#v2ex
Telegraph
|
source
Telegraph
本地部署 DeepSeek-R1 671B 千亿大模型流程
snowkylin: https://snowkylin.github.io/blogs/a-note-on-deepseek-r1.html(以下介绍就是 DeepSeek R1 写的,我觉得还挺厉害的,我是写不出来……)
🚀
测试模型:1.73-bit 量化版( 158GB ,每秒 7-8 个词)4-bit 量化版( 404GB ,每秒 2-4 个词)
💻
硬件需求:1.73-bit:内存+显存 ≥ 200GB4-bit:内存+显存 ≥ 500GB实测配置:4 块 RTX4090 显卡( 96G 显存)…
Home
Powered by
BroadcastChannel
&
Sepia