V2EX 最热主题
08:33 · Jan 29, 2025 · Wed
V2EX-最热主题
买大内存 MacBook 的一个意外好处——私人 AI 服务器
#v2ex
Telegraph
|
source
Telegraph
买大内存 MacBook 的一个意外好处——私人 AI 服务器
privater: MacBook Pro M1 Max 64G 可以跑 DeepSeek R1 的大模型当 AI 服务器,当年想都没想过还有这个用途。之前本机跑 Llama 3 性能并不好,能力不如大部分收费的模型,但是如今有了 DeepSeek ,一下就山鸡变凤凰,相当于本地跑个 Chatgpt o4 mini 的水平,这就很够用了。当然 70B 模型虽然能跑动,回答速度是比较慢的,目测大概 3 tokens/s ,只能用来问适合思考的问题,例如我问了个黑洞视线的问题,花了大约 2 分钟才输出完毕。但是如果降低点要求用…
Home
Powered by
BroadcastChannel
&
Sepia