V2EX 最热主题
06:10 · Oct 31, 2024 · Thu
V2EX-最热主题
本地部署大语言模型哪家强?
#v2ex
Telegraph
|
source
Telegraph
本地部署大语言模型哪家强?
babyedi31996: 几个月之前在油管和阿 b 都看到很多教怎么本地部署 AI 的教程, 弄了下来玩了玩,有 chatglm3-6b,llama2-13b 的各种量化变种, 最后对接酒馆玩卡片 AI 人,刚开始真的很震撼很刺激, 尤其是配合 tts 语音 和 stable diffusion 实时生成人物表情图. 但是说实话我 3080-10G 能部署的模型现阶段还是智商和显存欠费. 你说用 claude chatgpt 那些吧,又没隐私又被警告. 瑟瑟永远是玩家第一生产力阿. 那么问题来了,最近…
Home
Powered by
BroadcastChannel
&
Sepia