仅仅是拼接好的671B的gguf文件和导入ollama的文件提供了百度网盘下载地址,大家也可以自己动手下载处理。
国内的魔塔社区提供的下载地址:https://www.modelscope.cn/models/unsloth/DeepSeek-R1-GGUF/files
上面Unsloth提供的4个版本对应文件夹如下:
DeepSeek-R1-UD-IQ1_S
DeepSeek-R1-UD-IQ1_M
DeepSeek-R1-UD-IQ2_XXS
DeepSeek-R1-UD-Q2_K_XL
同时我又下了直接Q2的版本:
DeepSeek-R1-Q2_K
DeepSeek-R1-Q2_K_L
DeepSeek-R1-Q2_K_XS
我下载了上述标红的两个模型,文件已经拼接好了:DeepSeek-R1-Q2_K_L.gguf(228GB)和DeepSeek-R1-UD-IQ2_XXS.gguf(183GB),同时导入了ollama。
所以,本文仅仅提供了671B的DeepSeek-R1-Q2KL和DeepSeek-R1-UD-IQ2_XXS两个模型文件下载,提供LM Studio所用的gguf格式文件和ollama使用的文件。仅仅是将gguf拼接好以及导入ollama,然后放到百度网盘,省去自己下载拼接导入的时间,百度网盘速度也方便。具体文件如下:

在LM Studio中的效果:

更详细的文章请见罗孚传说公众号文章“两千元服务器跑671B大模型:能跑,看你想要什么。”