Skip to content

本地部署deepseek相关工具

第一步:LM studio下载。

LM Studio 是一个允许用户在本地电脑上运行开源大型语言模型(LLMs)的应用程序,无需联网即可使用。以下是它的主要用途和特点:

核心功能

  1. 本地运行模型

- 支持在个人电脑(Windows/macOS/Linux)直接运行多种开源语言模型(如 LLaMA、Falcon、MPT、GPT-NeoX 等)。

- 完全离线使用,无需依赖云端服务,适合注重隐私或网络受限的场景。

  1. 模型兼容性

- 支持 GGML 格式的模型(需从平台如 Hugging Face 下载)。

- 提供模型搜索和下载的一体化界面,简化本地部署流程。

  1. 交互方式

- 提供类似 ChatGPT 的聊天界面,支持自然语言问答。

- 可通过 API 接口调用(兼容 OpenAI 格式),方便与其他工具或开发项目集成。

  1. 硬件优化

- 支持 GPU 加速(如 Apple Silicon 芯片的 Metal 框架、NVIDIA CUDA),提升模型运行效率。

---

适用场景

- 隐私敏感任务 :处理敏感数据时,避免将信息上传至云端。

- 实验与开发 :开发者可本地调试模型,或将其集成到自己的应用中。

- 离线环境 :无网络时仍可使用 AI 功能(如写作、代码生成)。

- 研究学习 :探索不同开源模型的性能和行为,无需复杂配置。

---

注意事项

- 硬件要求 :运行大型模型需较高配置(如内存、显存),小型模型(7B/13B 参数)更适合个人电脑。

- 模型来源 :需自行从 Hugging Face 等平台下载,注意遵守模型许可证。

---

与其他工具的区别

- 相比 Ollama 、 GPT4All 等同类工具,LM Studio 更注重用户友好性,提供图形界面和简化操作。

- 不同于 ChatGPT 等云端服务,LM Studio 完全本地化,但依赖用户硬件性能。

---

如果你需要本地化、轻量级的 AI 模型体验,LM Studio 是一个便捷的选择,尤其适合开发者和对隐私有要求的用户。

https://lmstudio.ai/

img

第二步:配置LM studio

点击主页面右下角齿轮,将语言设置为简体中文。

img

第三步:在D盘创建文件夹,比如叫models。

注意D盘的models文件夹里面必须存在另外两层子文件夹,否则无法调用。

比如D:/models/models/models

img

第四步:下载deepseek模型并保存到D盘文件夹。

需要下载deepseek官方的模型文件,让LM studio识别并加载。从下面连接下载或者百度网盘,如果下面连接下载慢可以采用迅雷。

CPU: 8核或以上,内存: 32GB或以上,存储: 100GB SSD或以上,GPU: NVIDIA GTX 1080或同等性能 **DeepSeek-7B 对标(gpt3.5)( 4.7GB)**推荐配置:RTX3060 以上显卡 + 16G以上 内存 + 50G SSD 存储空间 **DeepSeek-70B对标(gpt 4.0)(模型大小:40GB)**推荐配置:RTX4090 以上显卡 + 32G以上 内存 + 200G SSD 存储空间 。满血版本:671B 版本 普通人基本装不了的。

http://hf-mirror.com/

点开链接后,在首页搜索需要下载的deepseek模型,个人使用一般用7B 8B即可。

img

搜索到模型后,点击“Files and versions”下载即可,如果太慢,就右键复制链接,添加到迅雷中下载。

img

下面是不同显卡类型建议的使用模型,下图来自网络。

img

img

怎么理解B和Q呢,一个形象的比喻,B代表学历,Q代表成绩。

第五步:更改调用目录

打开LM studio,选择模型放置的主文件夹即可。

img

第六步:打开LM studio加载模型并进行配置。

打开LM studio左上角选择“聊天”,顶部选择大模型,并配置。显卡强的就多占显卡,显卡不好的试试CPU。

img

img

img

第七步:开始使用

输入内容,开启聊天。

img

ollama本地部署方法

第一步:下载ollama软件

打开ollama官网下载ollama软件,https://ollama.com/。注意,这个软件安装需要4.5G空间。

img下载好了,直接点开运行,下一步下一步即可安装完成。

PS:如果下载很难,总是下载不下来,建议大家先安装奇游加速器,用奇游加速器加速一下。新用户赠送3小时时长足够了。

下载网站https://www.qiyou.cn/

img

安装完成后,打开奇游加速器,需要手机号注册登录,登录成功后,右上角搜索ollama,搜索后点击 Deepseek服务器繁忙;

img

img先点开加速,在点一键下载ollama即可完成下载。

第二步:运行ollama安装deepseek。

ollama安装成功后,后台会自动运行。在windows搜索中输入cmd,进入命令行界面如下;

img

在命令行中输入ollama -v查看是否是以下显示,如果是,证明ollama已经成功安装并正在运行。

img

访问ollama官网,选择需要安装的模型;https://ollama.com/,首页点击左上角“models”

img

选择deepseek-r1,进入模型选择页。

img

选择自己电脑能hold住的模型;

img比如这里我选择了1.5B最小参数的模型;

img

将复制的命令,粘贴到自己电脑的命令行中回车,ollama就开始下载deepseek模型,且下载完后自动加载该模型;这个下载过程异常的慢,此时也可以使用奇游加速器去访问ollama官网然后再输入以下命令进行下载安装,就很快了。

imgimg

第三步:开始对话

安装成功后即可在命令行中进行对话了

img对话完毕后,可以使用/bye来终止对话。

img

第四步:安装chatbox本地调用

如果想用一个UI界面来和deepseek进行交互,可以选择使用chatbox。

下载chatbox可以从官网下载,如果太慢,还是可以通过奇游加速器来下载。

下载好了软件运行安装即可。

安装成功后打开chatbox,进行以下设置

img

设置好后就可以创建聊天,进行聊天了。

img

img

第五步:关闭ollama服务

ollama运行模型后会在后台运行,不用了需要手工关闭,在命令行内输入以下命令进行关闭;

img

华为云在线免费领取步骤

如果自己的电脑无法满足本地部署,且deepseek官网服务器繁忙的情况下,我们现阶段还可以采用以下方法来体验满血版deepseek。

第一步:登录华为云官网登录或注册账号并实名认证。

https://www.huaweicloud.com/

右上角登录自己已有账号或者注册新账号。

img

登录成功后点击右上角账号后面的小箭头,会看到自己的账号未实名认证,需要实名认证,否则无法使用。

img

第二步:登录华为AI开发平台ModelArts。

在首页产品-人工智能-AI基础平台-ModelArts Studio大模型即服务平台

img

点击控制台进入登录页面

img

首次登录会提示签署声明,签署即可。(如果账号没有实名制,签署会失败,会提示权限受限)

img

授权成功后,点击下图标注处,配置委托授权。

img

新建委托,点创建即可。

img

签署完毕后,点免费领取,将所有可以领取的全部领取。

img

img

领取后,过1-2分钟即可点击 在线体验 即可使用。