
LM Studio模型本地化部署:快速入门指南!
说明:此处我们需要修改两个文件,首先进入LM Studio的安装目录,此处以作者的为例,我的安装目录在D:\Develop\tools\LM Studio。最后将下载好的模型放在H:\models\lmstudio-community\DeepSeek-R1-Distill-Qwen-7B-GGUF。1.第一个文件,D:\Develop\tools\LM Studio\resources\app.
LM Studio模型本地化部署:快速入门指南!
特殊说明:
huggingface.co网站需要科学上网才可访问
-
下载LM Studio,地址:LM Studio - Discover, download, and run local LLMs
-
根据自己自己操作系统下载对应的版本,此处以windows环境为例,下载如下版本:
-
安装LM Studio
-
双击LM-Studio-0.3.9-6-x64.exe
-
根据自己的喜好,选择安装目录
-
点击安装,等待安装完成
-
安装完成后,点击完成,如果想立即使用,则不要去掉勾选项(运行LM Studio)
-
-
LM Studio 使用
-
打开LM Studio ,默认情况是没有加载任何模型,需要下载模型
-
首先根据自己的喜好调整模型保存路径
-
下载模型
-
方式一:到Hugging Face – The AI community building the future.下载开源模型
- 进入Hugging Face网站
-
搜索模型(deepseek r1),选择See all results for “deepseek r1 7b gguf”
说明:LM Studio 需要加载的模型文件要为gguf结尾的文件
我们还会看到一些safetensors结尾的文件,这种格式的文件,需要转换成gguf格式的文件才可以在LM Studio中使用
-
搜索结果如下,筛选出最后欢迎或者下载量最大的即可
-
从上面的结果选择其中一个,此处我选择lmstudio-community下面的模型,选择后我们会看到如下结果
-
选择Files and versions,下载对应的模型文件即可
-
在前面配置好的模型保存路径文件夹下创建模型保存的目录,如下所示:
,会弹出如下选择框
-
根据上面的操作结果,我们会发现,选择了模型但是右侧提示No result found!!!
此处是因为下载源在国内无法正常使用
-
修改模型下载源
说明:此处我们需要修改两个文件,首先进入LM Studio的安装目录,此处以作者的为例,我的安装目录在D:\Develop\tools\LM Studio
1.第一个文件,D:\Develop\tools\LM Studio\resources\app.webpack\main\index.js
2.第二个文件,D:\Develop\tools\LM Studio\resources\app.webpack\renderer\main_window.js
将这两个文件中所有的
huggingface.co
替换为hf-mirror.com
-
关闭LM Studio,重新打开,我们会发现,刚刚无法下载的模型,均可以下载
-
-
加载模型,调用模型进行使用
-
回到聊天界面,选择模型加载
-
选择加在模型,会列出所有本地下载好的模型,此处我们使用示例中的模型
-
加载模型
-
创建聊天
-
在此处输入需要对话的内容
-
反馈结果
-
-
-
更多推荐
所有评论(0)