LM Studio – 有电脑就能用,开源、傻瓜、一站式部署本地大语言模型|然后,像 ChatGPT 那样提问
LM Studio 是一款将目前主流大模型 LLM 元素打包在一起的工具,可以让你在自己的电脑上,“0门槛”运行本地大语言模型 LLM,并且用起来就像 ChatGPT 那样。支持 Windows、macOS、Linux。@Appinn
傻瓜、一站式部署本地大语言模型,大概就是打开电脑 > 双击运行程序 > 开始提问 > 获得 AI 回答这样三步走。
LM Studio
我觉得 LM Studio 就是这样的软件,它长这样:
你唯一需要操心的事情,就是挑选模型,然后下载使用,就好了。
不过整个软件的难点也在这里,因为…目前的主流模型托管网站 huggingface 它不能访问
于是,用镜像也不是不行。
下载模型
直接在目前可用的镜像网站 HF-Mirror 搜索你需要的模型,比如 Meta-Llama-3.1-8B-Instruct-GGUF
,然后找到对应的 Files 页面,挑选你需要的模型,点击那个下载按钮
最终,你将得到一个类似 Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf
的文件,很大,一般都好几个 GB。
安装模型
LM Studio 默认的模型保存路径在 C:\Users\appinn.cache\lm-studio\models
,可以更换:
不过这里注意,你需要使用 ${Publisher}/${Repository}/${ModelFile}
这样的路径结构,如上图第二个红色框框,需要将手动下载的 .gguf 模型文件保存在路径的两级文件夹下才能正确识别。
然后,就能提问了。会自动使用你的 CPU、GPU…
本地 LLM 服务器
LM Studio 也支持 OpenAI 类的服务器,即可以在第三方服务器上使用这个 LLM,就像使用 OpenAI API 一样,只不过这里的 API 服务器是你自己的。
和 OpenAI 一样,使用过 /v1/chat/completions
、 /v1/completions
、 /v1/embeddings
即可。
获取
官网原文:https://www.appinn.com/lm-studio/
相关阅读
New Tab Studio – 可高度自定义的新标签页扩展[Chrome]Google Earth Studio 初体验,10分钟创建漂亮的地球视频素材Google Earth Studio – Google 官方发布用「卫星图像」制作动画视频工具SQLite Studio – 一个开源的网页版 SQLite 数据库浏览器制作 Google Earth Studio 大片不求人,自己就能图片转视频 ©2023 青小蛙 for 小众软件 | 加入我们 | 投稿 | 订阅指南3659b075e72a5b7b1b87ea74aa7932ff
点击这里留言、和原作者一起评论
[ 点击前往获取链接 ]
文章来源:
Author:青小蛙
link:https://www.appinn.com/lm-studio/