AnythingLLM – 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天

AnythingLLM 是一款可以在本地电脑一件运行 LLM 大语言模型的跨平台桌面客户端，支持 Windows、macOS、Linux，支持自选模型，也可以从软件内下载模型。它还支持嵌入模型、语音、转录，最重要的是可以实现完全离线，不依托任何云服务。@Appinn

在《LM Studio – 有电脑就能用，傻瓜、一站式部署本地大语言模型｜然后，像 ChatGPT 那样提问》中，@路人甲乙丙 留言回复称：

这款其实不算傻瓜，AnythingLLM 才是，多平台，单文件安装。模型下载内部选，集成了 Ollama，支持中文界面。

Ollama 官网推荐的 Win 平台下全都试了，论便利首选 AnythingLLM，可 Github 或官网下载，全免费。

AnythingLLM

与 LM Studio 类似，AnythingLLM 也是一款适合在自己电脑里部署 LLM 的工具，但功能更丰富一些，比如在 AnythingLLM 的嵌入首选项中，你可以选择 LM Studio 作为嵌入引擎提供商。

只需要在 LM Studio 打开 Server，AnythingLLM 就会自动识别：

对了，我在 AnythingLLM 中，导入了之前测试 LM Studio 的时候下载的模型。很方便。

来看一下开发者提供的视频：

安装之后，AnythingLLM 回来一波对话，给你介绍如何使用：

设置模型

你需要为 AnythingLLM 设置模型，包括首选模型、向量数据库、嵌入模型、语音、转录模型。

默认情况下，AnythingLLM 自带了模型，不过也可以根据需要自己下载模型：

上图中 Official Models 里就有很多模型，下载速度还有点快，也是很奇怪。

在工作区中，可以上传文件，这样这些文件就变成了你的向量数据库，相当于对着文档提问。

但青小蛙使用内置的模型测试，发现似乎效果很不好，答非所问，也不知道它在想什么。

还是说，模型选择有问题。

青小蛙觉得，对比在线大语言模型，即开即问、上传文档直接问，本地的大语言模型在使用门槛上存在至少有1个小时的入门学习时间。虽然 AnythingLLM 已经把安装门槛降低到了0，但是模型的选择使用是个很大的槛，就看各位是否愿意继续深入研究了。

获取

官网

原文：https://www.appinn.com/anythingllm/

©2023 青小蛙 for 小众软件 | 加入我们 | 投稿 | 订阅指南
3659b075e72a5b7b1b87ea74aa7932ff
点击这里留言、和原作者一起评论

[ 点击前往获取链接 ]