LM Studio

如果你有一台配置不错的电脑,比如有 NVIDIA 显卡的 PC 或者 M1~M4 系列的 Mac,那么 LM Studio 是一个值得尝试的软件。

https://lmstudio.ai/

这个软件用图形界面包装了在本地运行一个类似 ChatGPT 体验的所有复杂性。你可以下载和尝试不同的模型,甚至可以提供一个 API 服务器给其他软件使用。

LM Studio

LM Studio 的图形界面里包裹的是一个叫做 Llama.cpp 的命令行项目。这让我想起 Planet 对 Kubo 做的事情。

之前尝试过另外一个叫做 exo 的方案,但是我很怀疑他们所宣称的群集到底有没有真的效果。用不足的硬件去试图运行特别大的模型,这件事情听起来 too good to be true。

LM Studio 和 exo 都提供了和 ChatGPT 类似的 API 接口,于是就可以接上像 open-webui 这样的 web 端使用界面。

一个全新的生态系统。

然后,明年会有一些更好的硬件(比如 M4 Mac Studio、RTX 5090)和更好的模型。

但是,如果 ChatGPT,Cursor 这些已经用得很顺,那么或许并没有必要去花时间尝试一些更差的模型。