AI 的 CLI 工具

AI 的 CLI 工具

在本地运行 AI 模型并不需要花哨的图形界面。一些最强大和灵活的工具是命令行实用程序。这些工具让您完全控制模型的运行方式，并且通常比图形化工具更高效。

Ollama 是在本地运行模型最流行的工具。它提供了一个简单的命令行界面，用于下载、运行和管理模型。使用 ollama run llama3 这样的命令，您可以在几秒钟内开始与模型聊天。Ollama 自动处理模型下载、量化和 GPU 加速。它还提供了一个兼容的 API，因此您可以将其与任何兼容 OpenAI 的客户端一起使用。

llama.cpp 是驱动许多本地 AI 工具（包括 Ollama）的引擎。它是 Llama 架构的 C++ 实现，针对 CPU 和 GPU 推理进行了高度优化。llama.cpp 引入了 GGUF 格式，该格式已成为量化模型的标准。您可以直接使用 llama.cpp 以获得最大控制权，也可以使用基于它构建的更高级工具。

Text Generation WebUI（也称为 Oobabooga）提供了一个基于浏览器的界面来运行模型。虽然它本身不是 CLI 工具，但它经常与 CLI 工具一起用于管理。它支持多种模型后端，包括 llama.cpp 和 ExLlama，并通过 Web 界面提供聊天模式、指令遵循和参数调整等功能。

其他有用的 CLI 工具包括用于模型发现和测试的 LM Studio、用于将模型作为单个可执行文件运行的 llamafile，以及用于高性能推理服务器的 vLLM。本地 AI 工具的生态系统正在快速增长，其中大多数是开源、免费的，并且设计用于消费级硬件。这使得任何愿意使用终端的人都可以使用本地 AI。