Ollama 和 LM Studio 等免费工具可以在您的笔记本电脑上离线运行开放式人工智能模型，无需订阅。以下是如何开始。

何塞·安东尼奥·兰兹

吉列尔莫·希门尼斯编辑

十一月 1, 2026 十一月 1, 2026

6 分钟阅读

现在，开放式人工智能模型平均只落后最好的封闭式模型约四个月，而且越来越多的模型在您可能已经拥有的硬件上运行。

“开放权重”意味着公司发布权重，即包含模型学到的所有内容的文件，因此任何人都可以下载并运行它们。两个免费程序 Ollama 和 LM Studio 可以处理其余的事情，Ollama 库中的 Gemma 4 下载范围约为 4.6GB 到 20GB。

借助开放模型，您无需每月支付 20 美元来订阅 AI，也无需将对话发送到其他人的服务器来获得功能强大的聊天机器人。本指南介绍了如何直接在计算机上下载和运行 AI 模型、您需要什么类型的硬件，以及如何开始使用 Ollama 和 LM Studio 等免费工具。

无论您是想省钱、保密对话，还是尝试可以自定义的 AI 模型，设置本地 AI 助手可能比您想象的要容易。

为什么要在自己的机器上运行人工智能模型

正如 在对注重隐私的人工智能工具的审查中所报道的那样，云聊天机器人将所有提示发送到公司的服务器，法院命令 OpenAI 保留 ChatGPT 日志，包括已删除的日志。本地模型将对话保存在您的计算机上，未经您的许可任何人都无法使用它。

LM Studio 的文档称，该应用程序“可以完全离线运行，只需确保首先获取一些模型文件”，并且聊天中附加的文档也可以完全离线使用。

付费聊天机器人的订阅费用约为每月 20 美元，而这里的软件是免费的。成本转移到您可能已经拥有的硬件上。

许可证决定您可以使用下载的权重做什么。 DeepSeek 的 R1 系列获得了 MIT 许可，其模型卡上写着这些模型“支持商业用途，允许任何修改和衍生作品”，而 Google 的 Gemma 4 和 OpenAI 的 gpt-oss 则在 Apache 2.0 下发布。

在 Apache 或 MIT 等开源许可证上运行模型意味着您可以自由使用、修改模型并对其进行任何您想要的操作。这意味着用户能够访问特定模型的改进和修改版本，以更好地满足他们的需求。也许你需要一个擅长医学的模型，所以你不关心它的代码有多好。这种级别的个性化仅适用于定制型号。

您的硬件实际可以运行什么

模型的大小取决于参数，内部数字在训练期间进行调整，下载量也随之增长。该模型必须适合显卡的视频内存（称为 VRAM）或 Mac 的统一内存（处理器和图形芯片共享）。

一般来说，您至少需要 8GB 的​​ VRAM，压缩后的较小容量就可以容纳。然而，认真的用户应该购买具有 24GB 或更多 VRAM 的游戏 GPU，可以通过堆叠 GPU 或购买特定的 AI 机架或具有统一内存的机器（例如 Mac Mini 或 Nvidia DGX Spark）。

量化通过用更少的位存储每个权重来缩小模型。 Hugging Face 的文档将其描述为“使用 8 位整数 (int8) 等低精度数据类型而不是通常的 32 位浮点 (float32)”来表示权重和激活，这会以牺牲一定精度为代价来减少内存使用。

LM Studio 的系统要求建议在运行 macOS 14 或更高版本的 Apple Silicon Mac 上使用 16GB 或更多 RAM，但 8GB Mac 可以处理较小的型号。在 Windows 上，它建议至少 16GB RAM 和 4GB 专用 VRAM，支持 AVX2 处理器，但不支持基于 Intel 的 Mac。

Ollama 的库列出了 16 至 19GB 的 Gemma 4 26B 和 19 至 20GB 的 31B 版本。据 OpenAI 称，OpenAI 的 gpt-oss-20b 仅需要 16GB 内存，gpt-oss-120b 运行在 80GB 以内。

如何设置 Ollama 和 LM Studio

LM Studio 可能是首选，因为它提供了漂亮的图形用户界面。另一方面，Ollama 面向的是喜欢在终端 (CLI) 内部工作的开发人员和更有经验的用户。

对于 LM Studio，请从 lmstudio.ai 下载适合您操作系统的安装程序，在应用程序内搜索模型，下载其权重并打开聊天。该应用程序搜索 Hugging Face，这是发布开放模型的公共中心。

对于 Ollama、macOS 和 Linux 用户，请使用命令 curl -fsSL https://ollama.com/install.sh | 安装sh，Windows 用户运行 irm https://ollama.com/install.ps1 | PowerShell 中的 iex，两者均列在 Ollama 的下载页面上。

根据 Ollama 的快速入门，输入 ollama pull gemma4:e2b 下载模型，然后 ollama run gemma4:e2b 打开聊天，然后 /bye 退出。该程序还会在 http://localhost:11434 打开本地 API，以便您计算机上的其他应用程序可以使用该模型。

以“:cloud”结尾的模型名称（例如 gemma4:cloud）是在 Ollama 的云中运行的云模型，无需下载，因此如果注重隐私，请跳过这些模型。也就是说，对于那些需要更强大模型的人来说，这是一个很好的第二个选择：通过 API 处理的调用和提示不会存储在提供商的服务器中，也不用于训练模型。

Google 的 Gemma 4 多令牌预测起草器可在 Apache 2.0 下的 Ollama 上使用，使用推测解码将生成速度提高了 3 倍，其中一个小模型提前提出多个令牌，而大模型将它们一起检查。

谷歌表示，“如果目标模型同意草案，它会在一次前向传递中接受整个序列”，并且目标模型在同一传递中添加一个自己的额外标记。

根据 指南，本地模型通过 MCP 服务器（模型上下文协议的缩写）获得网络搜索和文件访问，LM Studio 在 0.3.17 版本中添加了支持。

本地模型仍然输给云的地方

四个月的平均值描述了最有能力的开放模型，而最大的模型远远超出了消费类硬件。阿里巴巴的 Qwen3.8-Max 拥有 2.4 万亿个总参数，随时有 950 亿个活跃参数，而 gpt-oss-120b 运行的内存为 80GB。

当模型从 VRAM 溢出到系统 RAM 中时，响应可能会慢很多，并且更大的上下文窗口需要更多内存。 Gemma 4 的小型模型提供 128K-token 上下文窗口，即模型一次可以考虑的文本量，而较大的模型则提供 256K。

云服务不需要任何此类规划，并且其背后的前沿模型仍然在最艰难的测试中处于领先地位。

如果你想私下使用人工智能，我们自己的评论建议“xPrivo 具有自托管本地模型，用于日常起草，不得离开你的机器”，而 Kagi“当你需要网络检索和接受 API 调用权衡时”。