核心要点
-
更宽松的审查：本地大型语言模型允许用户自由探讨敏感话题，不受公共聊天机器人的限制，从而促进更开放的对话。
-
更强的数据隐私保护：使用本地大型语言模型时，所有生成的数据都保留在用户的计算机上，保护隐私，防止公开运营大型语言模型的公司访问。
-
离线可用性：本地大型语言模型可以在互联网连接不稳定的偏远地区或离线状态下使用，成为一种有价值的工具。
自 2022 年 11 月 ChatGPT 问世以来，“大型语言模型”（LLM）这一术语迅速从人工智能爱好者的小圈子走向大众视野，成为人们热议的话题。本地大型语言模型最大的吸引力在于，它可以在用户的计算机上实现类似 ChatGPT 等聊天机器人的功能，而无需依赖云托管版本。
关于在计算机上搭建本地大型语言模型的优缺点，存在着激烈的讨论。我们将揭开炒作的迷雾，为您呈现事实。那么，您应该使用本地大型语言模型吗？
使用本地大型语言模型的优势
为何人们对在计算机上部署自己的大型语言模型如此感兴趣？除了追逐潮流和炫技之外，还有哪些实际的好处？
1. 减少审查
当 ChatGPT 和 Bing AI 首次推出时，它们展现出的能力令人惊叹，同时也引发了担忧。Bing AI 表现得温情脉脉，仿佛拥有情感。ChatGPT 则愿意在用户善意请求下使用脏话。当时，只要使用得当的提示词，这两个聊天机器人甚至能协助制造炸弹。虽然这种能力可能有些不妥，但这象征着驱动它们的语言模型不受限制的力量。
如今，这两个聊天机器人都受到严格的审查，以至于它们甚至无法协助撰写带有暴力场景的虚构犯罪小说。某些人工智能聊天机器人甚至不讨论宗教或政治话题。虽然本地部署的大型语言模型并非完全不受审查，但其中许多模型愿意处理一些公共聊天机器人会避讳的敏感话题。因此，如果您不希望机器人在讨论个人兴趣时进行道德说教，那么运行本地大型语言模型或许是不错的选择。
2. 更强的数据隐私保护
选择本地大型语言模型的主要原因之一是确保所有操作都仅限于用户的计算机。当您使用本地大型语言模型时，就像在客厅里进行私人对话，外人无法窃听。无论您是在测试信用卡信息，还是与大型语言模型进行敏感的个人对话，所有生成的数据都仅存储在您的计算机上。相比之下，使用 GPT-4 等公共大型语言模型，其运营公司可以访问您的聊天记录。
3. 离线使用
随着互联网的普及，离线访问似乎是选择本地大型语言模型的微不足道的原因。然而，在互联网服务不稳定或无法使用的偏远地区，离线访问至关重要。在这种情况下，可以独立于互联网连接运行的本地大型语言模型成为关键工具，让用户可以不受干扰地继续工作。
4. 节省成本
使用 GPT-4 或 Claude 2 等高性能大型语言模型的平均费用为每月 20 美元。虽然这个价格看似不高，但您仍然会受到一些限制。例如，通过 ChatGPT 访问 GPT-4 时，每三小时只能发送 50 条消息。您只能通过切换到 ChatGPT 企业版来突破这些限制，这可能会花费数千美元。而对于本地大型语言模型，一旦安装了软件，就不再需要支付每月订阅费。这就像购买汽车而不是依赖网约车服务。初期投入较高，但长期来看可以节省开支。
5. 更强的定制能力
由于安全和审查问题，公开的人工智能聊天机器人的定制受到限制。借助本地托管的人工智能助手，您可以根据特定需求完全自定义模型。您可以使用根据您的用例定制的专有数据来训练助手，从而提高相关性和准确性。例如，律师可以优化本地人工智能，以生成更精确的法律见解。主要优势在于您可以根据自身需求控制定制。
使用本地大型语言模型的缺点
在做出决定之前，您需要考虑使用本地大型语言模型的一些缺点。
1. 资源消耗大
要运行高性能的本地大型语言模型，需要高端硬件。需要强大的 CPU、充足的 RAM 和专门的 GPU。不要指望 400 美元的廉价笔记本电脑能提供良好的体验。尤其是在处理大型人工智能模型时，响应速度会非常慢。这就像运行尖端视频游戏，需要强大的配置才能获得最佳性能。您甚至可能需要专门的散热解决方案。总而言之，本地大型语言模型需要投入高端硬件，才能达到甚至超越网络版大型语言模型的速度和响应能力。与使用网络服务相比，您的计算需求将非常庞大。
2. 响应速度较慢，性能较差
本地大型语言模型的常见局限是响应时间较慢。具体速度取决于特定的人工智能模型和硬件，但大多数设置都落后于在线服务。在体验过 ChatGPT、Bard 等的即时回复后，本地大型语言模型的响应速度可能会显得异常迟缓。文本会缓慢地逐字出现，而不是迅速返回。虽然并非所有情况都如此，一些本地部署也取得了良好的性能。但普通用户通常会面临与快速网络体验的巨大差异。因此，需要做好从快速在线系统到较慢本地系统的“文化冲击”的准备。
简而言之，除非您拥有顶级配置（例如 AMD Ryzen 5800X3D 搭配 Nvidia RTX 4090 和足以“击沉一艘船”的内存），否则本地大型语言模型的整体性能无法与您习惯的在线人工智能聊天机器人相提并论。
3. 设置复杂
部署本地大型语言模型比注册网络版人工智能服务复杂得多。通过互联网连接，只需几分钟即可完成 ChatGPT、Bard 或 Bing AI 账号的创建。而设置完整的本地大型语言模型环境，则需要下载框架、配置基础设施并集成各种组件。对于大型模型，即使使用旨在简化安装的工具，这个复杂的过程也可能耗时数小时。某些先进的人工智能系统仍然需要深厚的技术专业知识才能在本地运行。因此，与即插即用的网络版人工智能模型不同，管理本地人工智能需要大量的技术投入和时间成本。
4. 知识有限
许多本地大型语言模型的知识都停留在过去。它们对时事了解有限。您还记得 ChatGPT 无法访问互联网的情形吗？当时，它只能回答 2021 年 9 月之前发生的事件。是的？好吧，与早期的 ChatGPT 模型类似，本地托管的语言模型通常仅使用截止日期之前的数据进行训练。因此，它们对之后的最新发展缺乏了解。
此外，本地大型语言模型无法访问实时互联网数据。这限制了实时查询（例如股票价格或天气）的实用性。要获得所谓的实时数据，本地大型语言模型通常需要与互联网连接的服务进行额外的集成。互联网访问可能是您考虑升级到 ChatGPT Plus 的原因之一！
您应该使用本地大型语言模型吗？
本地大型语言模型提供了诱人的优势，但在尝试之前需要考虑一些实际的缺点。减少审查、更强的数据隐私保护、离线访问、节省成本和定制能力为在本地设置大型语言模型提供了充分的理由。然而，这些好处是有代价的。网上有很多免费的大型语言模型，采用本地大型语言模型可能有点像“杀鸡用牛刀”——可行，但可能有点过头。但请记住，如果某样东西是免费的，那么您和您生成的数据很可能就是产品。因此，现在没有明确的正确或错误答案。评估您的优先事项将决定现在是否是做出转变的正确时机。