什么是本地部署 LLM？
本地部署 LLM 是指在组织自己的服务器或其掌控的基础设施上运行大语言模型，而不是交由云服务商运行。数据在处理过程中不会离开组织。
它是如何工作的？
组织通常会在自有硬件或私有云上安装并运行开放权重模型（开放权重模型）。用户请求在该基础设施上处理，不会发送到外部服务商的 API。
用在哪里？
- 数据不得离开组织的场景
- 具有严格监管或合同要求的组织
- 需要完全掌控数据存储位置的项目
注意事项
- 硬件、部署和运维成本由组织承担。
- 模型质量可能与最先进的云端模型存在差距；应通过在组织自有数据上的测试来做决定。
- 安全更新和监控由组织负责。
Huaris AI 在这方面做什么？
Huaris AI 通过产品开发、安全与合规服务比较本地部署和云端方案；部署选项请参阅安全与合规页面。