资源详情 · 人格系统
llama.cpp 项目导览
了解在自己的设备上运行语言模型的推理工具。
资源正文、示例和许可证保留原文。代码仅展示，不会在线执行或调用AI。
资源详情
适合已有命令行基础、希望核对本地模型运行条件的开发者。它负责模型推理，角色设定与长期记忆仍需应用另行实现。
使用前准备
- 适用平台
- Windows · macOS · Linux
- 内容更新
- 准备来源与许可明确的 GGUF 模型，并核对内存、显存、存储和所选推理后端。
- 如果选择源码编译路线，需相应 C/C++ 工具链与 CMake；预编译包仍要匹配系统和后端。
本站未编译或实测该项目。构建文档为官方滚动版本，参数可能变化，不给出通用一键命令。
常见卡点
- Windows 编译路线需要正确的 Visual Studio C++ 工具和开发者终端，普通终端未必能找到编译器。
- CUDA、Metal、Vulkan 等配置不能跨设备照搬；下载模型大小也不等于运行时内存占用。
完整正文
【可以做什么】为本地语言模型提供 C/C++ 推理与服务工具，可作为聊天应用的模型连接层。
【开始前准备】先记录操作系统、可用内存与显卡，再从官方文档核对当前支持的后端。另行选择来源可信、许可适用的 GGUF 模型；下载前确认文件大小，不要只依据参数量判断能否运行。
【第一次尝试】在独立测试目录按官方快速开始配置，用一句不含隐私的问候检查响应。先在本机验证模型、速度和资源占用，再考虑给自己的应用连接。不要直接把未配置访问控制的服务暴露到公网。
【怎样判断结果】能够得到完整回应只是连接成功，不代表人格、记忆、内容准确性或生产安全已经完成。
【许可与维护】主仓库 LICENSE 为 MIT，版权声明为 The ggml authors。核对分支 master，固定提交 5f5acfe2504b490386cd03020202f59e36861add；该提交日期为 2026-10-22。模型权重需要单独查看其许可证。
【核验范围】2026-10-22 核对官方仓库、指定提交与完整 LICENSE；核对时仓库未归档。本站尚未安装或实测运行该项目，也未完成安全审计，不承诺未来维护或兼容性。本站只提供项目导航，不提供上游源码下载；导览文字采用 CC BY 4.0。上游许可全文仅供核对，不表示本站完成了安全审计。工具主仓库许可不等于模型权重、数据集、文档、依赖、插件或企业服务的许可；需分别核对。模型、云 API 与托管服务可能收费，硬件与部署也可能产生费用。使用教程
本条目前提供项目导览，尚未配备独立的三步练习。先阅读完整正文、准备条件和常见卡点，再按官方指南操作；不代表本站已安装或验证上游项目。
原作者与来源
- 署名
- 本站导览
- 上游作者
- ggml-org（仓库维护组织）；LICENSE 版权：The ggml authors
- 来源版本
5f5acfe2504b490386cd03020202f59e36861add- 许可核对日期
- 2026-10-22
完整许可证
CC BY 4.0
上游许可 · MIT
MIT License Copyright (c) 2023-2026 The ggml authors Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions: The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
验证范围
资料与许可已核对
只核对项目资料和许可记录；未安装运行上游项目，也未进行安全审计。
2026-10-22