Apple Silicon 本地 AI 指南：模型、内存与部署要点

先确定本地运行的理由

本地运行的四类正当理由：数据不出本机、需要离线可用、要把长期使用成本变成固定投入、以及需要稳定可控的延迟。如果这四条你一条都不占，云端服务通常更省事——它省掉的不只是硬件，还有升级、监控和排障的时间。

还要注意一个反直觉的点：本地运行不等于数据不外流。很多桌面应用默认开启崩溃上报与使用统计，本地模型运行时的聊天记录也可能同步到云端账号。部署前先看一遍设置的隐私选项，并确认日志目录在哪。

另外，“本地”只解决传输环节，不解决权限环节。同一台机器上的其他账号、备份软件、同步盘都有可能接触到模型文件、缓存和对话记录。

内存与模型规模的对应关系

统一内存的特点是 CPU 与 GPU 共享同一块内存，所以模型占用的空间和你的日常应用是竞争关系。实际可用给模型的部分，通常是总内存的六成到七成：剩余的要留给系统、浏览器、编辑器，以及运行时自己的开销。把内存全部配额交给模型，最常见的后果是整机卡顿甚至进程被杀。

权重占用可以粗略估算：参数量乘以每个参数的字节数，再加上运行时缓冲。常见的几种量化，每参数大约占半个字节、一个字节、一点几个字节到两个字节。基于这个口径，可以得到下面的对应关系——它是估算而不是实测结论，真实占用会随运行时版本和上下文长度变化。

• 小模型档：几 B 参数，占用通常在个位数 GB。适合分类、结构化抽取、短文本改写。这类任务对模型规模不敏感，是本地最容易跑出价值的一档。
• 中模型档：十几 B 到三十 B 参数，量化后占用十几到二十几 GB。适合摘要、多语言转换、中等难度的代码辅助。这一档开始明显吃到内存，也需要为上下文留出更大的空间。
• 大模型档：三十 B 以上或大比例的专家混合结构，量化后也要几十 GB 起步。适合复杂推理与长材料分析。这一档对内存带宽和散热的要求同时上升，实际体验的瓶颈往往不是装不下，而是速度慢到不能交互。

上下文缓存单独算。这是最容易被低估的一项：序列长度翻倍，对应的缓存开销近似成倍增长，而且这部分占用是动态的、随对话变长的。如果你的任务是长文档处理，先按“长上下文”而不是“模型大小”来规划内存，并把它单独压测一次。

量化对质量的影响，以及怎么自己判断

量化是用更少的位数表示权重，换取更小的内存占用和更快的速度。它对质量的影响不是均匀的：不同任务、不同位宽、不同量化方案之间的差异可能比模型之间的差异还大。

• 相对不敏感的任务：翻译、摘要、风格改写、短文本分类。这些任务允许小幅误差，量化后通常仍可用。
• 明显更敏感的任务：多步推理、数学与逻辑、代码中的长依赖修改、低资源语言的输出、严格格式约束下的结构化生成。量化误差会在链条里累积。
• 位宽不是越高越好：从较低位宽升到中位宽，改善通常体现在边缘案例上；而一味追求极低位宽，最先坏掉的往往是长上下文场景——格式开始崩、指令开始被忽略。
• 同一模型的不同量化方案不可互换：换方案等于换一次模型，需要重新验证。

判断办法只有一个：用自己的任务做对比。准备一份小的测试集（覆盖你最常做的三到五类任务，每类至少几个样本，并包含你已知会失败的难题），用同一套提示词分别跑不同量化版本，由不知情的人盲评。记录三件事：合格率、失败类型是否变化、以及是否出现新的格式错误。只看“跑得动”就上线，是这类部署最常见的坑。

部署步骤：从零到能用

1. 明确任务清单。写下本地要接哪几类任务，以及每类任务的验收标准。没有验收标准，后面的对比就没有意义。
2. 建小测试集。从真实历史任务里抽样本，删掉敏感信息后再使用。
3. 选运行时。桌面应用适合快速试用与个人使用，命令行运行时便于脚本化和批处理，本地接口服务适合接进编辑器和内部工具。三者可以并存，先选一个能跑起来的。
4. 从能过验收的最小模型开始。先证明流程能通，再往上加规模，否则你无法判断变慢是因为模型还是因为配置。
5. 逐档对比。同一套提示词、同一批样本，比较不同模型与不同量化的合格率和速度。
6. 记录四个运行指标。峰值内存、首字延迟、生成速度、设备温度。峰值内存决定你会不会影响其他工作；温度决定能不能长时间跑批量任务。
7. 单独压测长上下文。用实际需要的最长材料跑一次，观察内存与质量是否同时劣化。
8. 确认许可。模型权重、运行时和量化方案的许可条款是否允许你的使用方式，尤其是商用与再分发。

工具形态怎么选

三种形态对应三种工作方式。桌面应用胜在开箱可用，适合个人试用和演示；命令行运行时胜在可脚本化，适合批处理、定时任务和实验对比；本地接口服务胜在可集成，适合接进编辑器、内部工具或自动化流程。选择时重点看四点：更新频率是否跟得上模型生态、模型来源是否有校验机制、网络行为是否符合预期、以及权限模型是否可控。

如果是图像方向的工作流，ComfyUI 是节点式本地工作流的代表；如果本地模型主要用于写作与资料整理，可以先参考 写作与内容分类 里的工具定位，再决定哪些环节值得搬到本地。

安全提醒与常见坑

• 本地不等于安全。模型文件、插件、聊天记录和本地服务端口都是风险面。
• 只从可信来源下载权重，并校验文件完整性。来源不明的模型文件是常见的入口。
• 限制监听地址。本地接口服务不要默认监听所有网卡；如果必须对外开放，至少加访问控制和网络限制。
• 给记录设生命周期。对话历史、缓存和日志定期清理，敏感任务不要留长期记录。
• 注意自动更新带来的漂移。运行时和模型自动升级后，输出可能变化，定期用固定的测试集回跑一次。
• 别一次跑到底。批量任务要设并发上限和超时，否则长时间满载会影响散热与寿命。

不同芯片、系统版本与运行时之间差异较大，具体支持情况与性能表现请以 Apple 与所选运行工具的官方说明为准，不要直接套用他人的配置结论。