私有化大模型部署

私有化：量化模型与显存估算

发布 2026-07-22 更新 2026-07-22 阅读 5

量化部署

7B/14B 量化档位粗算。

粗算

Q4_K 约 0.5–0.6 bytes/param
预留 KV cache 与系统占用