私有化大模型部署

私有化：量化模型与显存估算

阅读 51
量化 部署
私有化：量化模型与显存估算

7B/14B 量化档位粗算。

粗算

  • Q4_K 约 0.5–0.6 bytes/param
  • 预留 KV cache 与系统占用

关联阅读