私有化大模型部署清单
私有化
LLM
Docker
完整命令、依赖、调优参数。
部署命令
docker run -d --gpus all -p 11434:11434 ollama/ollama
调优参数
- 上下文长度按显存裁剪
- 并发请求数限制
- 温度 / top_p 固定便于评测
完整命令、依赖、调优参数。
docker run -d --gpus all -p 11434:11434 ollama/ollama