私有化大模型部署清单

部署命令

docker run -d --gpus all -p 11434:11434 ollama/ollama

调优参数

• 上下文长度按显存裁剪
• 并发请求数限制
• 温度 / top_p 固定便于评测