大模型重要参数

① temperature（随机性控制）

temperature 影响模型的回答随机性：
低值（如 0.1-0.3） → 生成更加稳定、确定的回答（适合正式文档、技术说明）
高值（如 0.7-1.0） → 生成更有创造性、发散性的回答（适合创意写作、头脑风暴）

② top_p（核采样）

top_p 控制生成时选取高概率词汇的范围：
低值（如 0.2-0.5） → 生成更保守、可靠的回答
高值（如 0.8-1.0） → 生成更有多样性、丰富的回答
temperature 和 top_p 一般不要同时调高，以避免过度随机化

③ max_tokens（控制输出长度）

限制模型的回答长度，避免冗长：
例如，max_tokens=100 让模型的回答简短而直接

④ frequency_penalty & presence_penalty

frequency_penalty：降低重复内容的概率
presence_penalty：鼓励引入新词汇和概念
适当调整可以减少重复回答，提高内容的新颖性

大模型重要技术

Ollama [11434] 大模型容器化部署
vLLM [8000] 并发推理部署
Xinference [9997] 多模态模型部署
Dify [3000] 大模型智能体平台
LLaMA-Factory [7860] 大模型训练框架
llama.cpp 大模型 pytorch 格式转换 gguf 格式
AI Gateway Cloudflare 提升大模型可观察性、可靠性和可扩展性的服务

开发技术

LangChain
Deep Agents

推理引擎

Transformers：Hugging Face 提供的预训练模型加载和推理库，支持多种模型架构和推理优化。
vLLM：高效并发推理引擎，专注于优化大模型推理性能。
llama.cpp：轻量级推理引擎，专为 LLaMA 模型在本地设备上的高效推理设计。

特性 / 引擎	vLLM	Transformers	llama.cpp
运行速度	✅ 非常快（批量推理快）	❌ 相对较慢（PyTorch）	✅ 极快（C++ 编译）
资源消耗	❌ 高（GPU 资源大）	❌ 中等偏高（GPU/CPU）	✅ 非常低（纯 CPU 可用）
部署复杂度	中（需支持 CUDA + Triton）	✅ 简单（Python + pip）	✅ 简单（编译一次即可）
并发支持	✅ 高（支持连续批处理）	❌ 差（一次只能处理一个请求）	❌ 差（命令行式）
适用平台	仅支持 GPU（NVIDIA）	CPU / GPU	✅ 任意 CPU（轻量）
精度表现	✅ 原始精度（FP16）	✅ 支持 FP16 / BF16	❌ 需量化（int4/8）
是否支持多用户并发	✅ 支持	❌ 不支持	❌ 不支持

量化显存占用

7B 参数大模型在 8-bit 和 4-bit 量化时的显存占用：

全精度（FP16）存储计算

7B（70 亿）参数，每个参数 2 字节（FP16）

总显存占用：7B * 2B = 14GB

8-bit 量化

每个参数从 2 字节（FP16）降至 1 字节（INT8）

总显存占用：7B * 1B = 7GB

4-bit 量化

每个参数从 2 字节（FP16）降至 0.5 字节（INT4）

总显存占用：7B * 0.5B = 3.5GB

模型名 it 尾缀

google/gemma-4-26B-A4B-it（instruction-tuned）

部署用 it，训练才用 base

量化名称

看名字，名字里带量化关键词 = 量化模型

GPTQ 4bit/8bit 量化

AWQ 更高性能 4bit

GGUF llama.cpp 用

int4 / int8 bitsandbytes

进入模型页面 → 看 config.json，如果看到以下，就是量化模型

1"quantization_config": {
2  "quant_method": "awq",
3  "bits": 4
4}

如果要用量化，推荐 AWQ，AWQ 是新一代默认方案

激活参数

对应模型：google/gemma-4-26B-A4B-it，A4B = Active 4 Billion（激活 40亿参数）

A4B 对部署的真实影响，很多人会认为：“只用 4B → 显存也像 4B”，这是错误的，实际情况是所有 26B 权重仍然要加载到显存

为什么 A4B 还是值得用？

1）速度更快，每次只计算 4B 参数，推理速度 ≈ 4B 模型

2）效果接近 30B，能力接近 31B dense，但计算成本远低

MOE 架构

MoE（Mixture of Experts）

MoE 只是“选择专家计算”，但所有专家权重必须在 GPU 上

项目	是否降低
显存占用	❌ 不降低
推理算力	✅ 降低
token速度	✅ 提高

Dense 与 MoE 模型区别

最本质区别

Dense（普通模型） → 每个 token 都使用 全部参数

MoE（混合专家模型） → 每个 token 只使用 一部分参数（专家）

结构区别

Dense（普通模型）

结构特点：

每一层只有一个 FFN

所有 token 走同一条计算路径

结果：

所有参数每次都参与计算

MoE（混合专家）

结构变化：

一个 FFN → 多个 FFN（Experts）

增加一个 Router（路由器）

执行流程：

输入 token

Router 判断

选择 Top-K 个专家（通常 1~2 个）

只让这些专家计算

结果：

只激活部分参数（稀疏计算）