量化

面向大语言模型的高保真 3-bit 量化与推理框架，用快速沃尔什-哈达玛变换将重尾权重分布平滑为近似高斯分布，基于 Lloyd-Max 推导最优三值量化阈值，并把逆 FWHT 融合进 MMQ CUDA 核，避免去量化权重落到全局内存。

赵国凯

• 2026年4月22日 08:30 — 09:15 • 1 分钟阅读时长

放松 LLM 量化中激活与权重的"一对一"变换约束，激活侧采用动态多变换矩阵适配不同 Token 类型，权重侧保持单一静态变换，W4A4 下性能接近 FP16 且零额外部署开销。

汤浩

• 2026年4月1日 08:30 — 09:15 • 1 分钟阅读时长

面向国产算力的大语言模型量化、稀疏化与高效推理技术。

2025年1月1日 • 1 分钟阅读时长

基于海光DCU的智能模型训练框架的移植与优化。

2024年4月1日 • 1 分钟阅读时长