研究分享

UNISCHED:面向异构用户需求的深度学习训练作业统一调度器 featured image

UNISCHED:面向异构用户需求的深度学习训练作业统一调度器

面向 GPU 集群的统一调度系统,通过 Estimator 与 Selector 组件和基于租约的执行机制,同时覆盖严格/软 SLO 与尽力而为作业的调度时延需求,以及迭代/性能两类停止条件。

avatar
梁汝带
•
FreeAct:释放大语言模型量化中的激活约束 featured image

FreeAct:释放大语言模型量化中的激活约束

放松 LLM 量化中激活与权重的"一对一"变换约束,激活侧采用动态多变换矩阵适配不同 Token 类型,权重侧保持单一静态变换,W4A4 下性能接近 FP16 且零额外部署开销。

avatar
汤浩
•
MemMat-YOLOX:一种面向DR视频图像的焊缝缺陷智能检测方法 featured image

MemMat-YOLOX:一种面向DR视频图像的焊缝缺陷智能检测方法

面向DR视频焊缝缺陷的智能检测方法,通过MatrixNets、DP-FMAM和多头注意力机制,提升小尺度与大长宽比缺陷的检测能力。

陈柏彤
•
SparseLoCo:面向大模型预训练的稀疏化通信高效分布式训练 featured image

SparseLoCo:面向大模型预训练的稀疏化通信高效分布式训练

在 DiLoCo 低频同步框架之上,对伪梯度进行 Top-k 稀疏化与 2-bit 量化,并结合误差反馈,显著降低大模型预训练的分布式通信开销。

avatar
李佳琦
•