学院新闻

当前位置: 首页 学院新闻 正文
我院范少华、苏向东课题组2篇论文被机器学习领域国际顶级会议NeurIPS 2026录用

发布日期:2026-10-09来源:

第40届神经信息处理系统大会(The 40th Annual Conference on Neural Information Processing Systems,NeurIPS 2026)将于2026年12月6日至13日在澳大利亚悉尼、美国亚特兰大和法国巴黎举行。NeurIPS是人工智能、机器学习和神经信息处理领域具有重要影响力的国际学术会议,是中国计算机学会CCF推荐的A类国际学术会议,也是国际计算机学科排名CSRankings列表会议,集中展示机器学习理论、生成模型、优化方法、计算机视觉、自然语言处理及生物信息学等方向的前沿研究成果。我院范少华课题组被录用的论文“Rectifying Categorical Flows on Statistical Manifolds for One-Step Generation”,相关研究聚焦统计流形上的离散数据生成与一步采样,论文的第一作者为“菁英计划”博士生贾啸寰;苏向东课题组被录用的论文“How Does Pruning Change Decisions in Large Language Models?”,相关研究聚焦大语言模型剪枝后的决策可靠性,论文的第一作者为博士生李江。论文简介如下:

(1)Rectifying Categorical Flows on Statistical Manifolds for One-Step Generation

作者:贾啸寰¹、徐韧喆²、王晓²、Jiayun Wu³、范少华¹*

单位:¹内蒙古大学,²上海财经大学,³卡内基梅隆大学

近年来,离散数据生成已广泛应用于图像生成、文本建模和生物序列设计等任务,为人工智能内容生成、语言建模和生物信息学研究提供了重要技术支撑。然而,现有离散数据生成方法通常需要通过多步数值积分完成采样,推理成本较高,直接在欧氏空间中建模又难以体现概率分布的内在几何结构。针对这一问题,论文提出Rectified Statistical Flow(ReSFlow)模型,将分类概率分布通过平方根映射转换到正超球面上,在Fisher–Rao统计流形的测地线空间中进行流匹配与轨迹校正,并通过迭代重流使生成轨迹逐步趋近于测地线,从而利用指数映射实现从噪声分布到目标分类分布的一步生成。论文进一步从理论上分析了球面重流的轨迹校正性质,并在Swiss-roll、二值化MNIST、Text8字符级建模和启动子DNA序列设计等任务上开展实验。结果表明,ReSFlow在保持生成质量的同时能够显著降低采样成本,为图像、文本和生物序列等离散数据的高效生成提供了新的解决思路。

(2)How Does Pruning Change Decisions in Large Language Models?

作者:李江¹、兰天²、周晨曦³、多泽华¹、尚贤鹏¹、高光来¹、苏向东¹*

单位:¹内蒙古大学,²京都大学,³中国科学院自动化研究所

现有剪枝研究通常主要通过困惑度和平均下游任务准确率来衡量模型压缩效果,但这类整体指标难以反映剪枝对具体样本决策过程造成的影响。针对这一问题,构建了候选答案级的成对决策诊断框架,从正确答案置信度、答案间隔、预测翻转、候选分布变化以及决策边界附近样本的脆弱性等多个维度,系统分析剪枝前后的模型行为。研究发现,剪枝会普遍降低模型对正确答案的置信度、缩小正确答案与竞争答案之间的决策间隔,并增加由正确预测翻转为错误预测的情况,其中原始模型中靠近决策边界的样本表现出更明显的脆弱性。进一步分析表明,传统困惑度虽然仍可作为衡量剪枝质量的重要指标,但并不能充分反映模型的下游决策可靠性。为进一步研究局部重构质量与决策表现之间的关系,论文提出MR-GOBS,通过多校准视图和最小最大遗憾准则优化N:M半结构化剪枝中的局部掩码选择。实验结果显示,MR-GOBS在多数设置下能够改善SparseGPT的平均困惑度,但这种重构层面的提升并不总能同步带来更高的下游准确率或更可靠的决策表现。该工作揭示了局部重构质量、困惑度与模型决策可靠性之间存在明显差异,为大语言模型压缩评测及可靠部署提供了新的研究视角。


(撰稿:贾啸寰、李江 二审:王燕、李静 终审:黄翔)

地址:内蒙古呼和浩特市大学西路235号内蒙古大学计算机学院

版权所有 © 内蒙古大学计算机学院

官方微信