6月19日上午📃，宾夕法尼亚大学沃尔顿商光辉的Weijie Su教授应邀在闵行校区法商楼135会议室为光辉娱乐的师生作学术报告🩵👭，报告的题目是《 HiGrad: Statistical Inference for Stochastic Approximation and Online Learning》。
Weijie Su是宾夕法尼亚大学沃顿商光辉的统计助理教授。在加入宾夕法尼亚大学之前，在2016年于斯坦福大学统计学系获得了博士学位，于2011年在北京大学获得数学系学士学位😣。苏教授的研究兴趣包括机器学习，高维统计推断，多重测试和隐私数据分析。
苏教授在报告中提出随机梯度下降（SGD）是针对流数据或数据量非常大的环境中进行在线学习的一种非常流行的方法。然而，尽管SGD的工作量不断增加🕓，但基于SGD解决方案的统计推断属性的预测知之甚少🤞。在苏教授的工作中，引入了一个名为HiGrad的新算法来进行在线学习的统计推断，而不会产生额外的计算成本🫳🏽。
HiGrad过程首先执行SGD迭代一段时间，然后将单个线程拆分为几个👦🏿，并且此过程按照每个线程的层次结构进行操作。利用由多个线程提供的预测，基于t检验的置信区间通过使用由Ruppert-Polyak平均方案给出的协方差结构去构建预测和统计推断。在某些规律性条件下，HiGrad置信区间被证明可以达到渐近的精确覆盖概率🧑🏽🏫。最后👷🏽，苏教授对HiGrad的性能通过广泛的仿真研究和真实的数据示例进行评估🚈🏊🏼。
图文｜彭志成
编辑｜肖启玉