分布式学习与优化研讨会

分布式学习与优化是一个多学科交叉的前沿领域，涉及到最优化方法、图论、机器学习、多智能体一致性理论等学科分支。随着大数据和人工智能的兴起，该领域日益受到国内外学者的重视和关注。

为促进分布式学习与优化领域的学术交流，提升西安电子科技大学best365亚洲版登录师生在数学与人工智能交叉方向上的研究能力，推动青年教师在科学研究、学术交流等方面的发展与合作，兹定于2022年6月8日上午举办线上会议“分布式学习与优化研讨会”。

本次研讨会邀请活跃在一线的年轻学者作学术报告，并指导、推进青年教师和研究生在相关领域开展科学研究。

会议时间：2022年6月8日（星期三）8:50-12:00

会议平台：腾讯会议ID: 555 206 469

联 系 人：高卫峰18954259319 gfw@xidian.edu.cn

谢 晋15249288393 xj6417@126.com

best365亚洲版登录

2022年6月8日

报告摘要

1.徐金明 浙江大学

个人简介：徐金明，浙江大学“百人计划”研究员，博士生导师，入选国家高层次青年人才计划、浙江省“海外高层次”青年人才计划。2009年获山东大学机械工程学士学位；2016年获新加坡南洋理工大学电子信息工程博士学位。随后于2017-2018年和2018-2019年分别赴美国亚利桑那州立大学和普渡大学开展博士后研究工作；于2019年9月加入浙江大学控制科学与工程学院。长期致力于分布式优化和控制、机器学习、算法安全等领域的研究。主持或承担多项国家自然科学基金项目和企业重要项目等。在IEEE TAC、IEEE TSP、Automatica和ICML、AISTATS等本领域国际主要期刊和会议上发表一系列高水平论文，其中一项成果提出的梯度跟踪法解决了长期以来分布式优化算法无法在时变异步网络下达到线性收敛的难题，并得到分布式优化和机器学习领域学者的广泛采用。

题目：网络系统分布式优化：从算法设计到具体应用

摘要：近十年来，分布式优化算法由于具有较强的可拓展性和鲁棒性，且只需通过本地计算和点对点的信息交互，便可在不依赖任何中心的情况下找到网络全局目标（通常是所有本地代价函数之和）的最优解，因此在具有去中心化特性的大规模信息物理网络系统（如大规模传感器网络）中得到了广泛的应用。本报告将重点介绍近期提出的几种新型分布式优化算法，这些算法不仅能以更快的速度收敛至全局最优值，而且在一定条件下可以和集中式算法的收敛性能相媲美。在此基础上，本报告还会讲解分布式优化算法在多传感器信息融合、智能电网资源优化配置和分布式机器学习等诸多领域中的最新应用。

2.凌青 中山大学

个人简介：凌青，2001年与2006年于中国科学技术大学自动化系分别获得学士与博士学位，2006年至2009年担任密歇根理工大学电子工程与计算机科学系博士后研究员。2009年至2017年任教于中国科学技术大学自动化系，其间曾担任宾夕法尼亚大学电子与系统工程系访问学者、微软亚洲研究院铸星计划访问学者。2017年起担任中山大学计算机学院教授、博士生导师。在IEEE Transactions on Signal Processing、IEEE Transactions on Parallel and Distributed Systems、SIAM Journal on Optimization等杂志发表论文70余篇。获得IEEE信号处理协会青年作者最佳论文奖。担任IEEE Signal Processing Letters杂志资深编辑、IEEE Transactions on Network and Service Management杂志编委，曾担任IEEE Signal Processing Letters杂志编委。

题目：Gradient-Tracked and Variance-Reduced Stochastic Quasi-Newton Methods for Decentralized Learning

摘要：In this work, we investigate stochastic quasi-Newton methods for minimizing a finite sum of cost functions over a decentralized network. We develop a general algorithmic framework that incorporates stochastic quasi-Newton approximation with variance reduction so as to achieve fast convergence. At each time each node constructs a local, inexact quasi-Newton direction that asymptotically approaches the global, exact one. To be specific, (i) A local gradient approximation is constructed by using dynamic average consensus to track the average of variance-reduced local stochastic gradients over the entire network; (ii) A local Hessian inverse approximation is assumed to be positive definite with bounded eigenvalues, and we specify two fully decentralized stochastic quasi-Newton methods, damped regularized limited-memory DFP (Davidon-Fletcher-Powell) and damped limited-memory BFGS (Broyden-Fletcher-Goldfarb-Shanno), to locally construct such a Hessian inverse approximation without extra sampling or communication. Compared to the existing decentralized stochastic first-order methods, the proposed general framework introduces the second-order curvature information without incurring extra sampling or communication. With a fixed step size, we establish the conditions under which the proposed general framework linearly converges to an exact optimal solution.

3.刘永朝 大连理工大学

个人简介：刘永朝，博士，教授，博士生导师，大连理工大学数学科学学院副院长。2011年于大连理工大学数学科学学院获得博士学位，2014年11月至2016年4月在英国南安普顿大学从事博士后研究。主要研究方向为随机优化和分布鲁棒优化，在Mathematical Programming, SIAM Journal on Optimization, Mathematics of Operations Research，SIAM Journal on Numerical Analysis等优化期刊发表论文20余篇。

题目：Confidence Region for Distributed Stochastic Optimization Problem in Stochastic Gradient Tracking Method

摘要：Since stochastic approximation (SA) based algorithms are easy to implement and need less memory, they are very popular in distributed stochastic optimization problems. Many works have focused on the consistency of the objective values and the iterates returned by the SA based algorithms. It is of fundamental interest how to quantify the uncertainty associated with SA solutions via the confidence regions of prescribed level of significance for the true solution. In this work, we discuss the framework of constructing the asymptotic confidence regions of the optimal solution to distributed stochastic optimization problem with a focus on distributed stochastic gradient tracking method. To attain this goal, we first present a central limit theorem for Polyak-Ruppert averaged distributed stochastic gradient tracking method. We then estimate the corresponding covariance matrix through online estimators. Finally, we provide a practical procedure to build the asymptotically confidence regions for the optimal solution. Numerical tests are also conducted to show the efficiency of the proposed methods.

4.杨涛 东北大学

个人简介：杨涛，东北大学教授、博士生导师。2012年获美国华盛顿州立大学博士学位；2012至2014年在瑞典皇家理工学院任职博士后；2014至2016年在美国太平洋西北国家实验室先任职博士后，后晋升为Scientist；2016至2019年在美国北德克萨斯州大学任助理教授；2019年入选国家青年高层次人才类项目，加入东北大学流程工业综合自动化国家重点实验室。主要从事工业人工智能、智能优化与控制一体化、信息物理系统、分布式协同控制和优化等领域的研究，主持国家自然基金重点项目、重大项目课题等。在国际权威期刊和学术会议上发表论文80多篇，其中IEEE汇刊和IFAC会刊论文20多篇。现任《自动化学报》副主编、《控制工程》副主编、《IEEE Transactions on Control Systems Technology》、《IEEE Transactions on Neural Networks and Learning Systems》、《IEEE/CAA Journal of Automatica Sinica》等期刊编委(Associated editor)，IEEE控制系统协会和IFAC多个技术委员会委员。曾任《Annual Reviews in Control》等多个杂志客座编委。2018年获美国橡树岭大学联盟Ralph E Powe青年教授奖；作为导师获第14届IEEE International Conference on Control and Automation国际会议最佳学生论文奖。

题目：分布式优化及其在智能电网的应用

摘要：分布式优化算法通过多智能体之间的相互合作协调来解决大规模的优化问题。与传统的集中式优化算法相比，分布式优化算法更为灵活、方便、高效。分布式优化算法在电力系统、交通系统、信息物理系统等领域有广泛应用。本报告首先回顾和总结现有的分布式优化算法；接下来，针对智能电网中分布式能源的最优协同控制问题，提出两种分布式协同优化算法，并严格理论证明了算法的收敛性，同时在典型的IEEE-39节点系统中进行了验证。