正交约束优化是线性与非线性特征值问题的优化模型,在机器学习、图像处理、材料科学中有广泛的应用。已有求解算法大部分基于流形上的回缩框架,因此需要进行测地线或切空间的各种复杂计算。我们提出了一类新的求解正交约束优化的算法框架,其主要步骤可分为两部分,第一部分是欧式空间中的函数值下降;第二部分是对应于正交约束的拉格朗日乘子的校正。使用这个算法框架可以免去流形相关计算,节省每步迭代计算量。选取合适的下降步,还能同时加快迭代的收敛速度。我们提出三种实现方式:梯度投影、梯度反射、按列块坐标下降。它们的数值表现比已有方法更稳定,更高效。
我们建立了新算法框架的统一收敛性理论。特别地,对于按列块坐标下降算法而言,我们的理论分析是第一个严格给出求解各分块有耦合非凸约束的优化问题时块坐标下降算法的收敛性。
更进一步,我们利用对应于正交约束的拉格朗日乘子在稳定点处有显示表达式这一特性,设计了一种可并行算法,解决了正交约束的计算瓶颈:正交约束的低可扩展性。无论从理论分析还是并行实验都验证了我们方法的有效性和高可扩展性。
参考文献:
[1] B. Gao, X. Liu, X. Chen and Y. Yuan, A New First-order Framework for Orthogonal Constrained Optimization Problems, SIAM Journal on Optimization, 28-1(2018), 302–332.
[2] B. Gao, X. Liu and Y. Yuan, Parallelizable Algorithms for Optimization Problems with Orthogonality Constraints, arXiv: 1810.03930 (Oct 9, 2018)
附件下载: