近日，深圳北理莫斯科大学人工智能研究院访问学生王鲁亚以深北莫为第一单位，在无线通信领域顶级学术期刊IEEE Transactions on Wireless Communications（IEEE TWC，中科院一区TOP期刊，IF：10.4）发表研究成果，题目为“Accelerating Wireless Federated Learning via Nesterov’s Momentum and Distributed Principal Component Analysis”。论文合作作者包括深圳北理莫斯科大学董延杰副教授、胡希平教授、梁中明教授（Life Fellow, IEEE）、北京科技大学张海君教授（杰青、Fellow, IEEE）、光明实验室执行主任于非教授（Fellow, IEEE）和深圳大学王佳助理教授。

该论文研究了一种无线联邦学习系统架构，如上图所示。该系统允许服务器和多客户端通过正交无线信道交换未编码的信息。由于客户端频繁通过受限信道向服务器上传本地梯度，导致从客户端到服务器的上行传输成为整个系统的通信瓶颈。因此，采用一次性分布式主成分分析（PCA）来降低上传梯度的维度，以缓解通信瓶颈。基于低维梯度和Nesterov动量提出了一种PCA基无线联邦学习（PCA-WFL）算法及其加速版本（即PCA-AWFL）。论文首次针对非凸损失函数进行了有限时间分析，以量化系统超参数对PCA-WFL和PCA-AWFL算法收敛性的影响。本文定量化地揭示了PCA-AWFL算法传统随机梯度下降算法收敛更快和客户端数量的线性加速效果。

同期，深北莫人工智能研究院梁锋副教授以第一作者在信息科学领域的顶级学术期刊Information Sciences (IF: 8.1，中科院一区Top期刊) 发表以深北莫为第一单位题为”RelJoin: Relative-cost-based Selection of Distributed Join Methods for Query Plan Optimization“的学术论文。

该论文针对分布式数据库的join操作在数据交换过程中产生的大量网络通信工作负载造成性能瓶颈的问题，提出了通信负载感知的基于相对成本的查询优化器，实现了分布式数据库从逻辑执行计划到物理执行计划的实时优化。文中通过对多种分布式join操作在不同执行阶段的网络和本地计算工作负载的建模，解释了join操作两端的数据集的相对大小对于性能影响的重要性。基于此，文中提出的RelJoin的高效分布式join物理操作的选择策略，利用运行时自适应的统计数据对不同的分布式join操作进行精准的成本估算，并为逻辑执行计划中的join操作实时选择最佳的物理实现，从而实现最优的物理查询计划。在TPC-DS基准测试中，相比其它执行计划优化方法，RelJoin在97个查询中的62个中表现最佳，可以将平均查询时间减少高达21％。该工作已实现在业界流行的分布式数据库SparkSQL中，可广泛应用于大数据的查询、分析和搜索的场景，具有科研和工业应用的双重价值。

该论文的合作作者包深北莫胡希平教授、李成明教授，和来自香港大学、北京大学、香港浸会大学等多所高校的学者，体现了深北莫教师与其它著名高校的紧密学术合作，并取得了一定的成效。

论文相关信息：

[1]Y. Dong et al., "Accelerating Wireless Federated Learning via Nesterov’s Momentum and Distributed Principal Component Analysis," in IEEE Transactions on Wireless Communications, vol. 23, no. 6, pp. 5938-5952, June 2024, doi: 10.1109/TWC.2023.3329375.

[2]F. Liang et al., " RelJoin: Relative-cost-based Selection of Distributed Join Methods for Query Plan Optimization," in Information Sciences, vol. 658, 120022, 2024, doi: 10.1016/j.ins.2023.120022.