北京功夫2024年1月26日,第十二期Z6官网-TNSE结合卓越讲座系列活动在线上成功进行。这次,我们有幸约请到英属哥伦比亚大学的Vincent Wong教授介绍个性化联国进建及其在360°视频流媒体中的利用,并分享他在这个领域内的成就与有趣发现。
本次讲座由 Z6官网 副院长兼群体智能中心主任、香港中文大学(丽江)协理副校长、校长讲座教授、IEEE TNSE主编黄建伟教授担任执行主席和主持人。
与传统的二维(2D)视频相比,360°视频流媒体可以为用户提供身临其境的旁观履历,同时也对带宽提出了更高的要求。然而,在职何时刻,360°视频的旁观者都只能从一个方历来进行感知,其中旁观者在职何给按功夫旁观的视频区域称为视口;诖,Vincent Wong教授及其合作者思考个性化联国进建在360°视频流媒体中的利用,聚焦于钻研关键性问题:若何在思考幼我旁观行为(个性化)的情况下有效利用无线网络带宽,为用户提供更好的履历。
Vincent Wong教授首先探求了个性化联国进建的数据异构性问题。为了缓解数据异构性,现有的个性化联国进建算法通;崾褂醚诼。Vincent Wong教授及其合作者首先证明随机掩码的使用可能会导致联国进建训练模型出现误差。为此,钻研提出了一种拥有优化掩码向量的个性化联国进建算法——PerFedMask,从而援手各个异构设备在训练前凭据其推算能力获取优化的掩码向量,并在训练后进行微调(Fine-tuning)。与现有算法相比,PerFedMask算法在微调后展示了更好的测试精度和更快的收敛速度。
针对360°视频流媒体带宽需要的挑战,Vincent Wong教授及其合作者思考在无线系统中使用太赫兹(THz)频段以满足高数据传输速度。为解决系统中的自阻塞(self-blockage),钻研探求了若何通过多个多天线接入点(APs)实现太赫兹360°视频流。具体而言,Vincent Wong教授及其合作者提出了一种基于内容的视口预测框架,使用个性化联国进建算法训练用户的头部活动预测模型。借助正确的视口预测,确定保障用户履历(QoE)的视频块,并在接入点为这些块设定异步比特率,进行波束成形设计。为解决动态太赫兹链路衔接的异步决策问题,Vincent Wong教授将比特率选择和波束成形的优化问题建模为宏观作为分散部门可观察马尔可夫决策过程(MacDec-POMDP),并进一步提出两种基于多智能体演员-评论家(actor-critic)步骤的深度强化进建(DRL)算法,以及给出了一个分层进建框架来训练该网络。与基准算法相比,该步骤能够在360°视频流媒体利用中提供更高的用户履历。
Vincent Wong教授的杰出分享发人沉思,在参加者与两位教授的积极会商中,涌现了很多有趣的问题。例如,差距化视频块考量,异步聚合联国进建等。
*出格鸣谢李想对本文的贡献
