“腾讯优刷新人体姿态估计国际权威榜单，关联论文被ECCV2020收录”

近日，腾讯优图实验室在人体2d姿态估计任务上取得创新技术突破，提出了基于语义对抗的数据增强算法Adversarial Semantic Data Augmentation ( ASDA )，更新了人体姿态估计国际权威排名。 相关论文( Adversarialsemanticdataaugmentationforhumanposeestimation )包括:计算机视觉峰会EUROPEANCONFerENCEONCEOM Putervision ( ECCV )

作为计算机视觉行业的基础技术之一，人体姿态可以理解为对人体姿态(头、左手、右脚等关键点)的位置估计，其中2d人体姿态估计在各种视觉应用中发挥着重要的意义。 然而，虽然该技术研究历史悠久，相关创新做法层出不穷，但在许多场合，其效果仍不尽如人意。

如图1所示，在对称性强的人体、遮挡激烈的情况下以及多人的场景中，2d姿势估计的表现一般较差。 解决这些问题的一个有效方法是数据集的数据扩展，但现有的数据扩展算法(如图像反转、旋转和图像饱和度更改)是无法解决如图所示的困难示例的全局数据扩展。

图1 .二维人体姿态估计的挑战性示例

为了解决上述难点，优图提出了基于语义对抗的数据增强算法Adversarial Semantic Data Augmentation ( ASDA )。 该算法的整体pipeline如图2所示，输入图像经过生成互联网，进行语义粒度上的数据增强的扩展图像作为姿态估计互联网的输入进行姿态估计，得到二维人体姿态。 互联网将生成扩展样本，提高姿势估计互联网的预测难度，姿势估计互联网将尝试预测扩展的图像。

图2. asda算法的流程图

与其他算法相比，腾讯优图的算法有三个创新。 一种创新是提出了基于局部变换的数据增强方法，比较有效地填补了全局数据增强的缺陷。 其二，设计了基于人类语义构件的数据增强算法( sda，semantic data augmentation )，通过语义粒度下的图像置换和转换，有效地模拟了以往互联网无法解决的课题实例。

第三个创新是提出一种asda算法，在mpii、coco、lsp等主要二维人体姿态估计benchmark上超过state-of-the-art方法，达到第一位水平，将人体2d姿态估计的精度推进到全新的水平 asda作为常见的数据扩展方法，可以方便地用于二维人体姿态估计的不同数据集和不同的互联网结构。

实践结果表明，优图的算法在coco、mpii、lsp三种姿态估计的benchmark上达到了最高水平，图4-7在这三种权威数据集上显示了优图的做法与其他sota算法的正确性差异。 为了更容易展示asda算法的效果，从在coco测试集中可视化的图3可以看出，优图的算法能够有效处理图1的挑战性示例。

图3 .显示3. asda的可视化结果

图4. asda的数值指标表示-lsp

图5. asda的数值指标表示-mpii

图6 .本文的做法与mpii官方排名结果相对应

图7. asda的数值指标表示-coco

作为腾讯顶级人工智能实验室之一，优图专注于计算机视觉，专注于人脸识别、图像识别、ocr、机器学习、数据挖掘等行业开展技术开发和领域落地，在推进产业数字化的过程中，走基础研究、产业落地两步。

未来，腾讯优图也将继续深耕于人体2d姿态估计技术，继续探索越来越多的应用场景和应用空之间，让更多的顾客享受科技带来的红利。

本文：《“腾讯优刷新人体姿态估计国际权威榜单，关联论文被ECCV2020收录”》