机器心形原创
作者：张莹
在今年的腾讯广告算法大赛中，腾讯广告给全球的算法带来了难题，冠军奖励最高10万美元，比赛问题也入选了顶级挑战赛。 什么比赛的问题这么含金量高？ 谁获得了冠军大奖？ 昨天，决赛的结果出来了……
进入全民视频时代以来，广告业的需求也在日新月异地变化。
国内移动互联网大数据公司QuestMobile最新发布的《2020 年中国互联网广告市场洞察》报告显示，从广告形式来看，视频类信息流增长更快，有成为主流广告形式的趋势。
照片来源： https://MP.weixin.QQ.com/s/ikroomoikkxl 6沉稳的短鞋1b9UHRQ
同时，用户对广告的创意要求也越来越高。 大量的视频广告在播出前三秒被60%的观众吸引，新广告发布后不到一周就没人去看了。
为了适应这种消费习惯的变化和创造性需求的高涨，视频广告制作者需要在短时间内大量制作有吸引力的广告。 这意味着广告业的生产模式需要变革。
和其他许多行业一样，这种变革可以通过释放人才来完成。
具体到视频广告，AI算法能做什么呢？
另一方面，AI可以承担批量生产各种原材料等具有再现性的工作。 另一方面，有些无重复性的创意工作可以交给AI，例如让他们自己理解广告内容的亮点，然后根据这些亮点生成新广告等。
但是，要做好这些，首先需要让AI吃视频广告。 也就是说，有必要理解常说的动画的深度。
这件事腾讯广告已经做了，我知道它的价值和挑战。 腾讯多媒体AI中心的刘威导演说：“视频的深度难以理解。 “如果图像识别被开发到中年水平的话，我认为视频还是婴儿水平。 视频中的知识域太大了。 如果添加一些小的东西，在特征空间中看到的东西会变得很差，所以算法非常脆弱”。 腾讯广告内部还有很多类似尖端算法的研究。
在挑战这些尖端算法的同时，腾讯广告以多种形式聚集生产、学、研各界，共同推动行业技术发展。 2017年开始的“腾讯广告算法大赛”就是其中之一。
这场比赛一直聚焦于业务最关心的问题，今年的比赛问题更是面临着令人头疼的视频广告的深刻理解，而且是难度较高的“多模态视频广告秒级解析”。
由于课题很多，出题者分为两门课程。 “视频广告秒级语义分析”(课程1 )和“多模态视频广告标签”)课程2 )。
这两条路线在哪里？
首先，我们来谈谈不那么难的课程2。 本课程以视频、音频、文本三种模式为输入，要求选手针对测试视频样本预测视频的表现形式、场景、风格等三维标签。
如上所述，视频本身是个很难理解的问题，这次比赛不仅要求对视频的理解，还要求与音频和文本等模态信息进行整合理解，实现多模态融合。 这项考试法令的选手发出悲鸣。
但是，课程难度更大。 该比赛的问题也以视频、音频、文本三种模式为输入，但要求选手将测试视频作为“幕”的分隔，预测各片段在表现形式、场景、风格等三维中的标签。 “幕”是一个场景，可能包含多个场景，因此也称为“语义超级拍摄”。 这些镜头在意义上是相关的，描绘并传达了高度的概念。 例如，下图的第一个场景(幕布)包含四个场景，都叙述了“打电话”
高级概念。如何将这些镜头归入一个场景、概括出其高级语义信息显然是一个非常综合的问题。
此外，「多模态视频广告秒级解析」这个主题是腾讯广告从真实的业务需求中提炼出来的，在算法领域尚未被提出，也很少有人进行过深入研究，相应的数据、代码、可参考文献都比较少，这也增加了比赛的难度。怪不得有不少选手反馈说，「跑 baseline 都费劲」。
与赛题难度相匹配的是高额奖金池：本届大赛冠军可以拿到 10 万美元的现金奖，总奖金池高达百万级。
为什么这个赛题如此重要？腾讯公司副总裁mmdxs在决赛致辞中提到，「随着5G 技术的逐渐普及，以视频为载体的内容越来越受用户欢迎，如何深度理解视频广告内容，挖掘其潜在价值，无疑成了当下广告行业发展的重点。而细粒度理解视频时序内容，对于广告业务具有积极意义，可以真正帮助广告主降本提效，让广告更有温度。」
今年的比赛吸引了上千家高校和企事业单位的4300余名选手报名。在昨天举行的决赛中，赛道一的冠军由「GZ」战队摘得，他们将视频广告秒级语义解析这个任务分成了 Temporal Segmentation 和 Proposal Tagging 两个子任务来完成，具体方案如下：
赛道一冠军解决方案概览。
赛道二的冠军则由「挥霍的人生」战队摘得，他们使用了基于 stacking 的方案，预测时可以并行提取每个独立部分的特征，模型迭代速度快。
除了现金奖励，通过此次大赛，选手还有机会现场参与 2021 ACM MM Grand Challenge Session（以下简称 ACM 多媒体挑战赛），同更多算法专家做进一步的现场交流。
参加腾讯广告算法大赛还有机会拿到顶会挑战赛门票？没错，因为本届赛事与 ACM Multimedia 实现了强强联合，两道赛题都入选了 ACM 多媒体挑战赛。
ACM Multimedia 是多媒体领域最重要的国际会议，也是中国计算机学会（CCF）认证以及多媒体研究领域评级中唯一的 A 类国际顶级会议。为了促进工业界和学术界的交流，大会设置了 ACM 多媒体挑战赛环节。可以说，这是多媒体领域工业界和学术界交流活动中最有影响力的一个。
那么，这个挑战赛关注什么样的议题呢？ACM 多媒体挑战赛主席zzdmf给出的答案是：工业界未来 5 年到 10 年关心的问题。
眼光放得长远，难度自然不会低，所以大赛也没指望选手通过一场比赛就把问题解决掉。
「（比赛）解决方案不见得在一两年内就能商业化或者产品化，它实际上是对于未来技术的一种探索。」zzdmf补充说。
换句话说，ACM 多媒体挑战赛探讨的问题必须要有前瞻性和实用性，这与腾讯广告算法大赛的两道赛题不谋而合。
同时，赛题入选顶会挑战赛也意味着，今年腾讯广告算法大赛的国际影响力进一步扩大，比赛中诞生的解决方案、代码、数据集等资源将为国际算法圈提供重要参考。
当然，这些资源也将为视频广告创意业务的发展带来新的助力。腾讯广告内部与之相关的就有多尺寸智能裁剪、 模板视频自动剪辑、 视频创意智能混剪等多项视频广告业务。
多尺寸智能裁剪是指利用一种规格的视频生成多种规格的视频，比如输入 16:9，输出 9:16、4:3、1:1 等多种格式。这里面涉及智能关键帧截取、焦点跟随、视频去填充、图像分割、背景融合等多项视频理解任务。
举个例子，在把一个竖版视频切换成横版的时候，AI 要截取画面的一部分来保持满屏铺开，这就需要 AI 识别出画面的焦点是什么（如下图中的一家三口），然后进行焦点跟随。这一功能有多实用？要知道，各个投放平台对视频广告的规格要求是不一样的，一个广告视频可能需要 20 多种规格。在没有 AI 介入的情况下，这无疑是一项低效的重复性工作。
模板视频自动剪辑是指复用之前积累的优秀素材快速剪出新的创意。此时，广告主可能只需要提供若干张商品图，而视频的「黄金前 3 秒」、转场、行动指引等片段都可以从素材库调取。AI 算法可以为这个素材库提供更加精准的标签（比如一个优秀的前 3 秒素材讲了什么内容），从而在再创作时更加精准地匹配新广告需求。到目前为止，腾讯广告已经积累了 10000 多套这样的模板，复用模板每天生产的视频量在 10 万以上。
视频创意智能混剪是指根据输入的一段视频剪出不同时长的版本，同时还要保留视频广告的吸引力、信任力、说服力和行动力。
举个例子，现在有一段 30 秒的产品介绍广告，需要让 AI 把它剪成 15 秒的。首先，AI 要把视频切成若干场景，然后从这些场景中找到那些可以吸引用户观看、增加用户信任、向用户展示产品优惠信息以及驱使用户下单的片段并保留下来。这一过程就是给各个场景进行秒级切分并打上各种标签的过程，也是赛道一考察的主要内容。
这些业务的顺利开展都离不开腾讯广告多年以来积累的多模态 AI 能力，包括文本、图像、语音、视频等多个领域。同时，这些能力的组合也为腾讯广告打造智能审核、智能创作、内容理解等广告业务平台奠定了基础。这些平台覆盖创意制作（投前）、广告推荐（投中）、创意复盘（投后）整个链路，支持文本、图片、视频、落地页等各种广告类型，已经在在游戏、电商、金融、教育、网服等多个行业的广告创作中得到应用。
可以预见的是，随着 AI 落地的深入，未来将有越来越多的 AI 技术应用到广告产品当中。或许哪天吸引你看下去的一个广告就是 AI 生成的呢。