我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:六合开奖 > 多分辨率分析 >

极光开发者大会:Video++张奕谈人工智能与消费级视频分析

归档日期:04-19       文本归类:多分辨率分析      文章编辑:爱尚语录

  2018年11月17日,首届极光开发者大会在深圳召开,本次大会由国内领先的移动大数据服务平台——极光大数据举办,近千位互联网公司技术领袖、合作伙伴、开发者齐聚一堂,围绕大数据、人工智能、移动开发等广受关注的热点话题,共同探讨移动开发的下半场,构建健康的开发者生态。

  Video++ AI实验室负责人张奕博士作为人工智能分论坛的重要嘉宾出席本次大会,并发表《人工智能在消费级视频分析中的应用》的主题演讲。

  大家好,我是Video++智能网络科技AI实验室的张奕。今天想给大家分享的是人工智能在消费级视频分析领域中的应用。

  首先给大家解释一下什么是消费级视频。消费级视频主要是跟工业级视频区分来讲的。工业级视频主要是专业人员通过专业设备采集的视频,大家最经常看到的工业级视频就是监控视频。相对而言,消费级视频是我们平时用手机或其他便携式图像采集设备生成和制造的视频。由于制作简单、传播容易,消费级视频的体量是非常大的。如果可以利用人工智能技术在消费级视频中发掘出一些内容,它的商业应用价值可以说是非常大的。

  Video++作为国内最大的深耕于消费级视频领域AI技术的公司,主要专注于消费级视频中AI的技术研发和产业落地。我们主要从事的工作是在消费级视频中识别出相关内容,通过数据结构化,在各个不同维度对消费级视频的内容进行识别,从而在时间、空间位置上对出现的目标进行定位。

  首先介绍一下视频文娱行业的一些基本概况。视频文娱行业主要有两大实体:视频流量平台和视频观众。视频流量平台经过了几轮发展,从有线电视到视频点播平台,再到直播平台和短视频平台,这其中出现了很多风口,但他们都面临一个痛点,就是如何利用视频流量实现变现和盈利;对视频观众来说,他们每天花费大量的时间观看互联网视频,有着与视频进行更好地互动的需求。

  正是基于以上两点需求,Video++希望成为视频文娱产业里的超级服务提供者,既为视频流量平台提供相应的视频变现工具,也给终端客户提供一种视频互动工具。

  截止到目前,Video++已经与国内头部流量平台建立了深度合作,同时积累了大约60%的视频用户。由此,我们获得了大量视频流量数据,并为AI算法提供了必要的支撑。

  在Video++的主要技术构架里,最核心的就是AI算法。通过AI算法,我们可以输出视频中所出现目标的时间、空间等信息,包括它们的类别标签。在AI算法的基础上,我们包了一层VideoOS,也就是视频操作系统。视频操作系统基于底层的AI算法提供数据,从而为上层应用提供接口,继而便可以在这个操作系统上开发出广告、电商等各种不同的应用。

  那么AI是怎么服务于视频内容识别的呢?我们首先从数据开始,这里主要涉及视觉数据。视觉数据主要有几类:最基础的是图像,其次还有视频,视频又分为工业级视频和消费级视频。Video++主要专注于消费级视频领域。

  消费级视频的第一个特点是数据规模大。据思科统计,截止到2015年,互联网传输的数据中有70%为视频数据,到2020年,这个比例将达到80%。而相比于专业级视频,消费级视频由于制作简单、传输容易,体量相比专业级视频来说是占据绝对优势的;消费级视频的第二个特点是类别来源多样。广义的消费级视频包括像电影、电视剧、综艺、直播、短时频、广告等等;消费级视频的第三个特点是场景非常复杂,这是跟第二个特点是相辅相成的。消费级视频中经常出现一些复杂场景,如镜头切换和缩放、特效植入、光照变化、模糊、遮挡、旋转等。这些因素都为消费级视频的内容识别提出了更高的要求。

  消费级视频的这些特点对系统提出了几个要求:一、处理速度快;二、准确率高。

  根据消费级视频的特点,我们设计了一个消费级视频内容识别的总体框架,主要分为五个步骤:第一个为视频输入层,第二个为视频处理层,第三个为内容提取层,第四个为语义融合层,第五个为数据输出层。其中,内容提取层是最核心的识别步骤。

  最终,我们会输出一个结构化识别结果数据,它主要包括视频基本信息和目标轨迹列表。目标轨迹列表又分为起始帧号、轨迹长度等时间标签,目标坐标列表等空间标签,目标类别标签等内容标签以及识别结果置信度。

  我们目前可以识别人脸、场景、地标、物体、logo、情绪、动作、声音等多维度内容。作为补充,我们还做了视频内容的检索。

  在人脸识别的算法结构里,输入视频之后,首先要做视频的预处理,也就是镜头分割。完成镜头分割之后再进行内容提取,对于人脸识别来说,内容提取主要是人脸检测框的获取和人脸ID的识别。人脸检测框的获取又分为人脸检测和人脸跟踪。为了兼顾准确率和速度,我们一开始要对人脸在全局范围内做一个检测,检测完之后再进行跟踪。跟踪时,我们会在跟踪框周围小区域里做一个局部检测,从而对人脸检测进行校正。之后是人脸对齐和质量评估。质量评估在视频识别当中是非常重要的,因为视频中有很多冗余数据会干扰结果。在质量评估之后,我们对质量比较好的采样进行提取和特征比对。比对完之后,所有特征会生成一个识别label,这个label就属于某一个人。在整个采样序列上,每一帧都会有一个识别结果,为了将这个识别结果融合,我们创立了一个融合机制。

  在场景识别的算法结构里,也需要对输入视频进行镜头的分割采样。跟人脸识别不同的是,它不需要做全序列的采样,可能只做一个时间间隔的采样。在场景识别中,需要在前期对视频做初分类,比如是古装场景还是现代场景。做完预处理之后,进入到卷积神经网络阶段。卷积神经网络通过对不同的数据集进行预训练,得到不同的特征表述,最后把这些特征进行融合降维处理。得到最终的特征表示之后,我们会对不同场景进行分类处理:比如高频场景、次级场景和新增场景分别有不同的处理方法。最后,我们会对识别结果进行融合。

  在物体和logo的算法结构里,需要多尺度对特征进行提取,然后根据特征变化进行采样,最后对特征进行融合。在这个算法里,要加入几个新的东西,比如要识别物体轨迹,肯定要对它进行跟踪;而关注的物体类别,也需要进行结果优化。

  在地标识别的算法结构里,主要分为三步:一是通过基础网络对输入图片进行一个特征图提取,可以通过ROI Pooling, PCA白化等方式得到高维的特征描述,后续还可以用kNN, MR等方式对特征描述进行后处理。此外,我们还可以通过数据增强的方式,对得到的特征进行增强。我们自主研发的算法主要做了以下优化:首先是对基础网络进行多层的特征提取并且融合;除此之外,我们还提取了一个多分辨率、多尺度的一个特征,可以在不同的特征通道上进行加权。

  下面介绍一下视频检索,也就是以图搜视频的流程。首先,我们通过视频下载、数据库存储、特征提取,特征排序等生成一个离线的特征表示数据库。当用户的需求过来之后,我们对用户输入的图片视频进行特征提取、比对排序和结构展示,这是一个标准的检索流程。

  在算法结构方面,用户输入之后,我们经过神经卷积网络和索引得到初检索的结果,再通过细检索进行排序查询,最后输出镜头信息。另外,我们也可以通过剧目和视频等信息进行子部检索,减少搜索的任务压力,同时提高算法准确率。

  除了算法之外,我们还进行了一些工程化。在工程化过程中,我们主要解决了几个问题:首先是对算法进行并行化,加速其运行;其次是应对高并发状况,解决分布式系统和多任务调度的问题;之后是资源调度,对算法进行分割和 CPU+GPU配比;最后是高优先级任务处理策略。

  下面介绍一下视频结构化的整体解决工具——灵眸系统。这个灵眸系统主要有几个功能:接收用户上传的视频、对上传的视频进行分析、实时展示分析结果。除此之外,灵眸系统的另一大功能是样本管理。我们首先进行了原始样本收集,之后用原始样本进行训练,得到初始模型并上线。上线后,我们可以利用人工对错误的输出进行审核、标注,从而用于改进这个模型。

  灵眸系统的一个主要应用场景是AI情景营销平台(ASMP)。它主要用于帮助广告商在对流量平台上进行广告投放。AI情景营销平台不仅支持低层的语音信息,还可以支持一些高层领域,如情景。一个情景当中往往有很多的语义元素,如场景、物体、人脸等等,不同的低层语义可以组合出很多的高层情景。广告商所关注的是对应商品在对应视频中出现的情景,而灵眸系统可以帮助它自动寻找视频中跟对应商品对应的情景,去做自动化投放。

  另一个应用场景是AI内容审核平台(ACAP)。内容审核主要分为几个方面:智能监黄、智能鉴暴、政治敏感人物识别和涉毒涉政明星。目前,视频中敏感因素的识别主要是通过人工来做的,需要消耗很大人力。因此,对于视频平台来说,都有利用AI技术替代一部分人力做内容审核的需求。虽然我们现有的AI识别技术还不能完全取代人工,但假定我们的AI识别技术可以达到90%,至少就可以替换大部分人类的工作。

  最后我想强调一下数据对AI的重要性。数据是AI的生命,可以说,没有数据就没有AI,任何的AI算法都是建立在数据之上的。

  极光(纳斯达克股票代码:JG)成立于2011年,是中国领先的移动大数据服务平台。极光专注于为移动应用开发者提供稳定高效的消息推送、即时通讯、统计分析、社会化组件和短信等开发者服务。截止到2018年9月份,极光已经为36.9万移动开发者和99.1万款移动应用提供服务,其开发工具包(SDK)安装量累计近174亿,月度独立活跃设备近10.3亿部。基于海量数据和洞察积累,极光已将业务拓展至大数据服务领域,包括精准营销(极光效果通)、金融风控、市场洞察以及商业地理服务(极光iZone)。极光将继续借助人工智能与机器学习为移动大数据赋能,致力于为社会和各行各业提高运营效率,优化决策制定。

  这是在霍山县太阳乡拍摄的大别山旅游扶贫快速通道(4月18日无人机拍摄)。大别山旅游扶贫快速通道位于安徽省六安市境内,全长259公里,连接霍山县、金寨县15个乡镇,将沿线多个旅游景区连接起来,推动了大别山区乡村旅游的发展,成为山区贫困群众的脱贫致富路。

  拜加登城堡位于比利时首都布鲁塞尔西郊,始建于12世纪。这是4月6日在比利时布鲁塞尔西郊的拜加登城堡拍摄的景色。

  4月18日,在法国巴黎,人们为巴黎圣母院献上与法国国旗同色的红白蓝鲜花。”截至17日中午,法国各界为重建和修复巴黎圣母院承诺的捐献金额已超过8.25亿欧元。”截至17日中午,法国各界为重建和修复巴黎圣母院承诺的捐献金额已超过8.25亿欧元。

  利用厂区铁轨和绿皮火车改造的火车酒店(4月18日摄)。2013年以来,浙江省建德市重新规划破产闲置的横山钢铁厂厂区,将其纳入全国特色小镇——建德航空小镇中,着力推动航空休闲旅游发展,目前已完成核心建筑改造9.2万平方米,建成数字影院、咖啡吧、主题酒店等设施。

  4月18日,模特在2019西安国际时尚周开幕式上进行服装展示。为期6天的时尚周将举行“西安时尚论坛”“时尚品牌发布会”“西安时尚潮流音乐节”等活动,为古城西安打造一场异彩纷呈的文化盛宴。

  4月18日,在印度孟买,印度捷特航空公司的飞机停在孟买贾特拉帕蒂·希瓦吉国际机场的停机坪上。由于未能按计划获得过渡资金,债务缠身的印度捷特航空公司17日晚宣布,在飞完当天最后一趟航班后,其国内外航班将全面停飞。

  4月18日,中方专家在观摩联合泥石流拦阻坝模型。中国和哈萨克斯坦霍尔果斯河阿拉马力(楚库尔布拉克)联合泥石流拦阻坝开工仪式18日在工程坝址哈方一侧举行。联合泥石流拦阻坝工程位于中哈霍尔果斯河友谊联合引水枢纽工程上游约5公里处。

  4月18日,游客在北海银滩游玩。近日,随着气温回升,众多游客来到广西北海银滩旅游,享受碧海蓝天带来的乐趣。近日,随着气温回升,众多游客来到广西北海银滩旅游,享受碧海蓝天带来的乐趣。

  4月18日,在塞浦路斯帕福斯,游客参观帕福斯城堡。当日是联合国教科文组织批准设立的国际古迹遗址日,塞浦路斯南部的多处遗址向公众免费开放。当日是联合国教科文组织批准设立的国际古迹遗址日,塞浦路斯南部的多处遗址向公众免费开放。

  4月18日,北京朝阳门的“一带一路”主题花坛吸引市民注意。中新社记者 贾天勇 摄4月18日晚,北京奥林匹克公园内的“丝路金桥”主题景观点亮灯光,附属的花坛景观正在紧张施工。

  4月18日无人机拍摄的阳关烽燧遗址和盛开的桃花。近日,位于甘肃省敦煌市阳关烽燧遗址附近的几株桃树花开正艳,给荒凉的戈壁大漠增添了一抹亮色。近日,位于甘肃省敦煌市阳关烽燧遗址附近的几株桃树花开正艳,给荒凉的戈壁大漠增添了一抹亮色。

  杜伊斯堡坐落于德国鲁尔区莱茵河畔。4月16日,在德国杜伊斯堡,渝新欧(重庆)物流有限公司的工作人员在其物流仓库外合影(无人机拍摄)。新华社记者 逯阳 摄这是4月16日在德国杜伊斯堡拍摄的渝新欧(重庆)物流有限公司的物流仓库。

  4月18日,台江县苗族群众参加盛装游演活动。节日期间将举行苗族盛装游演、千人长桌宴、千人游方体验、苗族手工创意大赛等一系列活动。节日期间将举行苗族盛装游演、千人长桌宴、千人游方体验、苗族手工创意大赛等一系列活动。

  4月17日,在贵州省黔东南苗族侗族自治州剑河县城北安置点“社区家门就业站”的食用菌削菇车间,38岁的易地扶贫安置户、苗族妇女宋四妹(右)在为食用菌产业园削菇。 新华社记者 杨楹 摄4月17日无人机拍摄的贵州省黔东南苗族侗族自治州剑河县城北安置点。

  4月17日,在印尼雅加达一处投票站,印尼选举委员会的工作人员开始统计选票。印度尼西亚17日举行总统选举投票,印尼1.9亿注册选民前往全国80多万个投票站投票,选出新一届总统和副总统。

  4月17日,在日本东京,中国银行董事长陈四清在开业仪式上致辞。中国银行日本人民币业务清算行17日在东京开业,标志着日本人民币清算业务的正式启动。新华社记者 马曹冉 摄4月17日,在日本东京,日本前首相福田康夫在开业仪式上致辞。

  这是阿兰·加西亚在秘鲁首都利马一处投票站投票的资料照片(2016年4月10日摄)。涉嫌贪腐的秘鲁前总统阿兰·加西亚4月17日晨在得知秘鲁司法当局要对其执行拘捕时开枪自杀,目前已被送往医院救治。

  以“丝·尚”为主题的中国丝绸服装展16日晚在俄罗斯莫斯科中国文化中心开幕,参展的30件丝绸服装色彩华丽、工艺精细,让到场参观的当地民众深为叹服。 新华社发(叶甫盖尼·西尼岑摄)4月16日,在俄罗斯首都莫斯科,观众参观中国丝绸服装展。

  4月17日,消防人员在棋盘山火灾现场救火。记者从沈阳市政府新闻办了解到,4月17日13时50分左右,沈阳市郊东部的棋盘山附近突发山火。记者从沈阳市政府新闻办了解到,4月17日13时50分左右,沈阳市郊东部的棋盘山附近突发山火。

  1984年,21岁的韩明道加入瓦山林场护林队,成为一名护林员。在一次扑灭森林火灾的行动中,韩明道失去左臂。他从1999年开始成为一名瞭望员,独自驻扎在山顶,这一干就是7000多个日夜。20年来,韩明道用仅有的一只右臂,“撑起”6万亩防火责任区。他每年平均监测到100多起各类森林用火,成功避免了几十次可能发生的森林火灾。

本文链接:http://ecolivinginc.net/duofenbianlvfenxi/137.html