首页 > 新闻中心 > 行业新闻

腾讯音视频通讯技术如何运用到直播中

作者:江南体育电子游戏 来源:江南体育app下载 时间:2024-01-31 00:39:51

  通线年后的今天,QQ的月活跃用户已超越8亿,一个更惊人的数字是,最多的时候,QQ用户每天的音视频通线亿分钟。

  在QQ发展过程中,其背后的音视频通信技术也经历了对外采购,到成立QQ,自研引擎,再发展壮大为腾讯音视频实验室,开放自研的SPEAR音视频引擎的过程。现在,随着全民直播时代的到来,腾讯又研发并开放了一体化的直播解决方案,并将腾讯直播SDK应用于斗鱼、虎牙、快手等顶级的直播平台。这背后,技术、经验上的慢慢的提升和积累,也有腾讯对中国复杂的网络状况的智能处理。

  日前,腾讯音视频实验室负责人刘晓宇接受了雷锋网(公众号:雷锋网)的采访,聊了聊这样一些问题,并向我们介绍了精细化运营及5G技术来临之际,直播会有哪些更新鲜的玩法。遥远的斯坦福校园内,一位机器学习教授上课的场景被高清摄像机捕捉的画面,通过编码器压缩,以分段发送的方式,利用互联网传输到你的电脑上,再由播放器进行实时解压缩处理,你就能学习到最前沿的课程。

  流媒体技术给互联网带来了无限的活力,而当场景变成音视频通讯时,背后的技术就不止复杂了一倍。除了双向的反馈,实时通讯对延迟的要求也变得很高;另外,回声处理也成了新的问题,“我听到你的声音出来了,我也要说话,这样的一个过程中麦克风是一直开着的,假如不处理回声,你的声音会被再次采集进去,播到你那边。”

  在腾讯大厦的腾讯音视频实验室内,刘晓宇向雷锋网做了一个小科普。2005年,他加入腾讯,负责QQ应用层的架构设计,“除了底层的公共组件,好友面板、消息窗口,包括空间、音乐、邮箱等插件化功能,能够理解为你能看到的QQ界面展示出的东西,都是我们开发的。”

  2011年,腾讯正式成立了音视频中心,刘晓宇被任命为负责人。尽管QQ在1999年就有了音视频通话功能,但很长一段时间,腾讯都依靠腾讯研究院和第三方技术提供商,没有独立的团队负责音视频通讯。

  成立音视频中心,是因为腾讯觉得音视频会是未来的一个爆发点,还有一个重要原因,当时采购自GIPS(后被Google收购)的技术方案,是一个“黑盒子”,出现一些明显的异常问题时自己无法找到原因,GIPS又不够重视,这坚定了腾讯技术自研的决心。

  刘晓宇介绍,在音视频通讯中,网络问题一直是一个技术难点。检测网络带宽,以平衡视频质量和传输速度的带宽探测,处理丢包、抖动,都需要很深的技术积累。另外,随着移动网络的发展,设备碎片化越来越严重,适配不同的设备又成了巨大的问题,“我们大家常常要适配系统的问题,有时会出现很戏剧化的事情。”有一个版本的QQ,腾讯特意为适配不好的小米手机做了优化,但版本还没发布,小米就发现了问题,自己率先做了优化。互相适应,结果又有问题了。

  音视频中心的发展壮大,推动了QQ音视频通话功能的不断革新。现在,QQ用户每天的音视频通线月,腾讯正式开放自研的SPEAR音视频引擎,将包括流控策略控制云端化、通道智能化/多通道备份机制、分布式混音和云混音、跨平台通信协议设计、提供跨平台客户端引擎SDK、预连接设计、双人/多人通话平滑切换、通话客观质量评测体系等特性带给更多的开发者。

  2016年,腾讯音视频实验室正式成立,最初成立时只有7个人的音视频中心,如今已有80多人。除了继续保障QQ的音视频通话,将它的能力开放出来,在企业级市场上有所作为,也成了音视频实验室的新任务。2015年,随着4G智能手机的普及,移动直播开始成为一个新的热点。其实在技术上,直播并不是一个新兴的东西,早在2008年前后,六间房就开始尝试使用Flash的技术进行网页直播。

  从网页直播到移动直播,用户的需求没变,但使用的网络环境、设备、直播环境都在发生明显的变化。例如,移动直播要解决Wi-Fi、移动网络的切换问题;而在不同的空间里,保证音质、视频流畅以及光线平衡,又对技术提出了新的挑战。刘晓宇向雷锋网举了个例子,最早做音视频通讯时,腾讯向GIPS采购的音视频通话方案经常会遇到投诉,其中的一个重要原因是中国复杂的网络环境,比如南北通问题、用户糟糕的网络连接等。

  在应对移动直播时,类似的问题同样存在,这就需要移动技术提供商针对不一样的环境来优化,其中弱网专项优化、抢带宽的能力、手机性能优化、机型适配、后台转码能力等,都会直接影响直播间稳定、清晰度,连麦的实时性和沟通的顺畅。

  另外,据刘晓宇介绍,因为用户观看直播的微妙习惯,技术策略上也要做相应的调整。例如,在以前的视频通话中,用户的主要需求是低延时,所以当网络不好时,系统会自动降低视频清晰度。但是在直播中则完全相反,“宁可卡一点,延迟稍微大一点,也不要把分辨率降下来”;在研究中,刘晓宇的团队还发现,用户在观看直播时非常随性,会习惯性地滑到下一个直播,这就需要系统提前缓存画面,让用户快速切换直播。

  现在,腾讯已经有了一整套的直播技术解决方案,只需要几行代码,就可以让企业接入腾讯直播模块,拥有腾讯的直播技术支持。

  这套音视频直播AVL(Audio Video Live)方案,依托腾讯的SPEAR音视频通信引擎,通过腾讯直播SDK可打造跨平台一对多、多对多的超清酷炫直播场景。除了可提供基础的高清、秒开、高音质、转码、鉴黄能力外,还具备连麦、实时录制、音频直播、美颜、水印、混音、IM等特色能力。同时兼具旁路直播、屏幕分享、人脸识别、滤镜、挂件等“冷僻”能力,全部能力达到17项之多,是目前能力覆盖最全的主流直播SDK。其流畅度、音质、低延迟、下行抗丢包4项指标位居行业第一,别的核心数据也接近行业最佳。

  音视频直播AVL 的一个重要应用是直播中的连麦,现在,斗鱼、虎牙和快手,都使用了这个服务。斗鱼直播产品规划经理汪楚峰也接受了雷锋网的采访,据他介绍,成立于2014年的斗鱼,现在每天开播的直播间数量超越4万,每天的活跃用户超过2000万。

  2015年,斗鱼开始使用腾讯提供的直播连麦功能,除了低延迟,腾讯还提供了虚拟装扮、主播变声等特色功能,另外在音乐场景中,腾讯对麦克风收音和音质提高上也有深入的优化。今年初的春节期间QQ视频通话里做了一个视频表情彩蛋的玩法,说出“么么哒”屏幕上会出现红唇表情,说“新年快乐”、“恭喜发财”也会有对应的惊喜表情。这只是语音识别在视频通话上的初步应用。直播平台的竞争已然浮现“大鱼吃小鱼”的态势,在刘晓宇看来,技术将成为直播平台差异化的一个突破点。

  今年,NOW直播慢慢的开始测试绿幕直播,当用户在直播过程中,环境背景为指定绿色时,可替换任意手机相册内的照片或视频。这种应用在电影制作中的技术,可以让直播有更创新的玩法,有分析的人表示,它能应用于二次元主题直播。接下来腾讯也会将该能力集成到直播SDK中去,开放给更多直播平台使用。

  现在的直播,秀场和游戏直播占了绝大多数,但同时,也慢慢的出现慢慢的变多的垂直场景,如金融、教育类直播,在这类场景中,除了主播和观众,还涉及到屏幕,现在,腾讯的直播技术已能解决三方同步、满足屏幕解码和CPU控制的问题。

  另外,VR直播曾经被高度看好,刘晓宇告诉雷锋网,目前VR直播的技术障碍主要在于,要保证多人同时观看的沉浸式体验,直播源就要传输360度的全量数据,而这个数据量是非常庞大的;另外,在采集全景视频时,画面叠加部分的拼接、分割,镜头的矫正都还有非常长一段路要走。

  不过,科技行业永远是进步最快的领域,根据工信部和三大运营商的规划,2020年,中国5G将正式商用,刘晓宇说,“和4G相比,5G会是一种质变,我们会时刻关注这里的技术发展。”

  声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。举报投诉

  标准– 卫星传输– 有线传输(浙大)– 地面传输(清华、上交大)?? 信源编解码

  全流程置于 GPU 上进行加速, 前后处理部分效率提升 16% - 38%。 客户简介

  矩阵(Audio-Video Matrix)是一种设备或系统,用于管理和控制音频和

  的值,以及给我们大家带来更大的收益是要求我们去探索和实践的。LiveVideoStackCon 2022北京站邀请到田建华

  PaaS 平台与 NVIDIA 团队合作,利用 NVIDIA TensorRT 加速

  增强 AI 模型的推理效率;借助 NVIDIA Maxine Video Effects SDK 的 AI 绿幕功能实现高性能高精度的人像分割,提升云导播台服务的用户体验。

  产品多媒体设备特别大程度丰富了我们的日常生活,给我们呈现出不一样的休闲娱乐方式。其产品的安全性能也是和我们紧密关联,受到各国政府的严格审核和管控。产品范围:电视、电视接收机

  的进步,各行各业都发生了翻天覆地的变化,视听节目制作领域也不例外,IP化

  测试是一个很重要的问题。 华为HarmonyOS生态整机测试能力中心

  的最新探索与应用实践,覆盖教育、娱乐、医疗、安防、交通、制造、旅游、电商、金融、社交

  应用的推动下,不少云厂商专门推出针对性的云服务解决方案。过去几年,随着

  从低延时到超低延时实时通信快速迭代,越来越多应用与服务迁移至线上,越来越真实无损地还原线验,新的互动方式和场景不断涌现,从高

  从曾经一个比较小的子系统,越来越让人瞩目,而市场的需求与人才的缺乏也慢慢变得成为一个亟需解决的矛盾。

  产业可以再一次进行选择的信源编码标准有五个:MPEG-2、MPEG-4、MPEG-4 AVC(简称AVC,也称JVT、H.264)、HEVC、AVS。

  方式是非常敏锐的,所能容纳的程度也远超于我们的预计。 然而目前大部分网络交流工具都还是以文字为主,语

  ,云服务器降低了硬件接入的门槛,在搭建云服务器过程中有很多问题提前了解能够尽可能的防止踩雷,

  会突然爆发,所以5G的来临带来的便利 肯定不止是网速变快这一点。那么,常见短

  将占移动端总流量的70%,未来 10 年5G将给全球传媒和娱乐产业带来1. 3 万亿美元的新营收机会。

  从去年到今年,以音遇、吱呀语音、Soul为代表的声音社交应用屡屡登上APP社交排行榜前列。

  从去年到今年,以音遇、吱呀语音、Soul为代表的声音社交应用屡屡登上APP社交排行榜前列。

  服务VV SDK,以SDK开发包形式提供给企业客户使用,包括网页、Android、iOS、Windows等多种终端的

  SDK包,以及SDK服务器一键安装包,适合在企业内网、内外网提供大规模并发访问和弹性扩展

  提供给人的信息很多,但其数据量很大,不利于传输和存储,从而使其应用受到不少限制。为解决

  的应用愈来愈普遍,如何保障实时互动过程流畅不卡顿、如何消除回声成为关键。即构科技联合发起人蒋宁波在LiveVideoStack Meet上以语

  流图像模糊,音频丢帧等也受到慢慢的变多的关注。本文提供了一种检测方式:会前

  性能,同时又保持了100%向后兼容传统以太网,是极具发展的潜在能力的下一代网络

  RCA接口。是专为视、音频信号的显示切换而设计的高性能智能矩阵开关设备,用于将各路视音频输

  矩阵的作用在现代多媒体会议室,为满足不同演示场合的需求,通常会具备多种不

  领域是一个里程碑式的标准,它不单单是数学与产业最完美的结合,更重要的是引

  的选择呈现了三足鼎立的状况,即MPEG4ASP、H.264和AVS。其中MPEG4和H.264都是国际相关组织