加拿大快乐8最快开奖
当前位置:首页 > 开发教程 > 手机开发 >

直播平台开发中美颜、滤镜的技术要求

时间:2019-09-24 09:32 来源: 作者:山东布谷科技 浏览: 收藏 挑错 推荐 打印

直播平台开发完成采集之后得到原始数据,为了增强一些现场效果或者加上一些额外的效果,我们一般会在将其编码压缩前进行处理,比如打上时间戳或者公司 Logo 的水印,祛斑美颜和声音混淆等处理。
直播平台开发完成采集之后得到原始数据,为了增强一些现场效果或者加上一些额外的效果,我们一般会在将其编码压缩前进行处理,比如打上时间戳或者公司 Logo 的水印,祛斑美颜和声音混淆等处理。在主播和观众连麦场景中,主播需要和某个或者多个观众进行对话,并将对话结果实时分享给其他所有观众,连麦的处理也有部分工作在推流端完成。
处理环节中分为音频和视频处理,音频处理中具体包含混音、降噪和声音特效等处理,视频处理中包含美颜、水印、以及各种自定义滤镜等处理。
美颜是直播产品中最常见的功能之一。美颜的主要原理是通过「磨皮+美白」来达到整体美颜的效果。磨皮的技术术语是「去噪」,?#24067;?#23545;图像中的噪点进行去除或者模糊化处理,常见的去噪算法有均?#30340;?#31946;、高斯模糊和中值滤波等。?#27604;唬?由于脸部的每个部位不尽相同,?#25104;?#30340;雀斑可能呈现出眼睛黑点的样子,对整张图像进行「去噪」处理的时候不需要将眼睛也去掉,因此这个环节中?#37319;?#21450;到人脸和皮肤检测技术。
视频水印包括播?#29260;?#27700;印和视?#30340;?#23884;水印两种方式可供选择,对于播?#29260;?#27700;印来说,如果没有有效的防盗措施,对于没有播放鉴权的推流,客户端拿到直播流之后可以在任何一个不带水印的播?#29260;?#37324;面播放,因此也就失去了视频保护的能力。综合考虑云端录制对于水印的需求,一般来说会选择「视?#30340;?#23884;水印」的方式打水印。
连麦是互动直播中常见的需求。主播和部分观众之间可以进行实时互动,然后将互动结果实时播放给其他观众观看。
基于以上业务需求,我们很容易想到基于单向直播原理,在主播端和连麦观众端进行双向推流和双向播流的方式互动,然后在服务端将两路推流合成一路推送给其他观众。但 RTMP 带来的延迟决定了这种方式无法做到?#27809;Э山?#21463;的互动直播。
实际上,互动直播的主要技术难点在于:
低延迟互动:保证主播和互动观众之间能够实时互动,两者之间就像电话沟通,因此必须保证两者能在秒级以内听到对方的声音,看到对方的视频;
音画同步:互动直播中对音画同步的需求和单向直播中类似,只不过互动直播中的延迟要求更高,必须保证在音视?#24471;?#32423;传输情况下的秒级同步;
音视频实时合成:其他观众需要实时观看到对话结果,因此需要在客户端或者服务端将画面和声音实时合成,然后以低成本高?#20998;?#30340;方式传输观众端。
在视频和电话会议领域,目前比较成熟的方案是使用思科或者 WebEx 的方案,但这些商用的方案一不开源,二比较封闭,三成本比较高。对于互动人数比较少的互动直播,目前市场上比较成熟的方案是使?#27809;?#20110; WebRTC 的实时通讯方案。
同时,为了保证合成后的音视频实时传输到其他观众端,可以采用经过改造的 UDP 协议传输:
 
通过 UDP 降低传输延迟;
在 UDP 之上进行传输控制,保证?#27809;?#20114;动体验 QoS。
 
 
直播平台开发中美颜、滤镜的技术要求转载<\/script>');
下一篇:没有了

手机开发阅读排行

最新文章

加拿大快乐8最快开奖
体育即时比分 半全场 传世挂机能赚钱吗 2007上证指数最高 贵州十一选五开奖结果爱彩乐 真钱炸金花下载 浙江11选5 java手机捕鱼达人 连码高手论坛 大神棋牌二维码图片