每周一期,纵览音视频技术领域的干货和新闻投稿:contribute@livevideostack.com。
架构
使用 WebRTC 进行开源云游戏
我相信云游戏不仅将很快成为游戏的新一代,而且还将成为计算机科学其他领域的新一代。云游戏是客户端/服务器模型的顶峰。通过将游戏逻辑放在远程服务器上并将图像/音频流传输到客户端,它可以最大化后端控制并最小化前端工作。服务器处理繁重的处理,因此客户端不再受硬件限制。
https://webrtchacks.com/open-source-cloud-gaming-with-webrtc/
通过适用于 WebRTC 的可插入流(Insertable Streams) API 将元数据添加到媒体帧
可插入流的另一个用例。
https://levelup.gitconnected.com/adding-metadata-to-media-frames-via-insertable-streams-api-for-webrtc-47f7a740e457
实时流媒体的最佳实践
本次演讲来自streaming media west,演讲者是videoRX的创建者Robert Reinhardt,演讲的主要内容是如何实际部署一个流媒体系统。
https://mp.weixin.qq.com/s/i0xa4yDnnfhcBsFoQHhdlA
传输网络
降低OTT的峰值带宽
本文是2020年4月17日来自Bitmovin的一篇Tech Talk,主题是降低OTT的峰值带宽,演讲者是来自Akamai的首席架构师Will Law和来自Bitmovin技术产品市场经理Sean McCarthy。
https://mp.weixin.qq.com/s/D_C2583h4pPUArnowJpKAw
Netflix如何通过支持TLS 1.3提供更安全高效的播放体验
这样一个端到端的加密通信系统,对Netflix而言,是为了保护自身网络的数据流,防止截播一类的情况发生。同时,就算有不怀好意的人拿到了数据,也没有办法解读。现在基本上是TLS1.2就已经很难被解密了,但有一些黑客就是喜欢冒险去做这个事情。密码保护或者是点对点的加密通信,对Netflix这种规模的流媒体服务来说非常重要,尤其他们现在原创的剧集越来越多,一个平台肯定要保护好自己的内容与用户。
https://mp.weixin.qq.com/s/jap4ta6fkyQc7dhig_DkYg
5G:视频分发的转型正在进行中
对于5G而言,2019年是关键的一年:运营商开始推出商业服务,企业用例变得更加清晰,并逐渐融入消费者意识。5G有望在2024-34年之间为全球经济增加近2.2万亿美元,到2025年将占全球所有连接的20%。
4G技术现在是全球主导的移动技术。尽管5G现在存在于24个市场中,但绝大多数连接仍在4G或更慢的网络上运行,并且全球一半以上的人口没有覆盖5G。
https://mp.weixin.qq.com/s/Dvo6cXIxSwhOjz19X8FWsg
编解码
向行业交付标准:MPEG案例
在全球化经济中,越来越多的企业每天都要面对的问题之一是向大众传递产品、服务和应用。试想一下,30年前的问题是什么样子的,当时媒体内容的传递,通过提供适用于特定媒体类型、传递方式、国家、地区、行业和公司的解决方案来实现。电信公司发行音乐;有线电视运营商通过有线电视传播电视;地面和卫星广播公司通过地面和卫星网络进行同样的传播;不同类型的企业通过实物支持传播各种录制的媒体(胶片、激光光盘、光盘、光盘、视频家庭系统/Betamax磁带等)。
https://mp.weixin.qq.com/s/n2h5XRTmMAJJR8RWfEcZrQ
四个新的 Google Duo 功能可帮助您保持联系
Google 将开始在 Android 版本的 Duo 已经支持 AV1 视频编解码器。
https://www.blog.google/products/duo/4-new-google-duo-features-help-you-stay-connected/
多播的时代终于到来了吗?
第一段视频来自于Streaming Media West,主讲人是Dom Robinson。Dom是行业资深老兵,id3as的联合创始人,也是Content Delivery Networks-Fundamentals, Design, and Evolution(2017)一书的作者(此书写得很hacker)。该视频是有关于多播的演讲。Dom解释了其原因,进步过程,以及其下一步的目标。
https://mp.weixin.qq.com/s/R2AfXAvt_085n-pIjy1Taw
视频技术
金山云VR+8K超高清直播全链路解决方案
未来5G低延迟、高带宽、广连接的网络环境,为音视频内容在各行业的应用带来了新的变革,也为虚拟现实产业发展提供新的契机。金山云在VR领域持续投入资源,实现了VR+8K的直播端到端全链路解决方案。
https://mp.weixin.qq.com/s/al8_lDjJHC0W8hr48WUWWQ
如何将ijkplayer引入AS工程中进行二次开发
笔者在对ijkplayer进行二次开发的时候也是踩了不少坑,查了不少资料才把坑给填了,今天把它分享出来,算作一个记录。
https://mp.weixin.qq.com/s/mxlV9bQ-rgUABx8QXdUjeA
实时音视频会议场景下QoS策略
随着5G正式商用元年的真正到来,更加即时与具象的实时音视频通讯将被更广泛的应用。实时音视频系统,是一个相对比较复杂的内容传输系统,从大的流程上来讲,系统覆盖音视频采集、音视频编码、音视频传输、音视频解码、音视频绘制。想要做到高质量的音视频通话,每个环节都需要丰富的手段才能进行各种场景及设备的适配与效果提优。
https://mp.weixin.qq.com/s/2PFX_fvfXWe9gDWuegcfnA
告别AV画质:实时把动画变成4k高清,延时仅3毫秒,登上GitHub趋势榜
有个名叫Anime4K的开源算法,能在动画播放中,实时把画面变成4k,延时低至3毫秒。
能把720p/1080p变成2160p,也能把480p变成1080p。
https://mp.weixin.qq.com/s/8fvf6Std9ZNVVdt9IQ6iYQ
WhatsApp 即将支持多达8人的群组通话
也有关于 Messenger 进行独立视频通话的讨论。
https://thenextweb.com/apps/2020/04/21/whatsapps-group-call-feature-will-soon-allow-8-people/
一个专门为律师设计的视频会议应用,并且免费
使用 WebRTC 构建的专注于律师的视频通话服务。
https://www.lawsitesblog.com/2020/04/this-video-conferencing-app-is-purpose-built-for-lawyers-and-its-free.html
AI智能
人脸合成效果媲美StyleGAN,而它是个自编码器
自编码器(AE)与生成对抗网络(GAN)是复杂分布上无监督学习最具前景的两类方法,它们也经常被拿来比较。人们通常认为自编码器在图像生成上的应用范围比 GAN 窄,那么自编码器到底能不能具备与 GAN 同等的生成能力呢?这篇研究提出的新型自编码器 ALAE 可以给你答案。目前,该论文已被 CVPR 2020 会议接收。
https://mp.weixin.qq.com/s/yB7tq2vcBpVBnM-j9PgRsw
详解StyleGAN进化过程!看GAN如何一步步控制图像生成风格?
GAN 能够有条不紊地控制其生成图像的风格吗?
https://mp.weixin.qq.com/s/bnYDoppTl6XG1gi2cbvtew
图像
23个系列分类网络,10万分类预训练模型,这是飞桨PaddleClas百宝箱
顾名思义图像分类是指根据图像信息把不同类别的图像自动区分开来,并能指出图像类别信息。可以说图像分类是人类最先学到的一门本领。而在此基础之上,才会继续学会指出什么物体在什么位置(目标检测),以及如何去接触物体(图像分割)等等。如果您仔细分析下计算机视觉的其它技术,您会发现,也确实是如此。
https://mp.weixin.qq.com/s/R8CH9hzI1DZEFMSPz-mKaw
资源推荐
视频工程师的工具箱
本文是来自Streaming Media West的演讲,演讲者是David Hassoun, 他是RealEyes Media的CEO。演讲的主要内容是介绍了大部分视频工程师所需的工具软件。
https://mp.weixin.qq.com/s/c-5Q1-LR-OJDfKxK_4ANfg
音视频技术路线
抖音/快手等短视频APP的风靡,让音视频成为当下最火热的技术,越来越多的人想要进入到这个领域,我自己也是从图形方向刚刚踏入这领域不久,音视频方向所包含的技术栈非常复杂,我自己也在一点一点慢慢钻研,这里面每一个方向都值得深入研究,而且随着5G时代的到来,音视频方向的应用会更加广泛,所以希望自己能掌握更多的关于音视频方向的技能,未来可以探索更多的音视频玩法。然后这篇博客主要是想梳理一下我自己关于音视频这个方向的学习路线,分享出来的同时也能鼓励自己朝着这个方向继续深耕下去。
https://zhuanlan.zhihu.com/p/120855530
点击“阅读原文”可查看更多详细信息,请大家科学上网。
转载:https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/105872377