DSP

Audio: 虚拟环绕声技术

2019-07-13 20:05发布

简介 本文简单介绍了环绕声基础知识,还介绍了各种双声道虚拟环绕声(多声道)的技术。最近突然对虚拟环绕声感兴趣,整理了一下相关知识。

1. 何为环绕声

普通的立体声只能分清左右两个方向的声音,而环绕声还能让人声音的前后左右各个方位,更有空间感仿佛置身于现场。常见的环绕声主要有 5.1 声道与 7.1 声道两种,要重现环绕声也相应的需要 6 个或者 8 个音箱。 电影中最常见的环绕声格式是杜比数字和 DTS,两者是竞争对手关系,电影 DVD 中一般包含有其中一种或者两种音轨都有。此外,这两种格式也有多个不同的版本,这里就不作详细介绍。 除了这两种格式之外,部分蓝光光盘也提供 LPCM 格式的音轨,这是一种未经压缩的音频格式,体积最大。压缩后的音频解码成 PCM 格式才能播放,所以这种格式无需解码。理论上 LPCM 格式无压缩音质好,无需解码,是最理想的格式,但由于光盘容量是有限的,音频体积大会挤占视频的空间。可以计算 96kHz 采样率,24 位采样精度,7.1 声道的 LPCM 音轨每秒数据量是96k * (24 / 8) * 8 = 2.3MB 那么一部 90 分钟的电影仅音频就占用了约 12.4 GB 空间,而单面蓝光光盘才 25GB。折中办法是无损压缩,类似于 zip 文件解压后可以 100% 还原成压缩前的文件,杜比和 DTS 都推出了相应的音频格式,分别叫杜比 TrueHD 和 DTS-HD Master Audio。这两种格式除了需要解码之外,和 LPCM 音质没有区别。 说到无损压缩我们常见的音乐中还有 APE 和 FLAC。APE 不支持多声道,FLAC 可以支持,理论上也可以用于电影光盘,但是没有商业化产品支持,所以没有得到应用。FLAC 是免费、开源的音频格式,但目前还没有电影公司采用,没有播放器、解码器以及音响设备支持。网上已有字幕组使用 FLAC 制作多声道的电影文件,目前只能在电脑上软件解码。回放环绕声的方法:
  • 多声道音箱。需要多个音箱,而且摆位要正确,但效果最好。
  • 多单元耳机。多个扬声器单元放在一个耳机上,产品很少。
  • 虚拟环绕声。经过算法处理成立体声,用普通耳机回放,下面将详细介绍。

2. 虚拟环绕声

这里只讨论把多声道音频经过算法处理变成立体声的虚拟环绕声,还有一类是把立体声音频经过算法处理使其具有空间感(很多音效宣传具有此功能)的技术,个人觉得后者无意义只能算是一种音效。HRTF 示意图,来源于维基百科HRTF 示意图,来源于维基百科 虚拟环绕声都是基于 HRTF(Head Related Transfer Functions)头部相关传输函数来实现的,只是各家的算法以及测量数据有差异,效果也就各不相同。关于 HRTF 引用数码多上的简单介绍:人耳在接收到音源发出的声音时,人的耳廓、耳道、头盖骨、肩部等对声波的折射、绕射和衍射以及鼓膜接收到的信息会被大脑所接受,大脑通过经验来对声音的方位进行判断。根据这一原理,通过信号处理的数学方法,我们构建了 HRTF(Head Related Transfer Functions)头部相关传输函数,根据多组的滤波器来虚拟实现人耳接收到的“位置信息”。关于 HRTF 的详细原理,数码多上同样有一篇文章 HRTF音频3D定位技术综述。有了这个基础知识,我们就可以分析各种各样的虚拟环绕声相关技术。

2.1 人头录音(Dummy head recording)

一般录制环绕声音频需要使用多个麦克风,例如 5.1 声道至少需要 5 个麦克风,而一般音乐是双声道两个麦克风。人头录音也是使用两个麦克风录音,但是模拟了人头听音的效果,相当于把两个麦克风放在人的耳朵里面。因为就算是多声道的音箱,人最终都是靠两个耳朵来听,所以在最理想的情况下人头录音是可以达到真实环绕声效果的。但是现实都是不完美的,首先人头录音要求回放时必须使用耳机(录音时麦克风也是放在耳朵里),保证声音没有串扰;其次每个人身体有差异,大脑对声音的判断也不同,录音不可能按照每个人去完美适配。这就造成了人头录音,包括下面提到的虚拟环绕声技术,效果都不如多声道音箱理想。

2.2 游戏 3D 音效

很多游戏也有 3D 音效,计算游戏场景中多个音源(脚步声、远处动物等等)与环境相互作用的效果(反射、阻碍等等)得出游戏中玩家所在位置的全方位声音,这个声音可以认为是环绕声的,然后这个声音经过 HRTF 处理得到立体声输出,当然也可以直接编码成杜比或 DTS 输出到外部多声道音箱。创新的 EAX 以及以前的 Aureal 3D 音效就是属于这一类。

2.3 虚拟环绕声回放

很多厂家有类似的技术,例如 Dolby Headphone、DTS Surround Sensation、索尼 Virtualphones Technology 等等,都是把多声道的各种格式音频(杜比/DTS/LPCM等)解码并经过自家的基于 HRTF 的处理技术转换成立体声,然后用户可以使用耳机回放。下面简单介绍一下两种常见场景:
  • 视频播放器集成 HRTF 插件。就是视频播放器解码完多声道音频后,再经过 HRTF 处理成立体声输出。例如 PotPlayer 里面有一个音频输出选项叫“虚拟环绕(HRTF)”,PowerDVD 也带有 Dolby Headphone 插件。
  • 外部解码器。杜比/DTS/LPCM 等多声道音轨通过光纤或 HDMI 输出到带有虚拟环绕声处理功能的解码器播放,然后输出到耳机。例如搭载有 Dolby Headphone 的游戏耳机,索尼的 MDR-DS 系列搭载有 Virtualphones Technology 技术的耳机。

3. 总结

总的来说,靠谱的虚拟环绕声技术都是通过把原始多声道音频经过 HRTF 处理得到的,比直接 downmix 到双声道空间感要强,但感觉还是不太自然,效果最好的还是多声道音箱。如果想体验 Dolby Headphone 的效果,这篇文章里面提供有在线试听 5.1 channel audio through ordinary headphones using MPC-HC。转载请注明出处:http://www.cnblogs.com/imouto/archive/2013/03/13/virtual-surround-sound-explained.html本文外部镜像:http://oteku.blogspot.com/2013/03/virtual-surround-sound-explained.htmlhttp://www.cnblogs.com/imouto/archive/2013/03/13/virtual-surround-sound-explained.html