2024年4月13日发(作者：毛杏)

第２９卷第３期

２００７年３月

电子与信息学报

Ｊｏｕｒｎａｌｏｆ

Ｖｂｌ．２９Ｎｏ．３

Ｅｌｅｃｔｒｏｎｉｃ８＆Ｉｎｆｏｒｍａｔｉｏｎ

Ｔｂｃｈｎ０１０９ｙ

Ｍａｒ．２００７

多媒体会议中新型快速实时混音算法

王文林

廖建新朱晓民沈奇成

（北京邮电大学网络与交换技术国家重点实验室北京１００８７６）

摘要：混音处理是多媒体会议系统中的一个关键环节，直接影响用户之问的相互交流。现有常用的混音算法巾存

在着音量突变的问题，通过对这些混音算法的分析，得出了变化的混音权重是导致音量忽大忽小的主要原因的结

论。在此基础上，该文提出了一种采用与混音输入无关的恒定混音权重的非均匀波形收缩混音算法，该算法混音结

果自然流畅，避免了音量突变的问题。该算法运算简单，速度快，没有乘除法操作，容易硬件实现。可以广泛应用

于大规模的多媒体会议系统中。

关键词：多媒体会议；音频处理单元；非均匀；波形收缩；混音

中图分类号：ＴＮ９１９．８文献标识码：Ａ文章编号：１００９．５８９６（２００７）０３．０６９０．０６

ＡＮｏＶｅｌＦｈｓｔＲｅａｌ－Ｔｉ】ｍｅＡｕｄｉｏ

‘ｉｎ

Ｗａｎｇ

Ｗｂｎ—ｌｉｎ

Ｍ奴ｉＩｌｇ

Ａｌｇｏｒｉｔｈｍ

Ｓｈｅｎ

Ｍｕｌｔｉ］ｍｅｄｉａ

Ｃｏｎｆｅｒｅｎｃｅ

ＬｉａｏＪｉａｎ－ｘｉｎＺｈｕ

Ｘｉａ伊ｍｉｎ

Ｑｉ—ｗｅｉ

（＆ｏ钯‰∥工ｎ６．ｏ，＾ｋｔ叫Ｄ嘲礼９口凡ｄ鼬ｉｔｃ九ｉ佗９死ｃ＾．，Ｂｅ彬哪咖饥ｏ，ＰＤｓ幻口砌死把ｃＤｍｍ．，Ｂｅ彬叼１００８７６，∞｛ｎｎ）

Ａｂｓｔｍｃｔ：Ｉｎ

ｍｕｌｔｉｍｅｄｉａ

ｂｅｔｗｅｅｎ

ｃｏｎｆｅｒｅｎｃｅ，ａｕｄｉｏ

ｍｉ）ｃｉｎｇ

ｉ８ａｎ＿ｅｓ８ｅｎｔｉａｌ

ｃｏｍｐｏｎｅｎｔ，ｗｈｉｃｈ

ａｆｆ＆ｔｓ

ｔｈｅ

ｃｏｍｍｕｎｉｃａｔｉｏｎ

１１８ｅｒ８．Ａｔ

ｐｒｅｓｅｎｔ，ｔｈｅ

ｃｏｍｍｏｎｌｙ瑚ｅｄ

ａｕｄｉｏ

ｍｉ）【ｉｎｇａｌｇｏｒｉｔｈｍｓ

ｈａｖｅ

ｐｒｏｔｅａｎ

Ｖｏｌｕｍｅ．Ｂｙ

ａｎａｌｙｚｉＩ培ｔｈｏｓｅ

ｄｒａｗｎ．Ｂａｓｅ

ｗｅｉｇｈｔ

ａｌｇｏｒｉｔｈ瑚，ｔｈｅ

ｃｏｎｃｌｕｓｉｏｎｏｆ

ｍｕｔａｔｉｖｅ

ｍｉ）【ｉｎｇⅥｒｅｉｇｈｔｓ七ｒｉｎｇ

ｏｎ

ｐｒｏｔｅａｎ

ｖｏｌｕｍｅ

ｉｓ

ａｌｇｏｒｉｔｈｍ

ｎ砌ｅｄ

Ａｓｙｍｍｅｔｒｉｃ８ｌ、）Ｖｒａｖｅ－Ｓｈｒｉｎｋｉｎｇ（ＡＷＳ）ｉ８

ｐｒｏｐ０８ｅｄ．Ａ

ｆ－Ⅸｅｄ

ｍｉ）【ｉｎｇ

ｉ８瑚ｅｄ

ｔｏ

ｔｈｉｓ，ａ

ｎｏｖｅｌ

ｉｎｄｅｐｅｎｄｅｎｔ

ｏｆ

ｉｎｐｕｔ８

ａｎｄｄｉｖｉｓｉｏｎ

ａｐｐｌｉｅｄ

ｔｈｅｎａｔｌｌｒａｌａｎｄｎｕｅｎｔ

ｏｕｔｐｕｔ８

ｗｉｔｈｏｕｔ

ｐｒｏｔｅａｎ

ｉ８

ｖｏｌｕｍｅ．Ｗｉｔｈｏｕｔ

ｍｕｌｔｉｐｌｉｃａｔｉｏｎ

ｂｙ

ｏｐｅｒ８ｔｉｏ珊，ｔｈｅ

ａｌｇｏｒｉｔｈｍ

ｉＩｌ

ｌａｒｇｅ

８ｃａｌｅ

８ｉｍｐｌｅ

ａｎｄ

ｆ缸ｔ

ｔｈａｔｉｔ

ｃａｎ

ｂｅ

ｅａｓｉｌｙ

ｉｍｐｌｅｍｅｎｔｅｄ

ｈａｒｄ、视ｒｅ

ａｎｄ

ｗｉｄｅｌｙ

ＩＩｍｌｔｉｍｅｄｉａ

ｃｏｎｆｅｒｅｎｃｅ

Ｂｙｓｔｅｍｓ．

Ｋｅｙ

ｗｏｒｄｓ：Ｍｕｌｔｉｍｅｄｉａ

１

ｃｏｎｆｅｒｅｎｃｅ；ＡＰｕ（Ａｕｄｉｏ

Ｐｒｏｃｅ８８

ｕｎｉｔ）；Ａ８ｙｍｍｅｔｒｉｃａｌ；Ⅵ‘孙静·ｓｈｒｉＩｌｌ【ｉｎｇ；Ａｕｄｉｏ

ｍｉ）（ｉｎｇ

满足大规模会议的应用。文献【３】中的平均混音算法随着混音

路数的增加音量急剧降低；文献【４，５】提出的对齐混音算法在

混音过程巾会出现明显的音量忽大忽小的变化；文献【６】提出

的自对齐混音算法则引入了部分噪音，并且音量偏小；实际

应用较多的箝位混音算法１７】也存在音量突然变化情况。本文

基于Ｈ．３２３多媒体会议中集中式会议工作模式，提出一种新

型的快速实时混音算法，采用与混音输入无关的恒定混音权

重，杜绝音量变化，复杂度低，基本不引入噪音，且速度快，

极易于软硬件实现。

引言

近年来，多媒体会议成为多媒体通信发展的热点之一。

在多媒体会议中，音频交流最为频繁，实时性的要求也远远

高于视频及数据，是多媒体会议中最基本的要素。为了具有

更好的会议临场感．与会者希望能同时听到多个发言者的声

音。在分散控制会议模式下，每个发言者的语音信号都单独

传送给每个与会者，在终端处进行混音后再播放，这种方式

需要占用大量的网络带宽，影响语音信号的ＱｏＳ（Ｑｕａｌｉｔｙ

ｏｆ

Ｓｅｒ、ｒｉｃｅ），并对终端有较高的要求。为此，ＩＴＵ－Ｔ提出了集巾

控制会议模式％在Ｍｃｕ（Ｍｕｌｔｉｐｏｉｎｔ

ｃｏｎｔｒｏｌ

ｕｎ“）中对来

２混音处理过程

根据ＩＴＵ．Ｔ的Ｈ．３２３规范，在ＭＣＵ中有

ＭＣ（ＭｕｌｔｉｐｏｉｎｔＣｏｎｔｒｏｌｌｅｒ）和ＭＰ（ＭｕｌｔｉｐｏｉｎｔＰｍｃｅ８８０ｒ）两

．大核心模块．其中ＭＰ提供音频、视频和数据的集中处理能

自各发言者的语音信号进行混音处理，再将结果传送到每个

与会者，极大地降低了网络传输的负担和终端的处理能

力【２ｌｏ

目前各种混音算法都有其难以弥补的缺陷和不足，很难

力，划分为ＡＭＰ（ＡｕｄｉｏＭＰ），ＶＭＰ（ＶｉｄｅｏＭＰ）和

ＤＭＰ（ＤａｔａＭＰ）３大模块。其中的ＡＭＰ包括了多个

２００５－０８－１８收到，２００６－０１．０３改回

国家杰出青年科学基金（６０５２５１１０），新世纪优秀人才支持计划

（ＮＣＥＴ．０垂０１１１），高等学校博士学科点专项科研基金

ＡＰＵ（Ａｕｄｉｏ

Ｐｒｏｃｅｓ８ｉｎｇ

Ｕｎｉｔ），分别对应一个会议，各ＡＰＵ

之间独立并行工作。ＡＰＵ的结构如图１所示１６Ｊ．

（２００３００１３００６），国家移动通信产品研究开发专项基金和电子信息产

业发展基金资助课题

万方数据　

第３期王文林等：多媒体会议中新型快速实时混音算法

６９１

Ｈ缓冲器１Ｈ解码器１卜．

叫编码器１

＿缓冲器２

Ｈ解码器２卜．

一编码器２

混音器

一编码器ⅣＩ

Ｈ缓冲器ⅣＨ解码器吖卜－

ｏＬ…………………………！

一编码器Ⅳ＋ｌＩ

图ｌ音频处理器结构图

在Ｈ．３２３集巾控制模式下，每个与会终端与ＭＣＵ建立

双工单播连接，实时与ＭＣＵ交换数据流。其中音频流的编

码格式可以采用Ｇ．７１ｌ，Ｇ．７２２，Ｇ．７２３．１，Ｇ．７２８和Ｇ．７２９编

码规范，与ＡＭＰ中的某一个ＡＰＵ相连，ＡＰＵ．中的Ｂｕｆｆｅｒ

作为抖动缓冲使用，可以在一定的程度上减少由传输导致的

丢包、顺序不一致和抖动带来的影响。

经过缓冲的音频还必须经过相应解码器处理后才能由

混音器进行混音，混音完成后，再根据输出终端不同采用相

应编码器进行编码。所以。混音一般以音频流的一帧为单位

进行处理。

混音原理

原理１声音是由于物体振动对周围的空气产生压力而

传播的一种压力波，转换成电信号后，再经过抽样、量化，仍

然是一种连续平滑的波形信号。

原理２量化后的语音信号的频率与声音的频率对应，

振幅与声音的音量对应。

原理３量化的语音信号的叠加等价于空气中声波的叠

加。

所以当各信号的抽样率一致时，混音可以实现为将各信

号的采样数据线性叠加。在上述的ＩＴＵ．Ｔ的Ｇ．７）（）【系列编

码规范巾，只有Ｇ．７２２的抽样率是１６０００。其它规范的抽样

率是８０００。如果要将Ｇ．７２２解码器的输出与其他解码器的输

出混音，只需要隔位丢弃采样数据即可。

假设在会议ｔ，中，有Ｍ路音频参与混音，在时刻ｔ第

ｉ（待１，２，…，蚴路音频解码输出的数据为Ⅱｌ（ｔ），其值域为

【一２‘｝一，２Ｑ一一１】，其中０是量化精度。要求有＾ｒ＋１路编码

输出，通常Ⅳ－从不失一般性，可以约定第如＝１，２，…，岣

路输出数据为６，（ｔ），其巾６ｌ（ｔ）是除０ｌ（ｔ）外其他肛ｌ路的混

音输出，而％＋１（￡）则是全部Ｍ路的混音输出，则

６Ｊ（￡）＝∑Ｇ，（￡）＇歹＝１，２，…，Ｍ；％＋ｌ（ｔ）＝∑ｑ（ｔ）

（１）

‘＝ｌ，ｌ薯Ｊ

由式（１）可知，６，（ｔ）的值域不再是【－２Ｑ～，２Ｑ一一１】，产

生了溢出，破坏了语音信号的特征参数，从而引入了噪音。

随着Ⅳ的不断增大，发生溢出的频率不断上升，一般来说，

在Ｍ兰４时，溢出引入的噪音过大将导致混音后的语音无法

辨认。所以，混音算法的难点在于如何处理混音后采样值溢

出问题。

万　方数据

４

已有混音算法分析

目前混音后采样值溢出处理方案较多，但基本思想一

致，即根据原理２对语音信号的振幅做一定的平滑处理，即

可以在不破坏（或基本不破坏）语音信号原有的频率的基础上

避免溢出．故有

６Ｊ（￡）＝∑毗．ｊ（￡）ｑ（￡），歹＝１，２，…，Ｍ

ｉ；１．‘＃』

Ⅳ

‰＋ｌ（￡）＝∑毗肌。（ｔ）口。（￡）

几乎所有的算法都由式（２）而来，其中％（ｚ）称为混音权

重，不同算法之间的区别往往仅仅是权重不相同。

（１）平均算法

平均算法（ａ＿ｖｅｒａｇｅ

ａｕｄｉｏ

ｍｉ）ｃｉｎｇ

加后取平均值【３１＇所以其混音权重函数如下：

‰∽＝击，ｉ茹¨，歹＝１＇２＇．．·，Ｍ

％㈣∽＝击，江１，２，…，Ｍ

该算法的实质是将各路语音的音量减少了肛１（或∽

（２）对齐算法文献【４】中的混音算法是一种典型的对齐

ａｕｄｉｏ

ｍｉ）【ｉｎｇ

ａｌｇｏｒｉｔｈｍ，简称Ａ算法），该算法令

Ｔ。ｔａｌＭａＸｊ。ｔＥ【ｒ＇ｎ毯阳（Ｍ１）

ｔＥ【ｒ，ｒ＋４ｔ１＇ｌ≠，、Ｉ…１７

ＴｏｔａｌＭａｘ黼２。。Ｉｎ粉。ｌ（№）Ｉ）

Ｍ妇ｄＭ吗＝吲＃粉。。（№）Ｉ）

ＴｏｔａｌＭａｘ；），否则将导致溢出。．

％，（力＝差易，ｉ＝１＇２＇…，肘，歹＝１’２，…，肘＋１（５）

文献［５１提出的混音算法与Ａ算法类似，但每一路语音有

·３

ａｌｇｏｒｉｔｈｍ，简称Ｖ算法）最为简单，就是将采样数据线性叠

倍，所以随着Ｍ的增大，各路语音的衰减将愈加严重，最终

导致语音细不可闻。而且，随着会议的进行，发言者数量吖

不断变化，则叫（曲也不断变化，导致音量忽大忽小甚至声音

断续，影响语音效果。所以Ｖ算法实际应用受到很大的限制，

无法适应大规模会议的混音需求。

算法（ａｌｉｇｎ

各路音频流当前混音帧巾采样值的绝对值的最大值为

ＴｏｔａｌＭａｘ，累加结果中采样值的绝对值的最大值为

ＭｉＸｅｄＭａｘ。即

其中ｒ为该混音帧的起始时刻，４ｔ为帧的长度。而混音权重

如式（５），其中易∈【ｌ，Ｍｉ）ｃｅｄＭａＸ，／ＴｏｔａｌＭａｘｆ】，用来调整

最终输出混音结果的值。但文献【４１没有考虑到ＭｉｘｅｄＭａｘ。

可能大于极限值２口一一１，此时只能取厶∈【ｌ，（２口～一１）／

各自的权重，所以能将低强度信号加强，增大其可识别度，

2024年4月13日发(作者：毛杏)

第２９卷第３期

２００７年３月

电子与信息学报

Ｊｏｕｒｎａｌｏｆ

Ｖｂｌ．２９Ｎｏ．３

Ｅｌｅｃｔｒｏｎｉｃ８＆Ｉｎｆｏｒｍａｔｉｏｎ

Ｔｂｃｈｎ０１０９ｙ

Ｍａｒ．２００７

多媒体会议中新型快速实时混音算法

王文林

廖建新朱晓民沈奇成

（北京邮电大学网络与交换技术国家重点实验室北京１００８７６）

摘要：混音处理是多媒体会议系统中的一个关键环节，直接影响用户之问的相互交流。现有常用的混音算法巾存

在着音量突变的问题，通过对这些混音算法的分析，得出了变化的混音权重是导致音量忽大忽小的主要原因的结

论。在此基础上，该文提出了一种采用与混音输入无关的恒定混音权重的非均匀波形收缩混音算法，该算法混音结

果自然流畅，避免了音量突变的问题。该算法运算简单，速度快，没有乘除法操作，容易硬件实现。可以广泛应用

于大规模的多媒体会议系统中。

关键词：多媒体会议；音频处理单元；非均匀；波形收缩；混音

中图分类号：ＴＮ９１９．８文献标识码：Ａ文章编号：１００９．５８９６（２００７）０３．０６９０．０６

ＡＮｏＶｅｌＦｈｓｔＲｅａｌ－Ｔｉ】ｍｅＡｕｄｉｏ

‘ｉｎ

Ｗａｎｇ

Ｗｂｎ—ｌｉｎ

Ｍ奴ｉＩｌｇ

Ａｌｇｏｒｉｔｈｍ

Ｓｈｅｎ

Ｍｕｌｔｉ］ｍｅｄｉａ

Ｃｏｎｆｅｒｅｎｃｅ

ＬｉａｏＪｉａｎ－ｘｉｎＺｈｕ

Ｘｉａ伊ｍｉｎ

Ｑｉ—ｗｅｉ

（＆ｏ钯‰∥工ｎ６．ｏ，＾ｋｔ叫Ｄ嘲礼９口凡ｄ鼬ｉｔｃ九ｉ佗９死ｃ＾．，Ｂｅ彬哪咖饥ｏ，ＰＤｓ幻口砌死把ｃＤｍｍ．，Ｂｅ彬叼１００８７６，∞｛ｎｎ）

Ａｂｓｔｍｃｔ：Ｉｎ

ｍｕｌｔｉｍｅｄｉａ

ｂｅｔｗｅｅｎ

ｃｏｎｆｅｒｅｎｃｅ，ａｕｄｉｏ

ｍｉ）ｃｉｎｇ

ｉ８ａｎ＿ｅｓ８ｅｎｔｉａｌ

ｃｏｍｐｏｎｅｎｔ，ｗｈｉｃｈ

ａｆｆ＆ｔｓ

ｔｈｅ

ｃｏｍｍｕｎｉｃａｔｉｏｎ

１１８ｅｒ８．Ａｔ

ｐｒｅｓｅｎｔ，ｔｈｅ

ｃｏｍｍｏｎｌｙ瑚ｅｄ

ａｕｄｉｏ

ｍｉ）【ｉｎｇａｌｇｏｒｉｔｈｍｓ

ｈａｖｅ

ｐｒｏｔｅａｎ

Ｖｏｌｕｍｅ．Ｂｙ

ａｎａｌｙｚｉＩ培ｔｈｏｓｅ

ｄｒａｗｎ．Ｂａｓｅ

ｗｅｉｇｈｔ

ａｌｇｏｒｉｔｈ瑚，ｔｈｅ

ｃｏｎｃｌｕｓｉｏｎｏｆ

ｍｕｔａｔｉｖｅ

ｍｉ）【ｉｎｇⅥｒｅｉｇｈｔｓ七ｒｉｎｇ

ｏｎ

ｐｒｏｔｅａｎ

ｖｏｌｕｍｅ

ｉｓ

ａｌｇｏｒｉｔｈｍ

ｎ砌ｅｄ

Ａｓｙｍｍｅｔｒｉｃ８ｌ、）Ｖｒａｖｅ－Ｓｈｒｉｎｋｉｎｇ（ＡＷＳ）ｉ８

ｐｒｏｐ０８ｅｄ．Ａ

ｆ－Ⅸｅｄ

ｍｉ）【ｉｎｇ

ｉ８瑚ｅｄ

ｔｏ

ｔｈｉｓ，ａ

ｎｏｖｅｌ

ｉｎｄｅｐｅｎｄｅｎｔ

ｏｆ

ｉｎｐｕｔ８

ａｎｄｄｉｖｉｓｉｏｎ

ａｐｐｌｉｅｄ

ｔｈｅｎａｔｌｌｒａｌａｎｄｎｕｅｎｔ

ｏｕｔｐｕｔ８

ｗｉｔｈｏｕｔ

ｐｒｏｔｅａｎ

ｉ８

ｖｏｌｕｍｅ．Ｗｉｔｈｏｕｔ

ｍｕｌｔｉｐｌｉｃａｔｉｏｎ

ｂｙ

ｏｐｅｒ８ｔｉｏ珊，ｔｈｅ

ａｌｇｏｒｉｔｈｍ

ｉＩｌ

ｌａｒｇｅ

８ｃａｌｅ

８ｉｍｐｌｅ

ａｎｄ

ｆ缸ｔ

ｔｈａｔｉｔ

ｃａｎ

ｂｅ

ｅａｓｉｌｙ

ｉｍｐｌｅｍｅｎｔｅｄ

ｈａｒｄ、视ｒｅ

ａｎｄ

ｗｉｄｅｌｙ

ＩＩｍｌｔｉｍｅｄｉａ

ｃｏｎｆｅｒｅｎｃｅ

Ｂｙｓｔｅｍｓ．

Ｋｅｙ

ｗｏｒｄｓ：Ｍｕｌｔｉｍｅｄｉａ

１

ｃｏｎｆｅｒｅｎｃｅ；ＡＰｕ（Ａｕｄｉｏ

Ｐｒｏｃｅ８８

ｕｎｉｔ）；Ａ８ｙｍｍｅｔｒｉｃａｌ；Ⅵ‘孙静·ｓｈｒｉＩｌｌ【ｉｎｇ；Ａｕｄｉｏ

ｍｉ）（ｉｎｇ

满足大规模会议的应用。文献【３】中的平均混音算法随着混音

路数的增加音量急剧降低；文献【４，５】提出的对齐混音算法在

混音过程巾会出现明显的音量忽大忽小的变化；文献【６】提出

的自对齐混音算法则引入了部分噪音，并且音量偏小；实际

应用较多的箝位混音算法１７】也存在音量突然变化情况。本文

基于Ｈ．３２３多媒体会议中集中式会议工作模式，提出一种新

型的快速实时混音算法，采用与混音输入无关的恒定混音权

重，杜绝音量变化，复杂度低，基本不引入噪音，且速度快，

极易于软硬件实现。

引言

近年来，多媒体会议成为多媒体通信发展的热点之一。

在多媒体会议中，音频交流最为频繁，实时性的要求也远远

高于视频及数据，是多媒体会议中最基本的要素。为了具有

更好的会议临场感．与会者希望能同时听到多个发言者的声

音。在分散控制会议模式下，每个发言者的语音信号都单独

传送给每个与会者，在终端处进行混音后再播放，这种方式

需要占用大量的网络带宽，影响语音信号的ＱｏＳ（Ｑｕａｌｉｔｙ

ｏｆ

Ｓｅｒ、ｒｉｃｅ），并对终端有较高的要求。为此，ＩＴＵ－Ｔ提出了集巾

控制会议模式％在Ｍｃｕ（Ｍｕｌｔｉｐｏｉｎｔ

ｃｏｎｔｒｏｌ

ｕｎ“）中对来

２混音处理过程

根据ＩＴＵ．Ｔ的Ｈ．３２３规范，在ＭＣＵ中有

ＭＣ（ＭｕｌｔｉｐｏｉｎｔＣｏｎｔｒｏｌｌｅｒ）和ＭＰ（ＭｕｌｔｉｐｏｉｎｔＰｍｃｅ８８０ｒ）两

．大核心模块．其中ＭＰ提供音频、视频和数据的集中处理能

自各发言者的语音信号进行混音处理，再将结果传送到每个

与会者，极大地降低了网络传输的负担和终端的处理能

力【２ｌｏ

目前各种混音算法都有其难以弥补的缺陷和不足，很难

力，划分为ＡＭＰ（ＡｕｄｉｏＭＰ），ＶＭＰ（ＶｉｄｅｏＭＰ）和

ＤＭＰ（ＤａｔａＭＰ）３大模块。其中的ＡＭＰ包括了多个

２００５－０８－１８收到，２００６－０１．０３改回

国家杰出青年科学基金（６０５２５１１０），新世纪优秀人才支持计划

（ＮＣＥＴ．０垂０１１１），高等学校博士学科点专项科研基金

ＡＰＵ（Ａｕｄｉｏ

Ｐｒｏｃｅｓ８ｉｎｇ

Ｕｎｉｔ），分别对应一个会议，各ＡＰＵ

之间独立并行工作。ＡＰＵ的结构如图１所示１６Ｊ．

（２００３００１３００６），国家移动通信产品研究开发专项基金和电子信息产

业发展基金资助课题

万方数据　

第３期王文林等：多媒体会议中新型快速实时混音算法

６９１

Ｈ缓冲器１Ｈ解码器１卜．

叫编码器１

＿缓冲器２

Ｈ解码器２卜．

一编码器２

混音器

一编码器ⅣＩ

Ｈ缓冲器ⅣＨ解码器吖卜－

ｏＬ…………………………！

一编码器Ⅳ＋ｌＩ

图ｌ音频处理器结构图

在Ｈ．３２３集巾控制模式下，每个与会终端与ＭＣＵ建立

双工单播连接，实时与ＭＣＵ交换数据流。其中音频流的编

码格式可以采用Ｇ．７１ｌ，Ｇ．７２２，Ｇ．７２３．１，Ｇ．７２８和Ｇ．７２９编

码规范，与ＡＭＰ中的某一个ＡＰＵ相连，ＡＰＵ．中的Ｂｕｆｆｅｒ

作为抖动缓冲使用，可以在一定的程度上减少由传输导致的

丢包、顺序不一致和抖动带来的影响。

经过缓冲的音频还必须经过相应解码器处理后才能由

混音器进行混音，混音完成后，再根据输出终端不同采用相

应编码器进行编码。所以。混音一般以音频流的一帧为单位

进行处理。

混音原理

原理１声音是由于物体振动对周围的空气产生压力而

传播的一种压力波，转换成电信号后，再经过抽样、量化，仍

然是一种连续平滑的波形信号。

原理２量化后的语音信号的频率与声音的频率对应，

振幅与声音的音量对应。

原理３量化的语音信号的叠加等价于空气中声波的叠

加。

所以当各信号的抽样率一致时，混音可以实现为将各信

号的采样数据线性叠加。在上述的ＩＴＵ．Ｔ的Ｇ．７）（）【系列编

码规范巾，只有Ｇ．７２２的抽样率是１６０００。其它规范的抽样

率是８０００。如果要将Ｇ．７２２解码器的输出与其他解码器的输

出混音，只需要隔位丢弃采样数据即可。

假设在会议ｔ，中，有Ｍ路音频参与混音，在时刻ｔ第

ｉ（待１，２，…，蚴路音频解码输出的数据为Ⅱｌ（ｔ），其值域为

【一２‘｝一，２Ｑ一一１】，其中０是量化精度。要求有＾ｒ＋１路编码

输出，通常Ⅳ－从不失一般性，可以约定第如＝１，２，…，岣

路输出数据为６，（ｔ），其巾６ｌ（ｔ）是除０ｌ（ｔ）外其他肛ｌ路的混

音输出，而％＋１（￡）则是全部Ｍ路的混音输出，则

６Ｊ（￡）＝∑Ｇ，（￡）＇歹＝１，２，…，Ｍ；％＋ｌ（ｔ）＝∑ｑ（ｔ）

（１）

‘＝ｌ，ｌ薯Ｊ

由式（１）可知，６，（ｔ）的值域不再是【－２Ｑ～，２Ｑ一一１】，产

生了溢出，破坏了语音信号的特征参数，从而引入了噪音。

随着Ⅳ的不断增大，发生溢出的频率不断上升，一般来说，

在Ｍ兰４时，溢出引入的噪音过大将导致混音后的语音无法

辨认。所以，混音算法的难点在于如何处理混音后采样值溢

出问题。

万　方数据

４

已有混音算法分析

目前混音后采样值溢出处理方案较多，但基本思想一

致，即根据原理２对语音信号的振幅做一定的平滑处理，即

可以在不破坏（或基本不破坏）语音信号原有的频率的基础上

避免溢出．故有

６Ｊ（￡）＝∑毗．ｊ（￡）ｑ（￡），歹＝１，２，…，Ｍ

ｉ；１．‘＃』

Ⅳ

‰＋ｌ（￡）＝∑毗肌。（ｔ）口。（￡）

几乎所有的算法都由式（２）而来，其中％（ｚ）称为混音权

重，不同算法之间的区别往往仅仅是权重不相同。

（１）平均算法

平均算法（ａ＿ｖｅｒａｇｅ

ａｕｄｉｏ

ｍｉ）ｃｉｎｇ

加后取平均值【３１＇所以其混音权重函数如下：

‰∽＝击，ｉ茹¨，歹＝１＇２＇．．·，Ｍ

％㈣∽＝击，江１，２，…，Ｍ

该算法的实质是将各路语音的音量减少了肛１（或∽

（２）对齐算法文献【４】中的混音算法是一种典型的对齐

ａｕｄｉｏ

ｍｉ）【ｉｎｇ

ａｌｇｏｒｉｔｈｍ，简称Ａ算法），该算法令

Ｔ。ｔａｌＭａＸｊ。ｔＥ【ｒ＇ｎ毯阳（Ｍ１）

ｔＥ【ｒ，ｒ＋４ｔ１＇ｌ≠，、Ｉ…１７

ＴｏｔａｌＭａｘ黼２。。Ｉｎ粉。ｌ（№）Ｉ）

Ｍ妇ｄＭ吗＝吲＃粉。。（№）Ｉ）

ＴｏｔａｌＭａｘ；），否则将导致溢出。．

％，（力＝差易，ｉ＝１＇２＇…，肘，歹＝１’２，…，肘＋１（５）

文献［５１提出的混音算法与Ａ算法类似，但每一路语音有

·３

ａｌｇｏｒｉｔｈｍ，简称Ｖ算法）最为简单，就是将采样数据线性叠

倍，所以随着Ｍ的增大，各路语音的衰减将愈加严重，最终

导致语音细不可闻。而且，随着会议的进行，发言者数量吖

不断变化，则叫（曲也不断变化，导致音量忽大忽小甚至声音

断续，影响语音效果。所以Ｖ算法实际应用受到很大的限制，

无法适应大规模会议的混音需求。

算法（ａｌｉｇｎ

各路音频流当前混音帧巾采样值的绝对值的最大值为

ＴｏｔａｌＭａｘ，累加结果中采样值的绝对值的最大值为

ＭｉＸｅｄＭａｘ。即

其中ｒ为该混音帧的起始时刻，４ｔ为帧的长度。而混音权重

如式（５），其中易∈【ｌ，Ｍｉ）ｃｅｄＭａＸ，／ＴｏｔａｌＭａｘｆ】，用来调整

最终输出混音结果的值。但文献【４１没有考虑到ＭｉｘｅｄＭａｘ。

可能大于极限值２口一一１，此时只能取厶∈【ｌ，（２口～一１）／

各自的权重，所以能将低强度信号加强，增大其可识别度，