2024年4月3日发(作者:许芝英)
基于语音骨传导通讯及主被动降噪技术
研究
摘要:经过近几年军用耳机市场调研,目前以物理降噪耳机为主,针对中低
频发动机噪声只有十分微弱的降噪,高频降噪效果一般。但在军用场所(比如飞
机、舰船、坦克等)高达135分贝的强噪声场所上无法正常完成送话与受话,在
航空机务(地勤维修),舰船轮机舱,装甲仓的高噪声恶劣环境下,导致不少士
兵中高频耳聋或者低频无感,严重的耳朵致残,并且长期的高强噪声致使我们士
兵的神经听力系统严重受创,为解决这一困难的局面,保护我们士兵的听力,保
证关键信息可以准确传递出去和可清晰听取受话,确保战时不误军机,亟需一种
能够解决上述问题的新技术--骨传导通讯及主被动降噪技术。
引言
公司在音频降噪技术及其应用积累上,有独特理解,团队一帮人曾获得军委
技术创新二等奖,产品可以很好将各类超强噪声给快速抑制掉,满足国防,工业,
民用家居的各种需求。 由于军事环境干扰,工业干扰,民用干扰源的技术特性
完全不一样能谱结构不一样,一般技术很难兼容以及横跨3各大领域。 本技术
就是利用声学算法加上人工智能机器学习,加上自适应,从而根本性解决问题。
1项目简介
产品使用模式:图1
由于军事场景需要,有时不能大声讲话,而声音在骨头传导的损失率远远低
于空气传导,而骨传导麦克风技术耳机主要是利用喉咙骨头传导。距离近,损耗
低,士兵只需要发出很小的声音就能准确传递想表达的指令。
图1
项目需实现主被动降噪≥30 dB,在高噪音环境情况下利用骨传导语音通信
技术使航空机务人员在外场的清晰通话,设备样机由6副~8副降噪通信设备,
采用自组网通信方式组队使用。
项目的具体要求:
通用性能要求:
(1)整机降噪效果。主动降噪峰值不低于-30dB,50Hz-1KHz频段内的平均
降噪量不低于-18dB
(2)整机在130-145dB的噪声环境下,SPK无异响,降噪MIC不失真,降噪
功能可正常使用
(3)声音系统:动圈单元D50mm*2
(4)915-926MHZ对接模块,无线信道数:5-10个
(5)无线通话距离:80m-100m;
(6)无线发射功率:≥10dBm;
(7)无线接收灵敏度:≦-95dBm;
(8)通话数量:主机至少可同时与6-8人通话;
(9)工作电压:3.3V-4.2V
(10)电源低电提醒电压:≦3.4V
(11)防水等级:防汗.
采用轻型材料,时隙全双工制式,消侧音,低电检测,信道设置,音量设置,
语音提示,用于:空军,海军,装甲兵,炮兵,舰载通讯兵;使用环境要能够抗
御120db的环境噪音,保证该环境下可能送话与受话的鲁棒性。满足美军标:
MIL-STD-188/189,该项技能绝活,解决了因为飞机地面开车最大噪音可达到130-
145dB,保护我们士兵的听力,保证关键信息可以准确传递出去和可清晰听取受
话,确保战时不误军机!
2 系统架构设计
项目技术的原理和方法:
(1)为保证关键信息可以准确传递出去,采用2pcs硅咪(前馈FF*2)上行
降噪,骨传导传声器1PCS,自适应波束成形技术,可以在语音送话时进行消噪应
用将环境噪声降噪深度达25分贝。通过一颗语音处理的数字芯片DSP,实时接收
语音骨传导咪授话信号和前馈FF*2 MIC阵列的拾音信号,通过分时分频软件算
法来处理语音信号,从而实现主副MIC自适应实时切换,在具体使用场景中,
MIC阵列选择性的拾取颚骨传来的人声(去掉50-500H之外的频点信息)。设计适
应MIC阵列的语音增强算法,通过骨传导语音信号减去环境噪音,获取相对纯语
音信号。因此,能够在高噪环境下有效地过滤环境背景噪声,提升送话的清晰度,
并且通过自适应算法的应用保证人嘴在转动移动时不受通话角度和距离的影响,
以保证在高噪环境下清晰的语音送话。
(2)可清晰听取受话信息(后馈FB*2)下行降噪,受话端SPK(采集环境
噪音副MIC)的主动降噪技术来实现135分贝噪声下能够清晰受话的功能,将环
境噪声降噪高达36分贝。首先我们设计密封的耳套或者入耳式耳塞紧贴耳道,
创造一个密闭的空间将额外的声音挡在耳壳外面,将高频的噪声起到30分贝的
降噪效果,中低频的噪声则通过电子主动降噪来实现。我们的产品采用前馈式加
反馈式的混合降噪,通过在一颗数字DSP上构建反向声波来抵消噪声的声学数字
模型,通过不断的优化软件代码实现了创建反向声波的降噪算法,将前馈和反馈
降噪技术相结合,汲取了前馈降噪频带宽、反馈降噪幅度深的优点,来保证在高
噪环境下士兵能清晰受话。
2.1 硬件设计
硬件方框图:图2
图2
2.2 DSP降噪声学框图设计
主动降噪原理就是通过降噪系统产生与外界噪音相等的反向声波,将噪音中
和,从而实现降噪的效果。
图3
图4
2.3 声音系统设计
方框图:图5
图5
2.4 语音采集与增强方案
设计2MIC阵列+骨传导MIC采集原始语音信号和旁路2MIC采集环境噪音,
设计适应MIC阵列的语音增强算法,通过原始语音信号减去环境噪音,获取相对
纯语音信号。
(1)分别获取预定时间周期内的MIC阵列的PCM数据s0(t)、s1(t)、s2(t)
和采集环境噪音副MIC的PCM数据n(t);
(2)将上述音频pcm数据进行离散傅里叶变化,得到频谱信息分别为S0(w)、
S1(w)、S2(w)和N(w);
其中: S(W)=(( S0(w)+S1(w)+S2(w)))/3
(3)由于人的声音范围是50-500HZ,分别对Ŝ(W)和N(w) 进行处理,去
掉小于50HZ和500HZ的频段信息,得到新的频谱信息为Snew(W)和N(w);
(4)利用谱减法对所述原始语音对应的第二频谱信息Ŝ(W)和环境噪音信
息对应的第二频谱信息N(W)进行处理,得到待处理频谱Snew(W);
(5)最后根据待处理频谱Snew(W)进行逆离散傅里叶变换,得到待处理语音
信息。
通过进行傅里叶变换以及谱减法等处理,实现对原始语音进行增强,获得相
对纯净的语音信号,提高后续的模型的处理效果。
再进一步的,所述利用谱减法对所述原始语音信息和环境噪音信息对应的第
二频谱信息进行处理,得到待处理频谱包括:
根据以下公式对所述原始语音信息和环境噪音信息对应的第二频谱信息进行
处理:
其中,Snew(W)表示待处理频谱,Ŝ
(W)表示原始语音信息对应的第二频谱信息,N(w)表示环境噪音信息对应的第
二频谱信息,β表示谱减噪声系数且β>1。 根据S(W)进行逆傅里叶变化,到
s(t);软体流程图如下:图6
图6
通过谱减法对原始语音信息和环境噪音信息对应的第二频谱信息进行处理,
得到相对纯净的信号。
3 主要技术创新点:
技术亮点:
(1)通话MIC(骨传导)的上行降噪技术。通过对MIC(骨传导)的降噪算
法不断的深入研究和开发,在高噪环境下,在低功耗的DSP上运行降噪算法,实
现18dB的降噪来保证对讲时的清晰通话
(2)环境监听(侧音)技术。增加一颗音频处理芯片对通话MIC实时拾音
处理,经DSP音频解码输出至SPK,保证在开启降噪功能时,还能听 到环境声音,
保持使用者的环境感知能力,能够辨别机器、车辆、警报等各种声音的特征、距
离和方向。 同时还能在高噪环境时在SPK中听到自己所说的话
(3)混合降噪(主动下行降噪)技术。采用BES2300ZP数字降噪芯片(两
颗)实现混合降噪技术,在不同场景高噪环境下,在50-1K Hz 的频段内实现
23-30dB的主动降噪,给使用者提供极佳的听力保护
(4)对讲语音增强技术。混合降噪技术将对讲通话语音和环境噪声都减弱
了23-30dB,我们特定研发了对讲语音补偿电路,并且定制开发了专用SPK(由
直径40mm传统Mylar 材质改为直径50mm复合膜喇叭,喇叭振膜不容易变形);
在开启降噪和对讲模式时,将人声部分的频响曲线抬高,在保证不失真的情况下,
做到人声饱满
(5)物理降噪技术。对于1KHz以后的高频噪声,主要通过物理降噪来实现,
通过对耳套材料深入研究,在耳套上形成独立腔体,在耳机腔体表面以蛋白真皮
包高密度吸音棉来实现物理降噪,在高频部分也实现了高达25dB的降噪
(6)抗电磁干扰技术。在软件算法上实现跳频技术,在10个信道上任意切
换,有检测其它的电磁波占用信道时,立即切换信道在另外一个信道上通信,并
且软件算法上传输数据有进行算法加密,保证数据的完整性。
4 ANC实测曲线
我们团队经过五年多技术的沉淀,我们的样机主动降噪的效果已经可以媲美
BOSE的效果,部分频点甚至超过了(见下图7),另外BOSE QC35在110分贝的
噪声环境就会出现自激喇叭异响等问题,而我们的样机在高达135分贝噪声时也
可正常受话;同时麦克风拾声技术,声源定位技术,声音定向拾取算法,主动降
噪技术在产品上的运用,形成了一套稳定可靠的降噪算法系统。
图7
备注: 120Hz-200Hz频点主动降噪深度35分贝
5 产品实物展示
图8
附图8数字符号功能说明:
1.电源指示灯;
2.电源开关机和音量+复用按键:高噪声环境下不需要音量-按键
(减小音量人耳更听不见)
3.配对指示灯;
ON/OFF开关;
5.上行通话数字降噪MIC(骨传导麦克风);
前馈2MIC;
图9
附图9数字符号功能说明:
反馈2MIC ;
附图10数字符号说明:
4和5、泄气孔:解决“滋、滋”汽船啸叫声;
软件升级接口(电池窗盖内),另PCBA置于内部(PCBA包括MCU主控、自适
应主动降噪处理芯片和收发数字对讲模组,对讲模组内含DSP,在DSP上进行上
行通话降噪算法)。
图10
6 结 论 :
后续产品技术升级:
1、MIC阵列上行通话降噪算法的优化;
2、优化结构设计,在IPX5防水等级上的基础上再提升防水性能;
3、进一步研发降噪MIC和SPK,提升其性能,有利于提高降噪耳机的一致性
和大批量可制造性;
4、进一步优化耳机耳套的结构设计,增加物理降噪的同时考虑拆装的方便
性;
5、开发主机1拖N的软件算法,实现更多耳机全双工通信;
6、人声50-500Hz频宽内混合降噪耳机降噪深度的进一步提升。
参考文献:
[1]一种降噪对讲机[P]. 罗育培、张金、林凯钊.中国利:CN2.7,
2020-08-07
[2]语音骨传导设备及其通讯方法和存储介质[P]. 章长荪、彭建龙. 中国
利:CN113450753A, 2021-09-28
[3]语音骨传导耳机[P]. 章长荪、王金建. 中国利:CN214381326UZL .
2021-10-08
[4]一种自适应调节降噪增益的降噪方法、装置及降噪耳机[P]. 罗育培.中
国利:CN2.3
[5][wo]PCT/CN2016/110992 NOISE REDUCTION METHOD AND APPARATUS FOR
SELF-ADAPTIVELY ADJUSTING NOISE REDUCTION GAIN, AND NOISE REDUCTION
EARPHONE[P].LUO, Yupei 罗育培;ZHANG, Jin 张金;LIN, Kaizhao 林凯
钊,2017-12-07
作者简介:章长荪,1964年11月30日,男,汉族,江西抚州,大学本科,
工程师。30多年扎实的工程设计背景,对音频算法、耳机ANC降噪设计、音视频、
ICT测试软件开发、无线通信产品的研发有着深入研究,积累了丰富的经验,一
直是企业的技术发展的主要驱动力之一。
2024年4月3日发(作者:许芝英)
基于语音骨传导通讯及主被动降噪技术
研究
摘要:经过近几年军用耳机市场调研,目前以物理降噪耳机为主,针对中低
频发动机噪声只有十分微弱的降噪,高频降噪效果一般。但在军用场所(比如飞
机、舰船、坦克等)高达135分贝的强噪声场所上无法正常完成送话与受话,在
航空机务(地勤维修),舰船轮机舱,装甲仓的高噪声恶劣环境下,导致不少士
兵中高频耳聋或者低频无感,严重的耳朵致残,并且长期的高强噪声致使我们士
兵的神经听力系统严重受创,为解决这一困难的局面,保护我们士兵的听力,保
证关键信息可以准确传递出去和可清晰听取受话,确保战时不误军机,亟需一种
能够解决上述问题的新技术--骨传导通讯及主被动降噪技术。
引言
公司在音频降噪技术及其应用积累上,有独特理解,团队一帮人曾获得军委
技术创新二等奖,产品可以很好将各类超强噪声给快速抑制掉,满足国防,工业,
民用家居的各种需求。 由于军事环境干扰,工业干扰,民用干扰源的技术特性
完全不一样能谱结构不一样,一般技术很难兼容以及横跨3各大领域。 本技术
就是利用声学算法加上人工智能机器学习,加上自适应,从而根本性解决问题。
1项目简介
产品使用模式:图1
由于军事场景需要,有时不能大声讲话,而声音在骨头传导的损失率远远低
于空气传导,而骨传导麦克风技术耳机主要是利用喉咙骨头传导。距离近,损耗
低,士兵只需要发出很小的声音就能准确传递想表达的指令。
图1
项目需实现主被动降噪≥30 dB,在高噪音环境情况下利用骨传导语音通信
技术使航空机务人员在外场的清晰通话,设备样机由6副~8副降噪通信设备,
采用自组网通信方式组队使用。
项目的具体要求:
通用性能要求:
(1)整机降噪效果。主动降噪峰值不低于-30dB,50Hz-1KHz频段内的平均
降噪量不低于-18dB
(2)整机在130-145dB的噪声环境下,SPK无异响,降噪MIC不失真,降噪
功能可正常使用
(3)声音系统:动圈单元D50mm*2
(4)915-926MHZ对接模块,无线信道数:5-10个
(5)无线通话距离:80m-100m;
(6)无线发射功率:≥10dBm;
(7)无线接收灵敏度:≦-95dBm;
(8)通话数量:主机至少可同时与6-8人通话;
(9)工作电压:3.3V-4.2V
(10)电源低电提醒电压:≦3.4V
(11)防水等级:防汗.
采用轻型材料,时隙全双工制式,消侧音,低电检测,信道设置,音量设置,
语音提示,用于:空军,海军,装甲兵,炮兵,舰载通讯兵;使用环境要能够抗
御120db的环境噪音,保证该环境下可能送话与受话的鲁棒性。满足美军标:
MIL-STD-188/189,该项技能绝活,解决了因为飞机地面开车最大噪音可达到130-
145dB,保护我们士兵的听力,保证关键信息可以准确传递出去和可清晰听取受
话,确保战时不误军机!
2 系统架构设计
项目技术的原理和方法:
(1)为保证关键信息可以准确传递出去,采用2pcs硅咪(前馈FF*2)上行
降噪,骨传导传声器1PCS,自适应波束成形技术,可以在语音送话时进行消噪应
用将环境噪声降噪深度达25分贝。通过一颗语音处理的数字芯片DSP,实时接收
语音骨传导咪授话信号和前馈FF*2 MIC阵列的拾音信号,通过分时分频软件算
法来处理语音信号,从而实现主副MIC自适应实时切换,在具体使用场景中,
MIC阵列选择性的拾取颚骨传来的人声(去掉50-500H之外的频点信息)。设计适
应MIC阵列的语音增强算法,通过骨传导语音信号减去环境噪音,获取相对纯语
音信号。因此,能够在高噪环境下有效地过滤环境背景噪声,提升送话的清晰度,
并且通过自适应算法的应用保证人嘴在转动移动时不受通话角度和距离的影响,
以保证在高噪环境下清晰的语音送话。
(2)可清晰听取受话信息(后馈FB*2)下行降噪,受话端SPK(采集环境
噪音副MIC)的主动降噪技术来实现135分贝噪声下能够清晰受话的功能,将环
境噪声降噪高达36分贝。首先我们设计密封的耳套或者入耳式耳塞紧贴耳道,
创造一个密闭的空间将额外的声音挡在耳壳外面,将高频的噪声起到30分贝的
降噪效果,中低频的噪声则通过电子主动降噪来实现。我们的产品采用前馈式加
反馈式的混合降噪,通过在一颗数字DSP上构建反向声波来抵消噪声的声学数字
模型,通过不断的优化软件代码实现了创建反向声波的降噪算法,将前馈和反馈
降噪技术相结合,汲取了前馈降噪频带宽、反馈降噪幅度深的优点,来保证在高
噪环境下士兵能清晰受话。
2.1 硬件设计
硬件方框图:图2
图2
2.2 DSP降噪声学框图设计
主动降噪原理就是通过降噪系统产生与外界噪音相等的反向声波,将噪音中
和,从而实现降噪的效果。
图3
图4
2.3 声音系统设计
方框图:图5
图5
2.4 语音采集与增强方案
设计2MIC阵列+骨传导MIC采集原始语音信号和旁路2MIC采集环境噪音,
设计适应MIC阵列的语音增强算法,通过原始语音信号减去环境噪音,获取相对
纯语音信号。
(1)分别获取预定时间周期内的MIC阵列的PCM数据s0(t)、s1(t)、s2(t)
和采集环境噪音副MIC的PCM数据n(t);
(2)将上述音频pcm数据进行离散傅里叶变化,得到频谱信息分别为S0(w)、
S1(w)、S2(w)和N(w);
其中: S(W)=(( S0(w)+S1(w)+S2(w)))/3
(3)由于人的声音范围是50-500HZ,分别对Ŝ(W)和N(w) 进行处理,去
掉小于50HZ和500HZ的频段信息,得到新的频谱信息为Snew(W)和N(w);
(4)利用谱减法对所述原始语音对应的第二频谱信息Ŝ(W)和环境噪音信
息对应的第二频谱信息N(W)进行处理,得到待处理频谱Snew(W);
(5)最后根据待处理频谱Snew(W)进行逆离散傅里叶变换,得到待处理语音
信息。
通过进行傅里叶变换以及谱减法等处理,实现对原始语音进行增强,获得相
对纯净的语音信号,提高后续的模型的处理效果。
再进一步的,所述利用谱减法对所述原始语音信息和环境噪音信息对应的第
二频谱信息进行处理,得到待处理频谱包括:
根据以下公式对所述原始语音信息和环境噪音信息对应的第二频谱信息进行
处理:
其中,Snew(W)表示待处理频谱,Ŝ
(W)表示原始语音信息对应的第二频谱信息,N(w)表示环境噪音信息对应的第
二频谱信息,β表示谱减噪声系数且β>1。 根据S(W)进行逆傅里叶变化,到
s(t);软体流程图如下:图6
图6
通过谱减法对原始语音信息和环境噪音信息对应的第二频谱信息进行处理,
得到相对纯净的信号。
3 主要技术创新点:
技术亮点:
(1)通话MIC(骨传导)的上行降噪技术。通过对MIC(骨传导)的降噪算
法不断的深入研究和开发,在高噪环境下,在低功耗的DSP上运行降噪算法,实
现18dB的降噪来保证对讲时的清晰通话
(2)环境监听(侧音)技术。增加一颗音频处理芯片对通话MIC实时拾音
处理,经DSP音频解码输出至SPK,保证在开启降噪功能时,还能听 到环境声音,
保持使用者的环境感知能力,能够辨别机器、车辆、警报等各种声音的特征、距
离和方向。 同时还能在高噪环境时在SPK中听到自己所说的话
(3)混合降噪(主动下行降噪)技术。采用BES2300ZP数字降噪芯片(两
颗)实现混合降噪技术,在不同场景高噪环境下,在50-1K Hz 的频段内实现
23-30dB的主动降噪,给使用者提供极佳的听力保护
(4)对讲语音增强技术。混合降噪技术将对讲通话语音和环境噪声都减弱
了23-30dB,我们特定研发了对讲语音补偿电路,并且定制开发了专用SPK(由
直径40mm传统Mylar 材质改为直径50mm复合膜喇叭,喇叭振膜不容易变形);
在开启降噪和对讲模式时,将人声部分的频响曲线抬高,在保证不失真的情况下,
做到人声饱满
(5)物理降噪技术。对于1KHz以后的高频噪声,主要通过物理降噪来实现,
通过对耳套材料深入研究,在耳套上形成独立腔体,在耳机腔体表面以蛋白真皮
包高密度吸音棉来实现物理降噪,在高频部分也实现了高达25dB的降噪
(6)抗电磁干扰技术。在软件算法上实现跳频技术,在10个信道上任意切
换,有检测其它的电磁波占用信道时,立即切换信道在另外一个信道上通信,并
且软件算法上传输数据有进行算法加密,保证数据的完整性。
4 ANC实测曲线
我们团队经过五年多技术的沉淀,我们的样机主动降噪的效果已经可以媲美
BOSE的效果,部分频点甚至超过了(见下图7),另外BOSE QC35在110分贝的
噪声环境就会出现自激喇叭异响等问题,而我们的样机在高达135分贝噪声时也
可正常受话;同时麦克风拾声技术,声源定位技术,声音定向拾取算法,主动降
噪技术在产品上的运用,形成了一套稳定可靠的降噪算法系统。
图7
备注: 120Hz-200Hz频点主动降噪深度35分贝
5 产品实物展示
图8
附图8数字符号功能说明:
1.电源指示灯;
2.电源开关机和音量+复用按键:高噪声环境下不需要音量-按键
(减小音量人耳更听不见)
3.配对指示灯;
ON/OFF开关;
5.上行通话数字降噪MIC(骨传导麦克风);
前馈2MIC;
图9
附图9数字符号功能说明:
反馈2MIC ;
附图10数字符号说明:
4和5、泄气孔:解决“滋、滋”汽船啸叫声;
软件升级接口(电池窗盖内),另PCBA置于内部(PCBA包括MCU主控、自适
应主动降噪处理芯片和收发数字对讲模组,对讲模组内含DSP,在DSP上进行上
行通话降噪算法)。
图10
6 结 论 :
后续产品技术升级:
1、MIC阵列上行通话降噪算法的优化;
2、优化结构设计,在IPX5防水等级上的基础上再提升防水性能;
3、进一步研发降噪MIC和SPK,提升其性能,有利于提高降噪耳机的一致性
和大批量可制造性;
4、进一步优化耳机耳套的结构设计,增加物理降噪的同时考虑拆装的方便
性;
5、开发主机1拖N的软件算法,实现更多耳机全双工通信;
6、人声50-500Hz频宽内混合降噪耳机降噪深度的进一步提升。
参考文献:
[1]一种降噪对讲机[P]. 罗育培、张金、林凯钊.中国利:CN2.7,
2020-08-07
[2]语音骨传导设备及其通讯方法和存储介质[P]. 章长荪、彭建龙. 中国
利:CN113450753A, 2021-09-28
[3]语音骨传导耳机[P]. 章长荪、王金建. 中国利:CN214381326UZL .
2021-10-08
[4]一种自适应调节降噪增益的降噪方法、装置及降噪耳机[P]. 罗育培.中
国利:CN2.3
[5][wo]PCT/CN2016/110992 NOISE REDUCTION METHOD AND APPARATUS FOR
SELF-ADAPTIVELY ADJUSTING NOISE REDUCTION GAIN, AND NOISE REDUCTION
EARPHONE[P].LUO, Yupei 罗育培;ZHANG, Jin 张金;LIN, Kaizhao 林凯
钊,2017-12-07
作者简介:章长荪,1964年11月30日,男,汉族,江西抚州,大学本科,
工程师。30多年扎实的工程设计背景,对音频算法、耳机ANC降噪设计、音视频、
ICT测试软件开发、无线通信产品的研发有着深入研究,积累了丰富的经验,一
直是企业的技术发展的主要驱动力之一。