页数:114页文件大小:988.5 KB来源: 多媒体技术及其应用ppt课件
本课件围绕音频处理展开,先说明声音三要素与质量评价,再讲声卡的构成与性能指标,随后推导波形声音数字化的采样、量化与编码过程,并延伸到声音文件格式、MIDI、音频压缩、语音识别合成,以及录音机与Cool Edit的使用。
第2章音频信号处理技术
声音是携带信息的极其重要的媒体,音频信号
声音是携带信息的极其重要的媒体,音频信号处理技术是多媒体信息处理中的核心技术之一,它是多媒体技术和多媒体产品开发中的重要内容。本章主要介绍多媒体计算机中音频信号处理技术的基本原理、硬件、软件以及应用。通过学习本章内容,要求大家掌握计算机声音处理的常用技术与原理,了解声音处理硬件的基本构成、常用的声音合成方法、声音的编码与压缩技术、数字音频的合成以及数字声音的应用知识。
教学内容
教学内容1声音的特性、类型与处理2声卡的构成与功能3波形声音的数字化4声音文件的存储格式5电子乐器数字接口(MIDI)系统
教学内容6音频信息的压缩技术7数字语音的
教学内容6音频信息的压缩技术7数字语音的应用语音识别语音合成8声音媒体编辑软件的应用Windows的录音机软件声音编辑软件Cool Edit9本章小结
2.1 声音的特性
声源所引起的空气压力变化,被耳朵的耳膜所检测,然后产生电信号刺激大脑的听觉神经,从而使人们能感觉到声音的存在。
自然界的各种声音大都具有周期性的强弱变化的特性,因而也使得输出的压力信号周期变化
声音的正弦波特性
2.1.1 声音的特性有关的名词术语
将曲线上的任一点再次出现所需时间间隔称为周期。
而一秒钟内声音由高(压力强)到低(压力低)再到高(压力强),这样一个循环出现的次数称为频率。频率越高,声音越高,以赫兹(Hz)为其度量单位。
一个系统能够接收的频率是有限的,人们把系统能够接受的最低的听觉和最高频率之间的范围称为系统的带宽(Bandwidth)。人类能够接受的听觉带宽是从20Hz到20KHz。
声音的三要素即为音调
而音色则由混入基音的泛音所决定的,每个基音又都有其固有的频率和不同音强的泛音,从而使得每个声音具有特殊的音色效果。
声音是一种弹性波
声音是一种弹性波,声音信号可以分成周期信号与非周期信号两类。周期信号即为单一频率音调的信号,其频谱是线性谱;而非周期信号包含一定频带的所有频率分量,其频谱是连续谱。真正的线性谱仅可从计算机或类似的声音设备中才能听到,这种声音听起来十分单调。
声音的传播
由于人类的耳朵能够判别出声音到达左右耳的相对时差、声音强度,所有能够判别出声音的方向以及由于空间使声音来回反射而造成声音的特殊空间效果。
现在的音响设备都在竭力模拟这种立体声效果和空间感效果。
声音具有很强的时效性
声音具有很强的时效性,没有时间也就没有声音,声音适合在一个时间段中表现。声音常常处于一种伴随状态,如伴音、伴奏等,起一种气氛渲染的作用。
由于时间性,声音数据具有很强的前后相关性,因而,数据量要大得多,实时性要求也比较高。
声音的质量与声音的频率范围有关
对语音而言,常用可懂度、清晰度、自然度来衡量;而对音乐来说,保真度、空间感、音响效果都是重要的指标。
2.1.2 声音的类型与处理不同种类声音频宽
1优(Excellent
1优(Excellent)感觉不到声音失2良(Good)刚察觉但不讨厌3中(Fair)声音有些失真,有点讨厌4差(Poor)声音失真,不令人反感5劣(Bad)严重失真,令人反感
自然界中的声音可分为四种类型
次声、可听声、超声与特超声(1GHz—10THz)
人类的听觉能范围是20Hz—20KHz,次声、超声与特超声均非可听声。
(Analog audio)
模拟音频是一种连续的模拟量,以电的、磁的等形式表示。例如当我们对着麦克风讲话时,麦克风能根据它周围空气压力的不同变化而输出相应连续变化的电压值,这种变化的电压值便是一种对我们讲话声音的模拟,是一种模拟量,称为模拟音频。
计算机不能直接处理模拟音频
(Digitalaudio)
数字化音频的获得是通过每隔一定的时间间隔测一次模拟音频的值(如电压)并将其数字化。这一过程称为采样,每秒钟采样的次数称为采样率
一般地,采样率越高,记录的声音就越自然,反之,若采样率太低将失去原有声音的自然特性,这一现象称为失真。由模拟量变为数字量的过程称为模—数转换。
由上述可知:数字音频是离散的,而模拟音频是连续的,数字音频质量的好坏与采样率密切相关。数字音频信息可以被计算机存储、处理和播放。
程
2.2 声卡的构成与功能
第二类为中档声卡,这类声卡具有立体声音质,MIDI音乐、录音、播放等功能,能满足一般的多媒体应用需求。
第三类为高档声卡,此类声卡除具有中档声卡的所有特点外,一般都带有专用的数字信号处理器DSP,可用于高级音乐编辑、创作,实时语言识别等功能。
声卡的结构
声卡主要有四个组成:
AD/DA转换器AD/DA转换器负责录音及播放*.WAV格式的波形文件。
电子合成器(Synthesizer)电子合成器负责MIDI乐曲的合成可以及时创造各种音乐。
混音器(Mixer)混音器(Mixer)它是一个处理音效控制的芯片,负责调节各声音来源的音量、混音与调整录放音的音量大小。
CD音频连接器(CD-Audioconnector)CD音频连接器可以接收光盘机中的音乐信号。
2.2 声卡的构成与功能声卡的基本结构
2.2 声卡的构成与功能声卡的基本结构(
制与播放声音通过接在声卡上的话筒录制声音
制与播放声音通过接在声卡上的话筒录制声音,并以文件形式保存在计算机中,随时可打开声音文件进行播放。声音文件的格式可因使用不同的软件而不同。(2)音乐合成利用声卡上的合成器将存储在计算机内存中的MIDI文件合成为音乐乐曲。通过混合器混合和处理多个不同音频源的声音,控制和调节音量大小,最后送至音箱或耳机播放。
缩和解压缩音频文件目前
缩和解压缩音频文件目前,大多数声卡上都固化了不同标准的音频压缩和解压缩软件,常用的压缩编码方法有ADPCM(自适应差分脉冲编码调制)和ACM(微软音频压缩管理器)等,压缩比大约为2:1~5:l。(4)与MIDI设备和CD驱动器的连接通过声卡上的MIDI接口,计算机可以同外界的MIDI设备相连接,如连接电子琴、电吉他等,使MPC具有创作电脑乐曲和播放MIDI文件的功能。游戏杆也可通过MIDI接口与计算机相连接,使游戏玩起来得心应手。
2.2 声卡的构成与功能声卡与其它设备连
声卡中的
声卡中的linein插孔可连接录音机、袖珍CD播放机和合成器等,将其播放的音信息输入计算机;
Joystick/MIDIAdapter可与游戏操纵竿,MIDI设备相连。
2.2.3 声卡的性能指标决定了声卡声音采集
、合成与播放的质量,主要取决于以下几个方面:(l)采样分辨率(2)采样速率(3)声道数(4)兼容性(5)功能接口
声卡的技术标准具有常用多媒体功能的声卡
PCM播放和录音
PCM(Pulse Code modulation:脉冲编码调制)是一种数字化音频的处理技术,该技术被目前大多数声卡所采用。提供播放和录制PCM音频文件的功能对任何一个实用的声音装置都是必须的。因为有大量的数字语音的应用需要用到PCM播放和录音功能,在这些应用中,包括语音注释、语言识别、语音合成、语音邮件、语音剪辑、娱乐软件的声音效果等。
数字音频格式对大多数应用而言,声卡应能支
u律/a律2:1压缩/解压缩 上述第一条软件所构成的格式直接由多媒体Windows95/Windows98/Windows2000提供支持。
乐器数字接口
乐器数字接口MIDI声卡中的MIDI(MusicalInstrumentDigitalInterface)及音乐合成功能也是一个声卡最基本的性能指标。作为一个用于控制电子音乐设备的标准化的串行通讯协议于1983年提出来的。
MIDI音乐的制作与播放MID
MIDI音乐的制作与播放MIDI键盘实时演奏计算机键盘输入乐谱音序器软件MIDI文件媒体播放器MIDI合成器MIDI音乐
乐器数字接口
乐器数字接口MIDIMIDI协议允许电子合成器之间相互通讯,而不管是谁家生产的。具有这种功能的声卡能够和MIDI乐器相连,供作曲家或专业音乐人员演奏音乐,并转换成专用的MIDI代码存贮在计算机中,同时这种声卡也能根据计算机存放的MIDI代码,合成各种电子乐器声音。可具有多种旋律、音调、速度,并可多种乐器合奏。
2.3 声音信号的数字化
为什么要将声音数字化?自然界的声音是一种模拟的音频信息,是连续量。而计算机只能处理离散的数字量,这就要求必须。
优点:传输时抗干扰强,存储时重放性能好,易处理,能进行数据压缩,可纠错,容易混合,bits about bits ...
音频信息数字化,其关键的步骤是采样、量化和编码。
声音信号数字化
声音信号数字化3个步骤:1.采样(Sampling)2.量化(quantization :AD conversion)3.编码(Encoding)2.3声音信号的数字化采样量化编码模拟音频数字音频01101001……
2.3.1 采样
数字化音频的获得是通过每隔一定的时间间隔测一次模拟音频的值(如电压)并将其数字化。这一过程称为采样
问题:如何选取采样率才能保证信号不失真?
问题:如何选取采样率才能保证信号不失真?
原理:用一定速率的离散采样序列可以代替一个连续的频带有限的信号而不丢失任何信息
奈奎斯特采样定理“For lossless digitization, the sampling rate shouldbe at least twice the maximum frequency response.”即:我们要获得一个无损的采样,就必须以波形最高允许频率的两倍作为采样率。
采样率
例如:人类能够接受的听觉带宽是:20Hz--20KHz。按照这个理论,要产生听得见的频率范围需要大于40KHz的采样率。所以,菲利浦和索尼公司在设计光盘(CD)时,选择了44.1KHz的采样率。这个采样频率也是Windows所支持的较高采样率。
在Windows下所支持的其它采样率还有11.025KHz和22.05KHz,
采样率从表中我们可以看到除管乐外
采样率从表中我们可以看到除管乐外,其他声音的最大基音频率都小于5kHz,意思是它们能够以低频11.025kHz被录音而无任何失真。
采样率问题
采样率问题:要录制一段人的语音,如何选取采样率,才能保证其不失真?
通常,采样率越高,记录的声音就越自然
通常,采样率越高,记录的声音就越自然,反之,若采样率太低将失去原有声音的自然特性,这一现象称为失真。
2.3.2 量化(
what ?:将采样后得到的音频信息数字化的过程称为量化
A/D conversion?:由模拟量变为数字量的过程称为模—数转换。
量化器的分类
标量量化器(无记忆量化器):每次只量化一个取样值。
矢量量化器(有记忆量化器):每次量化一组取样值。2.3.2量化(Quantization)
举例:假设有两个电压表分别连到模拟信号源
举例:假设有两个电压表分别连到模拟信号源上,其中一个为模拟电压表,另一个为数字电压表。对于模拟电压表,测量的精度取决于仪表本身的精确度,以及测量者眼睛的识别率。对于数字电压表度量精度取决于仪表的有效位数。2.3.2量化(Quantization)电压值的量化
一个数字系统中
在一个数字系统中,通过对模拟量波形在离散的周期间隔内赋以有限的级别来对模拟信号进行编码。由图2.4(b)我们可以看到,影响量化精度的第一个因素应是用于编码的二进制的位数(即字长)。如:二位则22=4有4个区分度,若为3位则有8个区分度(23=8),若为4位,二进制则有16个区分度(24=16),16位则有65536个区分度(218=65536)。2.3.2量化(Quantization)区分度越高与模拟量的误差就越小。
第二个因素
第二个因素是波形允许的动态范围(称为振幅)。例如:系统若采用16位字长实现,则它能将65536个区分级中的某一个赋予理想的模拟波形。如果模拟波形被限定为最大电压级别峰值到峰值为1V,那么,最高声音信号被编码为1V,而最低声音等于1/65536V,这得出的允许动态范围近似于96dB(分贝)2.3.2量化(Quantization)
采样精度
量化精度:在数字化系统中,样本大小是用每个声音样本的位数bit/s(即bps)表示的,它反映度量声音波形幅度的精度。样本位数的大小影响到声音的质量,位数越多,声音的质量越高,而需要的存储空间也越多;位数越少,声音的质量越低,需要的存储空间越少。
采样精度(量化精度)采样精度的另一种表示
采样精度(量化精度)采样精度的另一种表示方法是信号噪声比,简称为信噪比(SNR,signal-to-noiseratio),并用下式计算:Vsignal表示信号电压,Vnoise表示噪声电压;SNR的单位为分贝(dB)。例:
声音的采样与量化量化
声音的采样与量化量化(1)采样率和字长是影响声音数字化质量的两个重要技术指标。(2)采样的字长决定了量化的精确度。(3)采样率越高,字长越长,需存储的声音数据就越多,系统的开销就越大。采样
2.3.3 编码(
数据编码技术又称压缩技术
由于声音的数字化,将有大量的数据需要计算机存贮,如果对这些音频数据不加编码压缩,则很难在个人计算机上实现多媒体功能。
数字化声音的基本参数
数字化声音的基本参数(Basic Parameters of Digital Sounds)
编码方法(encoding method / compression method )
数字声音末压缩前
数字声音末压缩前,波形声音存储量的计算公式为:存储量=(采样频率×量化位数×声道数)/ 8 ( B )例:以44.1 kHz为采样频率,量化比特数为16b ,立体声,录制一段2分钟的声音,存储这段没有压缩的声音数据所需要的容量为多少字节?44.1×1000×16×2×2×60 / 8 = 21168000 ( B )
2.3.4 声音的重构
Sound)若要播放数字化声音,就要经过解码、DA转换和插值。数字音频模拟音频
Sound)
解码(Decoding):编码的逆过程,又称解压缩
数模转化De-quantization ( D/A conversion ):将数字量再转化为模拟量
插值Interpolation:是为了弥补在采样过程中引起的语音信号失真而采取的一种补救措施,使得声音更加自然。
2.4 声音文件的存储格式
目前比较流行的有:.wav(waveform),au(audio),.aiff(AudioInterchangeableFileFormat)和.snd(sound)为扩展名的文件格式。
.wav格式主要用在PC上,.au主要用在Unix工作站上,.aiff和snd主要用在苹果机和美国视算科技有限公司(SiliconGraphics,Inc.,SGI)的工作站上。
2.4 声音文件的存储格式(续)
2.5 电子乐器数字接口
I(Musical Instrument Digital Interface)简介
MIDI可译成“电子乐器数字接口”。用于在音乐合成器、乐器和计算机之间交换音乐信息的一种标准协议。
从20世纪80年代初期开始,MIDI已经逐步被音乐家和作曲家广泛接受和使用。
MIDI是乐器和计算机使用的标准语言,是一套指令(即命令的约定),它指示乐器即MIDI设备要做什么,怎么做,如演奏音符、加大音量、生成音响效果等。MIDI不是声音信号,在MIDI电缆上传送的不是声音,而是发给MIDI设备或其它装置让它产生声音或执行某个动作的指令。
成声音
FM合成器生成乐音的基本原理如图2.8所示。它由5个基本模块组成:数字载波器、调制器、声音包络发生器、数字运算器和模数转换器。
成声音在乐音合成器中
成声音在乐音合成器中,数字载波波形和调制波形有很多种,不同型号的FM合成器所选用的波形也不同。图2.9是YamahaOPL-III数字式FM合成器采用的波形。图2.9声音合成器的波形
本合成声音
乐音样本的采集相对比较直观。音乐家在真实乐器上演奏不同的音符,选择44.1kHz的采样频率、16位的乐音样本,这相当于CD-DA的质量,把不同音符的真实声音记录下来,这就完成了乐音样本的采集。
通常乐音样本放在ROM芯片上,ROM是超大规模集成电路(verylargescaleintegrated,VLSI)芯片。
原理:图2.10是乐音样本合成器的框图。
原理:图2.10是乐音样本合成器的框图。
乐音样本合成器所需要的输入控制参数比较少,可控的数字音效也不多,大多数采用这种合成方法的声音设备都可以控制声音包络的ADSR参数,产生的声音质量比FM合成方法产生的声音质量要高。
I系统
MIDI协议提供了一种标准的和有效的方法,用来把演奏信息转换成电子数据。MIDI信息是以“MIDI messages”传输的,它可以被认为是告诉音乐合成器(music synthesizer)如何演奏一小段音乐的一种指令,而合成器把接收到的MIDI数据转换成声音。
MIDI数据流是单向异步的数据位流(bit stream),其速率为31.25 kbps,每个字节为10位(1位开始位,8位数据位和1位停止位)。
MIDI乐器上的MIDI接口通常包含3种不同的MIDI连接器,用IN(输入), OUT(输出)和THRU(穿越)。MIDI数据流通常由MIDI控制器
I系统图
I系统图(续)
I消息
MIDI消息可分成通道消息(ChannelMessages)和系统消息(SystemMessages)两大类。
MIDI文件的内容被称为MIDI消息(
MIDI消息可分成通道消息(ChannelMessages)和系统消息(SystemMessages)两大类。
MIDI的一些基本概念
MIDI音源相当于一个电子乐队,它划分成16个Channel(通道),每个通道相当于一个声部(组),各个声部演奏不同的乐器和不同的乐谱。
每个通道能演奏不同乐器(最多128种),称为音色。不同乐器有不同编号(Program或Patch号)。
每个通道在同一时间内只能演奏一种乐器,可随时改变;但声部数可以有若干个。即,每个MIDI通道在某一时间里可进行一种音色的独奏、齐奏或合奏。
音序器是乐队的指挥,它发出的是MIDI消息,对整体起作用的是system message,对个体起作用的是channel message.
MIDI Message
作用:每个message对应一个音乐事件。(如键压下、键释放等)
数据格式:1个状态字节(最高位为“1”)+ n个数据字节(最高位为“0”)
分类:
Channel message (带channel号,只对对应的MIDI通道起作用)
System message(不带channel号,对所有通道起作用)
Polyphony
Polyphony(复音),同时演奏多个音符称为Poly (如钢琴,吉他),一次只演奏1个音符称为Mono(单音)。
Multi-timbre(多音色)一个MIDI接收器可同时演奏多种乐器,称为“多音色”。
MIDI合成器的4种接收模式:
Mode 1: Omni on / Poly Mode 2: Omni on / Mono
Mode 3: Omni off / Poly Mode 4: Omni off / MonoOmni on----MIDI设备响应所有的channel messageOmni off---MIDI设备只响应自己的channel messagePoly----一次可同时演奏多个音符Mono---一次只能演奏一个音符
MIDI message举例
note on :
note off :音符#0 12 24 36 48 60 72 84 96 108 120 127音阶C-1C0C1C2C3C4C5C6C7C8C9C10击键力度0 1 , , , , , , , 64 , , , , , , , 127off ppp pp p mp mf f ff fff903c40003c90key#CH#speed
I文件规范
标准MIDI文件(Standard MIDI File)规范定义了3种MIDI文件格式,MIDI音序器能够管理文件标准规定的多个MIDI数据流,即声轨(tracks)。
MIDI文件格式0(Format 0)规定所有MIDI音序数据(MIDI sequence data)必须存储在单个声轨上,它仅用于简单的单声轨设备;
MIDI文件格式1(Format 1)规定数据以一个声轨集的方式存储;
MIDI文件格式2(Format 2)可用几个独立模式存储数据。
音序、音调和音色合成器或者声音发生器能够
的音序、音调和音色合成器或者声音发生器能够产生的不同声音一般用配音(patche)、指令(program)、算法(algorithm)、声音(sound)或者音色(timbre)来表示。现代合成器通常使用指令号(program number)来表示它们产生的不同声音。使用指令号(programnumber)或者配音号(patch number)来指定想要获得的声音(sound)。
IDI
通用MIDI规范(GeneralMIDISpecification)是由国际MIDI协会(InternationalMIDIAssociation)颁布的,用于通用MIDI乐器(GeneralMIDIInstruments)。
该规范包括通用MIDI声音集(GeneralMIDISoundSet)即配音映射(patchmap)、通用MIDI打击乐音集(GeneralMIDIPercussionSet)即打击乐音与音符号之间的映射、以及一套通用MIDI演奏(GeneralMIDIPerformance)能力,包括声音数目和MIDI消息类型等。
类型:
Music recording and performance(音乐录制和演奏)
Musical notations and printing(乐谱生成和打印)
Synthesizer patch editors and librarians(合成器编辑和管理)
Music education(音乐教育软件)
音序器软件MIDI键盘作曲软件MIDI文件管理MIDI编辑器MIDI合成器输出
MIDI小结
2.6 音频信息的压缩技术数据编码技术
2.6 音频信息的压缩技术
2.7 数字语音的应用
要在语音识别和语音合成两个方面。
语音识别:指机器收到语音信号后,如何模仿人的听觉器官辨别所听到的语音内容或讲话人的特征,进而模仿人脑理解出该语音的含义或判别出讲话人的过程。
分类1.按讲话者分类(1)特定人的语音识别系统:其特点是依赖于说话者只有在用特定单词组形成的词汇表系统训练后,它才能识别。(2)非特定人识别系统:此类系统可识别任何用户的语音。
质分类
质分类(1)孤立词(语音)识别系统:一次只提供一个单一词的识别。(2)连接词语音识别:连接词的语音由所说的短语组成,而短语又是由词序列组成。连接词语音识别可用于命令和控制应用。(3)连续语音识别:这种方法比孤立单词或连接词语音识别都复杂许多。
2.7.1 语音识别
化、幅度归一化、时间归一化和参数表示
化、幅度归一化、时间归一化和参数表示。②分割并把语音段标记成在基于知识或基于规则系统上的符号串。③识别词序列并进行语音段匹配。
量化语音端点检测计算语音谱估价音调轮廓图
、量化语音端点检测计算语音谱估价音调轮廓图分解、鉴定语音特征单词识别识别后的语音语音输入参考村料库语义分析理解后的语音语义库
语音变化大
同一字和词的发音受上下文影响而有不同(语音的同化、异化、换位、弱化、脱落等音变现象)。
环境噪声的干扰,例如墙壁与物体对声波的反射会与主声波重迭。
连续语音流不易把单字(词)区分出来(端点检测)例如,若单字(词)识别正确率为0.95,则:3个单字(词)组成的句子识别正确率为0.8578个单字(词)组成的句子识别正确率为0.663
单字(词)与库中的模板比较之前,必须进行复杂的“时间归一化”处理。
2.7.2 语音合成
言(2)语音基础(3)汉语语音(4)语音生成过程的两类方法(5)文语转换器
语音合成
语音合成(Speech synthesis)是指人们根据语言学的知识,在语音分析技术和语音存储技术的基础上,利用适当方法和手段,重构语音的过程。有两种情况:
第二种是模仿人说话。首先形成要说的内容;其次转成基本发音编码序列;然后进行判断理解,决定声调、重音和语气,形成“言语码”;最后控制并输出语音。(1)引言
语音合成的要求与应用
(2)语音基础
汉语的音素(元音42个,辅音22个;或者分为:声母21个,韵母39个)
语音基础
语音信号最重要的参数:基频、共振峰。共振峰是语音信号频谱包络线的峰值,从低频到高频方向记为F1,F2,F3…。
不同的音素各有其不同的参数。
(3)汉语语音
这三要素都是由音素组成的,汉语共有4种音素:辅音音素22个,单元音音素13个,复元单音素13个,复鼻尾音音素16个,总计共有64个音素。
通常把含有声调(阴平、阳平、上声和去声)的韵母合称“调母”,再由调母或由声母加调母组拼为音节。一个音节就是一个汉语语音。
(1)音系简单
(1)音系简单。即音节少、音素少。汉语普通话每个字的语音都是单音节字,每个字音虽为多音素。音素是语音的最小单位。(2)听感清亮、柔和。这是因为:清辅音多,所以没有快促之感;没有入声短促发音,所以使高频成份较多;开口音节多,所以听感好。(3)含有鲜明的轻重音和儿化韵。从而使字词分隔清楚,语言表达准确而丰富。汉字比其它国家的文字复杂,但汉语语言却比其它国家的语音简练得多。汉语语音的特点
(4)语音生成过程的方法(两类)
Time-dependent Sound Concatenation音素——音节——字——词——词组——句(可以在不同级别的语音单位上进行,最低级是音素。)(难点在于语音单位之间怎样自然过渡)
Frequency-dependent Sound Concatenation(参数——)音素——音节——字——词——词组——句脉冲序列发生器随机噪声发生器基音周期(声带振动)(声带不振动)音源幅度音源幅度浊音清音线性滤波器声道参数音素、音节
两类方法对比较波形合成法规则合成法语音单
两类方法对比较波形合成法规则合成法语音单位字、词、短语等音素(元音,辅音;声母,韵母等)存储形式波形形式特性参数(基频,幅度,共振峰等)合成方法波形连接优缺点存储量大;可懂度、自然度受语音单元大小的影响由音素组成音节,音节组成字和词,然后再组成句子在储量小,但很难得到高质量的语音波形合成法规则合成法语音单位字、词、短语等音素(元音,辅音;声母,韵母等)存储形式波形形式特性参数(基频,幅度,共振峰等)合成方法波形连接优缺点存储量大;可懂度、自然度受语音单元大小的影响由音素组成音节,音节组成字和词,然后再组成句子在储量小,但很难得到高质量的语音
语音生成困难困难如下
多音字(词)问题趋势:Sound-specific methods(两种方法相结合)
语音合成方法
语音合成方法(三种)①基于波形编码的合成;②基于分析-合成法的合成;③按规则合成。见如图2.14
语音合成方法(三种)波形编码分析合成按规
语音合成方法(三种)波形编码分析合成按规则合成波形特性参数语言符号存储器(模拟/数字)存储器(参数)合成规则(参数转换)存储单元波形连接存储器(参数)参数连接存储器(参数)参数序列的生成存储器(参数)信息的基本形成输入数据语音语音语音见如图2.14
(5)文语转换器文—语转换
(5)文语转换器文—语转换:与录音的重放不同,它是从输入的任何文本产生合成语音输出,这就相当于人去读书面文章的过程。这个过程既包含有很高级的信息处理,又包含发音器官复杂的生理控制。
(5)文语转换器
文—语转换系统由两个部分组成:1、发音器,这里主要是指语音合成器,它相当人的发音系统。2、是发声的驱动器,它的输入是要发声的文本串或其它语言信息,而它的输出用来驱动发声器发音。这两个部件都可用软件实现。
(5)文语转换器语法规则词库发音词典文本
(5)文语转换器语法规则词库发音词典文本分析语音控制韵律控制(节奏,音调)语音合成器音素库韵律规则库语音输出文本音标韵律音长,加重,声调,停顿综合谱,形状反射,声道特性图2.15文语转化系统结构
2.8 声音媒体编辑软件的应用
的录音机软件如果在计算机上安装了声卡和录音话筒(麦克风),使用便捷的Windows录音机软件便可直接进行声音的录制、编辑或播放。Windows录音机的主要功能涉及声音的录制、播放、编辑、效果处理和文件的管理。在Windows中使用“开始”/“程序”/“附件”/“娱乐”/“录音机”来打开声音控制面板。如图2.16所示。
录音机软件
的录音机软件1.声音的录制和播放(1)录制声音:按下程序界面上的红色“录音”按钮,程序开始接收传入的声音。默认录音“长度”值为60秒,当录音进行到60秒时将自动停止。如果再次按下“录音”按钮,“长度”值将会增加60秒。录音之后,选择“文件”/“保存”命令,输入文件名,便可将刚录入的数字声音存盘。(2)播放声音:可针对刚录制的声音,或者选择“文件”/“打开”命令打开已存在的声音文件。单击软件面板上的“放音”按钮可使声音文件从头播放,而移动滑块可随意改变播放位置。
的录音机软件2.声音的编辑(1)裁剪首
的录音机软件2.声音的编辑(1)裁剪首、尾声音片段:拖曳滑块到要分隔声音的位置,使用“编辑”/“删除当前位置之前的内容”或“删除当前位置之后的内容”命令,确定后完成首部或尾部声音的裁剪。(2)裁剪中间声音片段:拖曳滑块到第一部分要保留的声音结束位置,单击“编辑”/“复制”命令。拖曳滑块到要删除部分的结束位置,单击“编辑”/“粘贴插入”命令。然后选择“编辑”/“删除当前位置之前的内容”,确定后可完成中间片段的裁剪。
录音机软件
的录音机软件2.声音的编辑(续)(3)插入声音片段:先打开声音文件如“w1.wav”,将滑块移动到需要插入其他声音文件的位置。选择“编辑”/“插入文件”,可将其他声音文件如“w2.wav”从滑块位置插入“w1.wav”(4)合并声音片段:先打开声音文件如“w1.wav”,将滑块移动到需要与其他声音文件合并的位置。选择“编辑”/“与文件混音”命令,可将其他声音文件与当前文件声音效果相混合。
的录音机软件3.编辑声音使形成特殊效果单
的录音机软件3.编辑声音使形成特殊效果单击“效果”菜单,选择相应的命令可以使录制的声音变调而产生特殊的效果。如图2.17所示。
ol Edit
ol Edit1.启动运行CoolEdit首先安装CoolEdit,然后启动它,运行后的界面如图2.18所示。Cool1Edit是一个功能强大的多音轨音频混合编辑软件,集录音、混音、编辑于一体。它对声音的编辑非常简单,如同Word对文字的编辑一样,首先选中要编辑的部分,然后进行编辑操作(如复制、插入、删除等)。
将声音文件的某一段移动到另外一个位置
,将声音文件的某一段移动到另外一个位置。操作步骤为:①用鼠标选择要移动波形的部分,被选中的部分将会反色显示(左图);②单击Edit菜单,选择Cut命令(或键入Ctrl+X);③将光标移到另外一个所要的位置,单击Edit菜单,选择Past命令(或键入Ctrl+V)。操作过程如图2.19所示。
衰减、去噪①声音的放大
、衰减、去噪①声音的放大(衰减)在菜单栏中选择Transform/Ampplitude/Amplify,选择放大(衰减)的系数,或者从右上角的Presets预设中选取原来已经设置好的参数。单击OK开始喧染。②去噪基本思路:先设法分析出噪声源的频谱特性,然后削弱整个声音文件中符合该特征的成分。操作步骤:在菜单栏中选择Transform/NoiseReduce/NoiseReduce,接着弹出去噪的详细参数调整窗口,调整相应的参数设置,就可以对原始声音素材进行降噪处理。
20在CoolEdit中实现这些效果非常
20在CoolEdit中实现这些效果非常容易,选择Transform/Amplitude/Amplify命令,在预设栏中,选择Fade项,就可以对声音进行淡入淡出的处理。
dit可为编辑的声音加上如变调
dit可为编辑的声音加上如变调、回音等特殊效果。①声音的变调处理启动CoolEdit,载入需要处理的声音文件。在菜单栏上单击Transform,选择Time/Pitch中的Stretch命令,在Stretch对话框,选择PitchShift,这是固定音频时间长度的要点。然后,通过Transpose下拉列表框进行调整,软件己经按音乐调子设好变调幅度,可以半度半度地升调或降调,如图2.21所示。
调处理
调处理(续)如图2.21所示。
认,开始喧染。完成后,即可按播放键试听变
认,开始喧染。完成后,即可按播放键试听变调后的效果。②加入回音效果选择菜单栏中的Transform/DelayEffects/Echo命令,该软件打开Echo对话框,即可对声音进行回音处理。回音的选项很多,一般可以使用已经存在的预设值。通过改变这些值,可以得到不同的回音效果。
若要将两个声音文件叠加在一起
若要将两个声音文件叠加在一起,如为一段语音解说配上背景音乐,则可进行混音处理。
假设有两个波形声音文件:A.wav和B.wav,要混合成一个同时输出的wav文件。则操作步骤如下:
打开两个声音文件
在第一音轨上(TRACK1)单击鼠标右键,在弹出菜单上选择Insert/WaveFormFile插入B.wav文件
再在第二音轨上同样单击鼠标右键插入A.wav文件到CoolEdit中,通过剪切、删除,复制等操作,将两部分声音文件的长度修改为一致,使两个声音的波形基本上对应,按P1ay键试听一下效果
然后选择Edit编辑栏中的MixDown混合All"Waves“,把这两路声音信号混合成一个正常的双声道WAV文件。
2.9 本章小结
计算机如何处理声音的方法。音频信息的数字化可分为采样、量化和编码三步。
语音可以用波形文件的格式存储;
MIDI
MIDI:对于音乐,还有一种更为节省存储空间的方法即MIDI文件。
压缩:音频信息数据量大,需要压缩,压缩方法有两大类:有损压缩方法和无损压缩方法。
下载地址:{{downurl}}
{{{a}}}
{{#b}}{{{b}}}
{{/b}} {{/title}} {{#nolog}}登陆注册
{{/nolog}} {{#djsx}}点我刷新
{{/djsx}} {{#gocz}} {{/gocz}} {{#ffqr}} {{/ffqr}}