<4D F736F F D20B5DA36D5C22020D2F4C6B5BFF2BCDC>

Transcription

1 ANDROID 多媒体编程从初学到精通 作者 : 华清远见 第 6 章 音频框架 -- Android AAC LC/LTP HE-AACv1 AAC+ HE-AACv2 Enhanced AAC+ AMR-NB AMR-WB MP3 MIDI Ogg Vorbis PCM/WAV AMR-NB AMR-WB AAC LC/LTP PCM 在 Eclair 前,Android 的原生层音频框架采用了 Audio Flinger, 在 Eclair 中, 做了进一步的完善和扩展 Android 的音频管理框架如图 6-1 所示 6-1 Android

2 1.OpenMAX IL OpenMAX IL 作为 Open Core 采用的标准接口被用来创建 配置 加载编解码器的组件 更详细的信息参考 节 OpenMAX IL 集成层 2. 编解码器 实现了相关音频的标准 ( 如 MP3 AAC 和 AMR-NB 等 ) 的编解码算法等 这部分的内容将在 6.2 节单频编解码过程中介绍 3.LibAudio 位于音频驱动和音频管理器之间的接口层, 管理设备配置 增益控制和音频的后置处理等, 音频策略服务 (Audio Policy Service) 即位于这个共享库中 这部分内容在 6.1 节单频管理框架中介绍 音频管理框架 在 Eclair 前, 为了统一管理音频输出设备,Google 采用了 Audio Flinger 音频管理器来进行音频输出设备的管理, 在 Eclair 中, 进一步引入了音频策略服务的概念 Audio Flinger 能将多个音频流解码为 PCM 流并输出到音频输出设备上 在音频管理框架中, 利用 AudioSystem 来封装底层物理设备, 利用 AudioManager 来管理音量和铃声模式控制, 利用 AudioService 来管理音量, 利用音频策略服务来提供音频设备间的漫游功能 Audio Manager 是 AudioService 和 Audio System 的上层封装 图 6-2 显示了 Eclair 的音频管理框架 6-2 Eclair Audio Flinger 在 system_init.cpp 或者 main_mediaserver.cpp 中,Audio Flinger 被创建, 在创建过程中,Audio Flinger 会创建一个 AudioHardwareInterface 对象, 通过 AudioHardwareInterface 对象来与底层音频设备进行通信 如图 6-3 所示为 Audio Flinger 的类图 2

3 BpAudioFlingerClient IAudioFlingerClient 专业始于专注卓识源于远见 BnAudioFlingerClient IAudioTrack IAudioFlinger IAudioRecord BpAudioFlinger BnAudioFlinger AudioResampler AudioBufferProvider AudioStreamOut AudioFlinger AudioMixer AudioStreamIn AudioHardwareInterface AudioHardwareGeneric A2dpAudioInterface AudioHardwareBase AudioDumpInterface 6-3 AudioFlinger 其中 BnAudioFlinger 为本地 IAudioFlingerClient 对象,BpAudioFlinger 为远程 IAudioFlingerClient 对象在本地的代理 为了利用 AudioFlinger 服务, 需要将 AudioFlinger 服务注册到服务管理器中,AudioFlinger 的注册过程为 : void AudioFlinger::instantiate() defaultservicemanager()->addservice( String16("media.audio_flinger"), new AudioFlinger()); 如果开发者需要获得 AudioFlinger 句柄, 同样需要通过服务管理器进行, 同时还要判断 AudioFlinger 客户端是否存在, 实现过程如下 : 代码 6-1 获得 AudioFlinger 句柄 const sp<iaudioflinger>& AudioSystem::get_audio_flinger() Mutex::Autolock _l(glock); if (gaudioflinger.get()==0) sp<iservicemanager> sm=defaultservicemanager(); // 获取服务管理器 sp<ibinder> binder; do binder=sm->getservice(string16("media.audio_flinger"));// 获取服务 if (binder!= 0) break; LOGW("AudioFlinger not published, waiting..."); usleep(500000); // 0.5s while(true); if (gaudioflingerclient==null) gaudioflingerclient=new AudioFlingerClient(); // 创建 AudioFlinger 客户端 if (gaudioerrorcallback) gaudioerrorcallback(no_error); binder->linktodeath(gaudioflingerclient); // 注册接收者 gaudioflinger=interface_cast<iaudioflinger>(binder); gaudioflinger->registerclient(gaudioflingerclient);// 注册客户端 LOGE_IF(gAudioFlinger==0, "no AudioFlinger!?"); return gaudioflinger; 3

4 在 Audio Flinger 的管理框架中,AudioHardwareInterface 是底层音频设备的抽象, 而 AudioStreamIn 是对音频输入设备的抽象,AudioStreamOut 是对音频输出设备的抽象 AudioStreamOut 和 AudioStreamIn 描述了音频设备的采样速率 音频缓冲 信道 音频格式 设备状态等信息,AudioHardwareInterface 对音频参数 音量 音频路由 ( 有线耳机 扬声器 蓝牙耳机等 ) 音频输入输出流等信息进行了抽象 Audio Flinger 通过 AudioTrack 来进行声道 ( 单声道 左声道 右声道 ) 的设置 在 AudioFlinger 的创建过程中, 要首先创建音频设备, 然后设置音频参数 实现如下 : 代码 6-2 AudioFlinger 的创建过程 AudioFlinger::AudioFlinger() : BnAudioFlinger(), maudiohardware(0), mmastervolume(1.0f), mmastermute(false), mnextthreadid(0) mhardwarestatus=audio_hw_idle; // 空闲状态 maudiohardware=audiohardwareinterface::create(); // 创建音频设备 mhardwarestatus=audio_hw_init; if (maudiohardware->initcheck()==no_error) // 为 S/W 混音器打开 16 比特的输出流 // 初始化状态 // 检查音频设备是否初始化 setmode(audiosystem::mode_normal); // 设备模式 setmastervolume(1.0f); // 设置音量 setmastermute(false); // 设置互斥 LOGE("Couldn't even initialize the stubbed audio hardware!"); 如果是在模拟器上运行, 创建的音频设备为 AudioHardwareGeneric 对象, 如果在实际环境中运行, 通过 AudioHardwareInterface* createaudiohardware(void) 创建具体设备的对象 如果 AudioFlinger 运行的进程因异常死掉,AudioSystem 会收到一个事件通知 : void AudioSystem::AudioFlingerClient::binderDied(const wp<ibinder>& who) Mutex::Autolock _l(audiosystem::glock); AudioSystem::gAudioFlinger.clear(); if (gaudioerrorcallback) gaudioerrorcallback(dead_object); LOGW("AudioFlinger server died!"); 当收到媒体服务进程死掉的消息时, 通过 AudioSystem.setErrorCallback() 注册的回调函数 maudiosystemcallback 会收到 AudioSystem.AUDIO_STATUS_SERVER_DIED 信息 当 Audio Service 监听到这个消息时,Audio Service 会调用原生方法 AudioSystem.isMusicActive() 强制重启 Audio Flinger 当重启 Audio Flinger 成功后, 通过 AudioSystem.setErrorCallback() 注册的回调函数 maudiosystemcallback 会收到 AudioSystem.AUDIO_STATUS_OK 信息 当 Audio Service 监听到这个消息时,Audio Service 会配置底层音频系统, 如模式 路由 音量等 具体实现如下 : 代码 6-3 配置底层音频系统 case MSG_MEDIA_SERVER_STARTED: Log.e(TAG, "Media server started."); // 设置设备连接状态 Set set=mconnecteddevices.entryset(); Iterator i=set.iterator(); while(i.hasnext()) Map.Entry device=(map.entry)i.next();audiosystem.setdeviceconnectionstate ((Integer)device. getkey()).intvalue(),audiosystem.device_state_available, 4

5 (String)device.getValue()); AudioSystem.setPhoneState(mMode); // 设置 Phone 状态 AudioSystem.setForceUse(AudioSystem.FOR_COMMUNICATION, mforceduseforcomm); AudioSystem.setForceUse(AudioSystem.FOR_RECORD, mforceduseforcomm); // 设置流音量 int numstreamtypes=audiosystem.getnumstreamtypes(); for (int streamtype=numstreamtypes - 1; streamtype>=0; streamtype--) int index; VolumeStreamState streamstate=mstreamstates[streamtype]; AudioSystem.initStreamVolume(streamType, 0, (streamstate.mindexmax + 5) / 10); if (streamstate.mutecount()==0) index=streamstate.mindex; index=0; setstreamvolumeindex(streamtype, index); // 配置铃声模式 setringermodeint(getringermode(), false); break; 音频系统对上层的播放接口之一为 Audio Track, 每一路音频会对应一个 IAudioTrack 对象 它会通过 IBinder 来远程调用 Audio Flinger:: createtrack() 方法 为了创建一个 IAudioTrack 对象, 需要制定流类型 采用速率 音频格式 频道数 帧数 共享缓冲等, 具体过程如下 : 代码 6-4 Audio Flinger:: createtrack() 的实现 status_t AudioTrack::createTrack( int streamtype, uint32_t samplerate, int format, int channelcount, int framecount, uint32_t flags, const sp<imemory>& sharedbuffer, audio_io_handle_t output) status_t status; const sp<iaudioflinger>& audioflinger=audiosystem::get_audio_flinger();// 获取服务 if (audioflinger==0) LOGE("Could not get audioflinger"); return NO_INIT; sp<iaudiotrack> track=audioflinger->createtrack(getpid(),// 创建一路音频 streamtype,samplerate,format,channelcount,framecount, ((uint16_t)flags)<<16,sharedbuffer,output,&status); if (track==0) LOGE("AudioFlinger could not create track, status: %d", status); return status; sp<imemory> cblk=track->getcblk(); // 获得控制块 if (cblk==0) LOGE("Could not get control block"); return NO_INIT; maudiotrack.clear(); // 清空通路 maudiotrack=track; mcblkmemory.clear(); mcblkmemory=cblk; mcblk=static_cast<audio_track_cblk_t*>(cblk->pointer()); mcblk->out=1; 5

6 // 更新缓冲大小 mframecount=mcblk->framecount; if (sharedbuffer==0) mcblk->buffers=(char*)mcblk + sizeof(audio_track_cblk_t); mcblk->buffers=sharedbuffer->pointer(); mcblk->stepuser(mframecount); mcblk->volumelr=(int32_t(int16_t(mvolume[left] * 0x1000)) << 16) int16_t(mvolume[right] * 0x1000); mcblk->buffertimeoutms=max_startup_timeout_ms; mcblk->waittimems=0; return NO_ERROR; AudioFlinger::createTrack() 方法会在内部生成一个 Track 对象, 并包装为一个 TrackHandle 对象返回给 AudioTrack 在实现中,AudioTrack 会通过 Track 对象来执行控制操作 (start stop 等 ) 和写入操作, 而 AudioFlinger 则负责管理多个 Track 对象 两者之间类似生产者和消费者的关系 根据操作的不同,AudioFlinger 在创建 Track 对象时, 会创建不同的线程, 用于播放的 PlaybackThread MixerThread DirectOutputThread 线程, 用于音频记录的 RecordThread 线程, 并创建一个 TrackHandle 句柄返回客户端 Track::start() 方法和 Track::stop() 方法在 AudioFlinger 中起着向 AudioFlinger:: mactivetracks 队列中添加或去除 Track 的作用 下面是音频播放线程的 Track::start() 方法的实现过程 : 代码 6-5 Track::start() 实现的实现过程 status_t AudioFlinger::PlaybackThread::Track::start() status_t status=no_error; LOGV("start(%d), calling thread %d", mname, IPCThreadState::self()->getCalling Pid()); sp<threadbase> thread=mthread.promote(); if (thread!= 0) Mutex::Autolock _l(thread->mlock); int state=mstate; if (mstate==paused) mstate=trackbase::resuming; LOGV("PAUSED => RESUMING (%d) on thread %p", mname, this); mstate=trackbase::active; LOGV("? => ACTIVE (%d) on thread %p", mname, this); if (!isoutputtrack() && state!= ACTIVE && state!= RESUMING) thread->mlock.unlock(); status=audiosystem::startoutput(thread->id(), (AudioSystem::stream_type)mStreamType); // 开始输出 thread->mlock.lock(); if (status==no_error) PlaybackThread *playbackthread=(playbackthread *)thread.get(); playbackthread->addtrack_l(this); // 添加 Track mstate=state; status=bad_value; return status; 下面是音频播放线程的 Track:: stop () 的实现过程 : 6

7 代码 6-6 Track::stop() 的实现过程 void AudioFlinger::PlaybackThread::Track::stop() LOGV("stop(%d), calling thread %d", mname, IPCThreadState::self()->getCalling Pid()); sp<threadbase> thread=mthread.promote(); if (thread!= 0) Mutex::Autolock _l(thread->mlock); int state=mstate; if (mstate > STOPPED) mstate=stopped; // 如果 track 没有激活, 刷新缓冲 PlaybackThread *playbackthread=(playbackthread *)thread.get(); if (playbackthread->mactivetracks.indexof(this)<0) reset(); LOGV("(> STOPPED) => STOPPED (%d) on thread %p", mname, playbackthread); if (!isoutputtrack() && (state==active state==resuming)) thread->mlock.unlock(); AudioSystem::stopOutput(thread->id(), (AudioSystem::stream_type)mStreamType);// 停止输出 thread->mlock.lock(); Audio Flinger 对 Track 的管理主要是通过当前线程的 threadloop() 来实现的 下面是 AudioFlinger::MixerThread::threadLoop() 的实现过程 : 代码 6-7 AudioFlinger::MixerThread::threadLoop() 的实现过程 bool AudioFlinger::MixerThread::threadLoop() int16_t* curbuf=mmixbuffer; Vector< sp<track> > trackstoremove; uint32_t mixerstatus=mixer_idle; nsecs_t standbytime=systemtime(); size_t mixbuffersize=mframecount * mframesize; nsecs_t maxperiod=seconds(mframecount) / msamplerate * 3; nsecs_t lastwarning=0; bool longstandbyexit=false; uint32_t activesleeptime=activesleeptimeus(); uint32_t idlesleeptime=idlesleeptimeus(); uint32_t sleeptime=idlesleeptime; while (!exitpending()) // 检查待决条件 processconfigevents(); mixerstatus=mixer_idle; Mutex::Autolock _l(mlock); if (checkfornewparameters_l()) mixbuffersize=mframecount * mframesize; maxperiod=seconds(mframecount) / msamplerate * 3; activesleeptime=activesleeptimeus(); idlesleeptime=idlesleeptimeus(); const SortedVector< wp<track> >& activetracks=mactivetracks; // 在短延迟后, 将音频硬件设为待机 if UNLIKELY((!activeTracks.size() && systemtime() > standbytime) msuspended) if (!mstandby) LOGV("Audio hardware entering standby, mixer %p, msuspended %d\n", this, msuspended); 7

8 moutput->standby(); mstandby=true; mbyteswritten=0; if (!activetracks.size() && mconfigevents.isempty()) // 刷新 binder 命令缓冲 IPCThreadState::self()->flushCommands(); if (exitpending()) break; LOGV("MixerThread %p TID %d going to sleep\n", this, gettid()); mwaitworkcv.wait(mlock); LOGV("MixerThread %p TID %d waking up\n", this, gettid()); if (mmastermute==false) char value[property_value_max]; property_get("ro.audio.silent", value, "0"); if (atoi(value)) LOGD("Silence is golden"); setmastermute(true); standbytime=systemtime() + kstandbytimeinnsecs; sleeptime=idlesleeptime; continue; mixerstatus=preparetracks_l(activetracks, &trackstoremove); if (LIKELY(mixerStatus==MIXER_TRACKS_READY)) // 混音器缓冲 maudiomixer->process(curbuf); sleeptime=0; standbytime=systemtime() + kstandbytimeinnsecs; if (sleeptime==0) if (mixerstatus==mixer_tracks_enabled) sleeptime=activesleeptime; sleeptime=idlesleeptime; if (mbyteswritten!= 0 (mixerstatus==mixer_tracks_enabled && longstandbyexit)) memset (curbuf, 0, mixbuffersize); sleeptime=0; LOGV_IF((mBytesWritten==0 && (mixerstatus==mixer_tracks_enabled && longstandbyexit)), "anticipated start"); if (msuspended) sleeptime=idlesleeptime; if (sleeptime==0) mlastwritetime=systemtime(); minwrite=true; int byteswritten=(int)moutput->write(curbuf, mixbuffersize);// 写入数据 if (byteswritten > 0) mbyteswritten += byteswritten; mnumwrites++; minwrite=false; nsecs_t now=systemtime();// 系统时间 nsecs_t delta=now - mlastwritetime; if (delta > maxperiod) mnumdelayedwrites++; if ((now - lastwarning) > kwarningthrottle) 8

9 LOGW("write blocked for %llu msecs, %d delayed writes, thread %p", ns2ms(delta), mnumdelayedwrites, this); lastwarning=now; if (mstandby) longstandbyexit=true; mstandby=false; usleep(sleeptime); trackstoremove.clear(); if (!mstandby) moutput->standby(); // 进入待机 LOGV("MixerThread %p exiting", this); return false; 当进行音频播放时, 需要打开输出流, 实现过程如下 : 代码 6-8 AudioFlinger::openOutput() 的实现过程 int AudioFlinger::openOutput(uint32_t *pdevices, uint32_t *psamplingrate, uint32_t *pformat, uint32_t *pchannels, uint32_t *platencyms, uint32_t flags) status_t status; PlaybackThread *thread=null; mhardwarestatus=audio_hw_output_open; uint32_t samplingrate=psamplingrate? *psamplingrate : 0; uint32_t format=pformat? *pformat : 0; uint32_t channels=pchannels? *pchannels : 0; uint32_t latency=platencyms? *platencyms : 0; LOGV("openOutput(), Device %x, SamplingRate %d, Format %d, Channels %x, flags %x", pdevices? *pdevices : 0, samplingrate, format, channels, flags); if (pdevices==null *pdevices==0) return 0; Mutex::Autolock _l(mlock); // 打开输出流 AudioStreamOut *output=maudiohardware->openoutputstream(*pdevices, (int *)&format, &channels, &samplingrate, &status); LOGV("openOutput() openoutputstream returned output %p, SamplingRate %d, Format %d, Channels %x, status %d", output, samplingrate, format, channels, status); mhardwarestatus=audio_hw_idle; 9

10 if (output!= 0) if ((flags & AudioSystem::OUTPUT_FLAG_DIRECT) (format!=audiosystem::pcm_16_bit) (channels!=audiosystem::channel_out_stereo)) thread=new DirectOutputThread(this, output, ++mnextthreadid); LOGV("openOutput() created direct output: ID %d thread %p", mnextthreadid, thread); thread=new MixerThread(this, output, ++mnextthreadid); LOGV("openOutput() created mixer output: ID %d thread %p", mnextthreadid, thread); mplaybackthreads.add(mnextthreadid, thread); if (psamplingrate) *psamplingrate=samplingrate; if (pformat) *pformat=format; if (pchannels) *pchannels=channels; if (platencyms) *platencyms=thread->latency(); return mnextthreadid; return 0; 当需要进行音频录制时, 需要打开输入流, 实现过程如下 : 代码 6-9 AudioFlinger:: openinput() 的实现过程 int AudioFlinger::openInput(uint32_t *pdevices, uint32_t *psamplingrate, uint32_t *pformat, uint32_t *pchannels, uint32_t acoustics) status_t status; RecordThread *thread=null; uint32_t samplingrate=psamplingrate? *psamplingrate : 0; uint32_t format=pformat? *pformat : 0; uint32_t channels=pchannels? *pchannels : 0; uint32_t reqsamplingrate=samplingrate; uint32_t reqformat=format; uint32_t reqchannels=channels; if (pdevices==null *pdevices==0) return 0; Mutex::Autolock _l(mlock); // 打开输入流 AudioStreamIn *input=maudiohardware->openinputstream(*pdevices, (int *)&format, &channels, &samplingrate, &status, (int *)&format, (AudioSystem::audio_in_acoustics)acoustics); LOGV("openInput() openinputstream returned input %p, SamplingRate %d, Format %d, (int *)&format, Channels %x, acoustics %x, status %d", input, samplingrate, format, channels, acoustics, status); if (input==0 && status==bad_value && reqformat==format && format==audiosystem::pcm_16_bit && (samplingrate <= 2 * reqsamplingrate) && 10

11 (AudioSystem::popCount(channels)<3) && (AudioSystem::popCount(reqChannels)<3)) LOGV("openInput() reopening with proposed sampling rate and channels"); input=maudiohardware->openinputstream(*pdevices, (int *)&format, &channels, &samplingrate, &status, (AudioSystem::audio_in_acoustics)acoustics); if (input!= 0) // 启动录音线程 thread=new RecordThread(this, input, reqsamplingrate, reqchannels, (int *)&format,++mnextthreadid); mrecordthreads.add(mnextthreadid, thread); LOGV("openInput() created record thread: ID %d thread %p", mnextthreadid, thread); if (psamplingrate) *psamplingrate=reqsamplingrate; if (pformat) *pformat=format; if (pchannels) *pchannels=reqchannels; input->standby(); return mnextthreadid; return 0; 需要说明的是,Audio System 的路由功能在 Eclair 中被下移到音频策略服务中, 这部分的功能将在下一节介绍 Audio Policy Service 音频策略服务 (Audio Policy Service) 是在 Eclair 中独立出来的一个新服务 如图 6-4 所示为音频策略服务的类图, 其中 AudioPolicyInterface 和 AudioPolicyClientInterface 定义了平台特定音频策略管理器和 Android 通用音频策略客户端之间的通信接口, 平台特定的音频策略管理器必须实现 AudioPolicyInterface 中定义的方法, 而 AudioPolicyClientInterface 则控制着音频输入 / 输出流的活动和配置 平台特定音频策略管理器负责特定平台的音频路由和音量控制 音频策略服务主要负责跟踪当前系统状态 ( 可插拔设备连接 电话状态 用户请求等 ) 系统的状态变化和用户行为将会通过 AudioPolicyInterface 接口发送给音频策略管理器 (Audio Policy Manager), 并在 Audio Flinger 创建 AudioTrack 对象时, 处理 getoutput() putoutput() 等操作, 处理与 AudioRecord 对象相关的 getinput() putinput() 等, 处理音频控制请求 AudioPolicyManager AudioPolicyManagerGeneric AudioPolicyClientInterface AudioSystem AudioPolicyInterface AudioPolicyService BpAudioPolicyService IAudioPolicyService BnAudioPolicyService 6-4 根据应用的不同, 音频策略服务提供了不同的路由策略, 在 Eclair 中,Android 目前提供的路由策略分为 STRATEGY_MEDIA STRATEGY_PHONE STRATEGY_SONIFICATION STRATEGY_DTMF 等 在 STRATEGY_MEDIA 路由策略中, 如果正在进行通话, 则不进行音乐播放 在 STRATEGY_PHONE 路由策略中, 其策略需要首先考虑当前的音频设备, 然后根据设定的优先级 11

12 选择 在 STRATEGY_SONIFICATION 路由策略中, 如果正在进行通话,STRATEGY_ SONIFICATION 路由策略同 STRATEGY_PHONE 路由策略一致 ; 如果不在通话过程中, 且当前应用的是车载蓝牙设备, 则不进行路由 ; 如果当前应用的是桌面蓝牙设备, 路由到扬声器设备 在 STRATEGY_DTMF 路由策略中, 如果正在进行通话, 则 STRATEGY_DTMF 路由策略与 STRATEGY_PHONE 路由策略一致 ; 如果不在通话过程中, 则 STRATEGY_DTMF 路由策略与 STRATEGY_MEDIA 路由策略一致 具体策略如下 : 代码 6-10 音频策略服务的路由策略 uint32_t AudioPolicyManager::getDeviceForStrategy(routing_strategy strategy) uint32_t device=0; switch (strategy) case STRATEGY_DTMF: //DTMF 音 if (mphonestate!= AudioSystem::MODE_IN_CALL) // 在电话挂断后,DTMF 执行和 MEDIA 同样的策略 device=getdeviceforstrategy(strategy_media); break; // 在通话中,DTMF 执行和 PHONE 同样的策略 case STRATEGY_PHONE: // 通话 // 对于 phone 路由策略, 首先考虑强制通信, 然后根据优先级顺序执行 switch (mforceuse[audiosystem::for_communication]) case AudioSystem::FORCE_BT_SCO: // 蓝牙 if (mphonestate!= AudioSystem::MODE_IN_CALL strategy!= STRATEGY_DTMF) device=mavailableoutputdevices & AudioSystem::DEVICE_OUT_BLUETOOTH_SCO_CARKIT; if (device) break; device=mavailableoutputdevices &AudioSystem::DEVICE_OUT_BLUETOOTH_SCO_HEADSET; if (device) break; device=mavailableoutputdevices &AudioSystem::DEVICE_OUT_BLUETOOTH_SCO; if (device) break; default: // FORCE_NONE device=mavailableoutputdevices & AudioSystem::DEVICE_OUT_WIRED_HEADPHONE; if (device) break; device=mavailableoutputdevices & AudioSystem::DEVICE_OUT_WIRED_HEADSET; if (device) break; if (mphonestate!= AudioSystem::MODE_IN_CALL) if (mforceuse[audiosystem::for_dock]==audiosystem::force_bt_car_dock) device=mavailableoutputdevices & AudioSystem::DEVICE_OUT_BLUETOOTH_A2DP; if (mforceuse[audiosystem::for_dock]==audiosystem::force_bt_desk_dock) device=mavailableoutputdevices & AudioSystem::DEVICE_OUT_SPEAKER; if (device) break; device=mavailableoutputdevices & AudioSystem::DEVICE_OUT_EARPIECE; if (device==0) LOGE("getDeviceForStrategy() earpiece device not found"); break; case AudioSystem::FORCE_SPEAKER: if (mphonestate!= AudioSystem::MODE_IN_CALL strategy!=strategy_dtmf) device=mavailableoutputdevices & AudioSystem::DEVICE_OUT_BLUETOOTH_SCO_CARKIT; if (device) break; if (mphonestate!=audiosystem::mode_in_call && mforceuse[audiosystem::for_dock]==audiosystem::force_bt_car_dock) device=mavailableoutputdevices & AudioSystem::DEVICE_OUT_BLUETOOTH_A2DP; 12

13 if (device) break; device=mavailableoutputdevices & AudioSystem::DEVICE_OUT_SPEAKER; if (device==0) LOGE("getDeviceForStrategy() speaker device not found"); break; break; case STRATEGY_SONIFICATION: if (mphonestate==audiosystem::mode_in_call) device=getdeviceforstrategy(strategy_phone); break; if (mforceuse[audiosystem::for_dock]!= AudioSystem::FORCE_BT_CAR_DOCK) device=mavailableoutputdevices & AudioSystem::DEVICE_OUT_SPEAKER; if (device==0) LOGE("getDeviceForStrategy() speaker device not found"); if (mforceuse[audiosystem::for_dock]==audiosystem::force_bt_desk_dock) if (mavailableoutputdevices & AudioSystem::DEVICE_OUT_WIRED_HEADPHONE) device = AudioSystem::DEVICE_OUT_WIRED_HEADPHONE; if (mavailableoutputdevices & AudioSystem::DEVICE_OUT_WIRED_HEADSET) device = AudioSystem::DEVICE_OUT_WIRED_HEADSET; break; device=0; case STRATEGY_MEDIA: uint32_t device2=mavailableoutputdevices & AudioSystem::DEVICE_OUT_AUX_DIGITAL; if (device2==0) if (mforceuse[audiosystem::for_dock]!= AudioSystem::FORCE_NONE) device2=mavailableoutputdevices & AudioSystem::DEVICE_OUT_WIRED_HEADPHONE; if (device2==0) device2=mavailableoutputdevices & AudioSystem::DEVICE_OUT_WIRED_HEADSET; if (device2==0 && strategy==strategy_sonification && ma2dpoutput!= 0 && mscodeviceaddress==ma2dpdeviceaddress && mphonestate==audiosystem::mode_ringtone) device2=mavailableoutputdevices & AudioSystem::DEVICE_OUT_SPEAKER; if (device2==0) device2=mavailableoutputdevices & AudioSystem::DEVICE_OUT_BLUETOOTH_A2DP; if (device2==0) device2=mavailableoutputdevices & AudioSystem::DEVICE_OUT_BLUETOOTH_A2DP_HEADPHONES; if (device2==0) device2=mavailableoutputdevices & AudioSystem::DEVICE_OUT_BLUETOOTH_A2DP_SPEAKER; if (device2==0) device2=mavailableoutputdevices & AudioSystem::DEVICE_OUT_WIRED_HEADPHONE; if (device2==0) device2=mavailableoutputdevices & AudioSystem::DEVICE_OUT_WIRED_HEADSET; if (device2==0) device=mavailableoutputdevices & AudioSystem::DEVICE_OUT_SPEAKER; if (device==0) LOGE("getDeviceForStrategy() speaker device not found"); 13

14 device = device2; if (mphonestate==audiosystem::mode_in_call &&!AudioSystem::isA2dpDevice((AudioSystem::audio_devices)device) && device!=getdeviceforstrategy(strategy_phone)) device=0; LOGV("getDeviceForStrategy() incompatible media and phone devices"); break; default: LOGW("getDeviceForStrategy() unknown strategy: %d", strategy); break; LOGV("getDeviceForStrategy() strategy %d, device %x", strategy, device); return device; 平台特定音频策略管理器在实际实现中, 作为共享库 libaudio.so 通过 libaudioflinger.so 被链接到系统中 音频编解码过程 为了减小传输过程中的数据流量和存储空间, 媒体文件必须进行压缩 以 CD 音质的 WAV 格式为例, 如果采样率为 44.1kHz, 即每秒接收 个值, 立体声, 采样数据宽度为 16 位 (2 字节 ), 这 4 分钟长度的歌曲占据的空间为 : 声道 2 字节 8 比特 60 秒 4 分钟 = bit MB 如果从网上下载该音乐, 假设传输速率为 128Kb/s, 则下载时间为 : bit/128K/1024bit/60s 43 分钟 因此考虑到流量和存储空间的因素, 在进行音频记录时必须考虑压缩, 在目前的主流移动计算平台上, 支持的音频记录格式主要有 AAC 和 AMR-NB 两种 部分厂商也提供了对元数据 PCM 的记录支持 AAC(Adpative Audio Coding) 是在 MP3 基础上开发出来的, 其主要算法早在 1997 年即开发完成 与 MP3 相比,AAC 采用了修正离散余弦变换 (MDCT,Modified Discrete Cosiine Transform) 算法, 具有拥有更高的压缩率, 能够支持最多 48 个全音域声道, 最高支持 8kHz~96kHz 的采样速率, 具有更高的解码效率, 占用的解码资源更少 AAC 有效地解决了 MP3 的压缩率较低 音质尤其是在低码率下不够理想 仅有两个声道等问题 目前支持 AAC 的厂家主要有 Nokia Apple Qalcomm Panasonic 等 关于 AAC 的编码器在 PC 上有很多 (Fraunhofer IIS FHG AAC NERO AAC QuickTime/iTune AAC Psytel Coding Technologies Dolby AAC FAAC 等 ), 官方定义的扩展名为 *.mp4(mpeg-4) MP4 文件可以装载形如 H.264 视频及 MPEG4-AAC 音频, 也可只装载没有声音的视频 ( 单独 H.264) 或者装载没有图像的音频 ( 单独 MPEG4-AAC) 另外,Apple 公司将只包含音频的 MPEG4-AAC 扩展名定义为 *.m4a 需要说明的是,*.aac 扩展名不属于 MPEG4-AAC 规格, 而是属于 MPEG2-AAC 规格, 近来已经很少用 关于 AAC 压缩算法的规范可以参考 ISO/IEC (MPEG-2 AAC Audio Codec) 和 ISO/IEC (MPEG-4 Audio Codec AAC Low Complexity) 在 OpenCORE 中, 目前并没有提供对 AAC 编码的支持 在本书中就不再对 AAC 的编解码进行过多的介绍了 AMR 根据带宽的不同可以分为自适应多速率宽带编码 (AMR-WB,AMR WideBand) 和自适应多速率窄带编码 (AMR-NB,AMR NarrowBand) 其中 AMR-WB 的音频带宽为 50~7000Hz, 采样速率为 16kHz, 14

15 而 AMR-NB 的音频带宽为 300~3400Hz, 采样速率为 8kHz AMR-WB 同时被 ITU-T 和 3GPP 采用, 也称 G722.2 标准 AMR-WB 抗扰度优于 AMR-NB 在 Android 中, 上层目前提供了 MediaRecorder 类等来支持音频内容的编码 AMR 的编码过程 AMR 在 2G 和 3G 通信中, 都是最常用的一种音频编码格式, 根据制定组织的不同, 帧结构略有不同 目前业界采用的 AMR 的帧结构主要是由 ETS WMF IETF 和 3GPP 等制定 其中 GDM&&GPRS 采用的是 ETS 制定的帧结构,WCDMA&&TD-SCDMA 采用的是 3GPP 制定的帧结构 在 3GPP TS [28] 和 3GPP TS [29] 中,3GPP 针对 AMR-NB 和 AMR-WB 定义了两种 AMR (Adaptive Multi-Rate) 的帧结构 :AMR IF1(Interface Format 1) 和 AMR IF2(Intetrface Format2) 在 RFC 3267 [30] 中定义了 AMR 的流媒体传输格式和文件存储格式 AMR 的压缩比比较大, 压缩质量较差, 主要用于人声 通话等场景 GSM 采用的增强型全速率编码 (EFR,Enhenced Full Rate) 的采样频率为 8kHz, 音频带宽为 200~ 3400Hz, 与此相比 AMR-WB 使用户可主观感受到比以前更加自然 舒适和易于分辨的话音 在 3G 应用中, 由于 3G 的带宽远比 2G 要宽, 足以支持 AMR-WB 采用从 6.6Kb/s 到 23.85Kb/s 共 9 种编码, 使得语音质量超越 PSTN 固定电话 AMR 具备支持 16 种编码方式的能力 AMR-NB 已经支持 8 种编码方式, 剩余 8 种用于噪音或暂时被保留 ;AMR-WB 已经支持 9 种编码方式, 剩余 7 种用于噪音或暂时被保留 AMR 有两种类型的帧格式 :AMR IF1 和 AMR IF2 AMR IF1 的帧结构包括 3 个部分 :AMR 头信息 AMR 附加信息 ( 用于模式匹配 检错等 ) AMR 核心帧 ( 语音和噪音数据 ) 图 6-5 显示的是 AMR IF1 帧结构 6-5 AMR IF1 其中帧质量指示符 (Frame Quality Indicator) 表示帧数据的质量, 如果为 0, 则表示是损坏的帧, 如果为 1, 则表示是正常的帧 在帧数据部分, 层 A(Class A) 表示的是一帧中最重要 最敏感的数据, 该层数据一旦损坏, 该帧将无法被解码, 所以在无线传输 AMR 数据时, 一般会通过 AMR 附加信息的校验信息对这部分数据进行保护 15

16 层 B(Class B) 的数据为次要数据, 层 C(Class C) 的数据为非重要数据 与 AMR IF1 帧结构不同, 在 AMR IF2 帧结构中, 除去了帧质量指示符和 AMR 附加信息 但增加了填充位部分, 以使整个帧的长度达到字节的整数倍 图 6-6 显示的是 AMR IF2 的帧结构 6-6 AMR IF2 在编码方式上, 根据记录的比特率,AMR-WB 提供了 9 种不同的编码速率 :6.60 Kb/s 8.85 Kb /s Kb /s Kb /s Kb /s Kb /s Kb /s Kb /s Kb /s 对应的模式指示符 (Mode Indication) 和模式请求 (Mode Request) 为 0~8 同样根据记录的比特率,AMR-NB 提供了 8 种不同的编码速率, 分别为 4.75 Kb /s 5.15 Kb /s 5.90 Kb /s 6.70 Kb /s(pdc-efr) 7.40 Kb /s(tdma-efr) 7.95 Kb /s 10.2 Kb /s 12.2 Kb /s (GSM-EFR) 对应的模式指示符 (Mode Indication) 和模式请求 (Mode Request) 为 0~7 在编码方式上,AMR 采用了 3GPP TS 26 Series 的多速率码激励线性预测 (MR-ACELP,Multi-rate Algebraic Code Excited Linear Prediction) 编码方法 这种方法基于 CELP 编码模式, 用全极点线性滤波器模拟语音特性 AMR 以 20ms 的语音作为一帧进行处理, 每一帧又分为 4 个 5ms 的子帧 AMR 可以工作于多种不同的编码速率, 并且在每帧的边界处可以在多种源速率之间进行切换 在 OpenCORE 中, 相关的编码过程位于 external\opencore\codecs_v2\audio\ gsm_amr\ amr_nb\enc 目录下 支持的帧结构包括 AMR_TX_WMF AMR_TX_IF2 AMR_TX_ETS AMR_TX_IETF 等 其中 AMR_TX_WMF 表示的是无线多媒体论坛 (WMF,Wireless Multimedia Forum) 制定的帧结构 ; AMR_TX_IF2 表示的是 3GPP 制定的帧结构 ;AMR_TX_ETS 表示的是欧洲电信标准 (ETS,European Telecommunication Standard) 制定的帧结构 ;AMR_TX_IETF 表示是 IETF 制定的帧结构 编码的入口 AMREncode() 函数位于 amrencode.cpp 文件中, AMREncode() 函数首先调用 GSM EFR 编码器进行编码, 然后根据指定的输出格式参数 output_format 的值, 将 GSM EFR 编码器的输出转换为相应的帧结构 如下为 AMR 的编码过程 : 代码 6-11 AMR 的编码过程 Word16 AMREncode(void *pencstate,void *psidsyncstate,enum Mode mode, Word16 *pencinput,uword8 *pencoutput,enum Frame_Type_3GPP *p3gpp_frame_type,word16 output_format) Word16 ets_output_bfr[max_serial_size+2]; UWord8 *ets_output_ptr; Word16 num_enc_bytes=-1; Word16 i; enum TXFrameType tx_frame_type; enum Mode usedmode=mr475; // WMF 或 IF2 帧编码 if ((output_format==amr_tx_wmf) (output_format==amr_tx_if2) (output_format==amr_tx_ietf)) // 通话帧编码 (20ms 16

17 #ifndef CONSOLE_ENCODER_REF //GSM EFR 编码器的 PV 实现 GSMEncodeFrame(pEncState, mode, pencinput, ets_output_bfr, &usedmode); # //GSM EFR 编码器的 ETS 实现 Speech_Encode_Frame(pEncState, mode, pencinput, ets_output_bfr, &usedmode); #endif // 判断帧类型 sid_sync(psidsyncstate, usedmode, &tx_frame_type); if (tx_frame_type!= TX_NO_DATA) *p3gpp_frame_type=(enum Frame_Type_3GPP) usedmode; // 为 SID 帧添加 SID 类型和模式信息 if (*p3gpp_frame_type==amr_sid) if (tx_frame_type==tx_sid_first) ets_output_bfr[amrsid_txtype_bit_offset] &= 0x0000; if (tx_frame_type==tx_sid_update) ets_output_bfr[amrsid_txtype_bit_offset] = 0x0001; for (i=0; i<num_amrsid_txmode_bits; i++) ets_output_bfr[amrsid_txmode_bit_offset+i] = (mode >> i) & 0x0001; // 无数据传递 *p3gpp_frame_type=(enum Frame_Type_3GPP)AMR_NO_DATA; // 判断输出帧类型 / if (output_format==amr_tx_ietf) // 转换为 IETF 帧结构 ets_to_ietf(*p3gpp_frame_type, ets_output_bfr, pencoutput, &(((Speech_Encode_FrameState*)pEncState)->cod_amr_state->common_amr_tbls)); num_enc_bytes=wmfencbytesperframe[(word16) *p3gpp_frame_type]; if (output_format==amr_tx_wmf) // 转换为 WMF 帧结构 ets_to_wmf(*p3gpp_frame_type, ets_output_bfr, pencoutput, &(((Speech_Encode_FrameState*)pEncState)->cod_amr_state->common_amr_tbls)); num_enc_bytes=wmfencbytesperframe[(word16) *p3gpp_frame_type]; if (output_format==amr_tx_if2) // 转换为 AMR IF2 帧结构 ets_to_if2(*p3gpp_frame_type, ets_output_bfr, pencoutput, &(((Speech_ Encode_FrameState*)pEncState)->cod_amr_state->common_amr_tbls)); num_enc_bytes=if2encbytesperframe[(word16) *p3gpp_frame_type]; // ETS 帧编码 if (output_format==amr_tx_ets) 17

18 #ifndef CONSOLE_ENCODER_REF GSMEncodeFrame(pEncState, mode, pencinput, &ets_output_bfr[1], &usedmode); # Speech_Encode_Frame(pEncState, mode, pencinput, &ets_output_bfr[1], &usedmode); #endif *p3gpp_frame_type=(enum Frame_Type_3GPP) usedmode; sid_sync(psidsyncstate, usedmode, &tx_frame_type); ets_output_bfr[0]=tx_frame_type; if (tx_frame_type!= TX_NO_DATA) ets_output_bfr[1+max_serial_size]=(word16) mode; ets_output_bfr[1+max_serial_size]=-1; ets_output_ptr=(uword8 *) & ets_output_bfr[0]; for (i=0; i<2*(max_serial_size + 2); i++) *(pencoutput + i)=*ets_output_ptr; ets_output_ptr += 1; num_enc_bytes=2 * (MAX_SERIAL_SIZE + 2); // 无效帧格式 num_enc_bytes=-1; return(num_enc_bytes); GSM 中针对 ETS 帧结构的编码过程如下 : 代码 6-12 GSM 中针对 ETS 帧结构的编码过程 void GSMEncodeFrame( void *state_data, enum Mode mode, Word16 *new_speech, Word16 *serial, enum Mode *usedmode ) Speech_Encode_FrameState *st = (Speech_Encode_FrameState *) state_data; Word16 prm[max_prm_size]; Word16 syn[l_frame]; Word16 i; // 初始化输出帧 for (i=0; i<max_serial_size; i++) serial[i]=0; #if!defined(no13bit) for (i=0; i<l_frame; i++) new_speech[i]=new_speech[i] & 0xfff8; #endif Pre_Process(st->pre_state, new_speech, L_FRAME); // 调用语音编码器 cod_amr(st->cod_amr_state, mode, new_speech, prm, usedmode, syn); 18

19 Prm2bits(*usedMode, prm, &serial[0], &(st->cod_amr_state->common_amr_tbls)); return; 将 GSM ETS 帧结构转换为 AMR IF2 帧结构的过程如下 : 代码 6-13 ETS 帧结构转换为 AMR IF2 帧结构的过程 void ets_to_if2( enum Frame_Type_3GPP frame_type_3gpp, Word16 *ets_input_ptr,uword8 *if2_output_ptr, CommonAmrTbls* common_amr_tbls) Word16 i; Word16 k; Word16 j=0; Word16 *ptr_temp; Word16 bits_left; UWord8 accum; const Word16* const* reorderbits_ptr=common_amr_tbls->reorderbits_ptr; const Word16* numofbits_ptr=common_amr_tbls->numofbits_ptr; if (frame_type_3gpp<amr_sid) if2_output_ptr[j++]=(uword8)(frame_type_3gpp) (ets_input_ptr[reorderbits_ptr[frame_type_3gpp][0]]<<4) (ets_input_ptr[reorderbits_ptr[frame_type_3gpp][1]]<<5) (ets_input_ptr[reorderbits_ptr[frame_type_3gpp][2]]<<6) (ets_input_ptr[reorderbits_ptr[frame_type_3gpp][3]]<<7); for (i=4; i<numofbits_ptr[frame_type_3gpp] - 7;) if2_output_ptr[j] = (UWord8) ets_input_ptr[reorderbits_ptr[frame_type_3gpp][i++]]; if2_output_ptr[j] = (UWord8) ets_input_ptr[reorderbits_ptr[frame_type_3gpp][i++]] << 1; if2_output_ptr[j] = (UWord8) ets_input_ptr[reorderbits_ptr[frame_type_3gpp][i++]] << 2; if2_output_ptr[j] = (UWord8) ets_input_ptr[reorderbits_ptr[frame_type_3gpp][i++]] << 3; if2_output_ptr[j] = (UWord8) ets_input_ptr[reorderbits_ptr[frame_type_3gpp][i++]] << 4; if2_output_ptr[j] = (UWord8) ets_input_ptr[reorderbits_ptr[frame_type_3gpp][i++]] << 5; if2_output_ptr[j] = (UWord8) ets_input_ptr[reorderbits_ptr[frame_type_3gpp][i++]] << 6; if2_output_ptr[j++] = (UWord8) ets_input_ptr[reorderbits_ptr[frame_type_3gpp][i++]] << 7; bits_left=4 + numofbits_ptr[frame_type_3gpp] - ((4 + numofbits_ptr[frame_type_3gpp]) & 0xFFF8); if (bits_left!= 0) if2_output_ptr[j]=0; for (k=0; k<bits_left; k++) if2_output_ptr[j] = (UWord8) ets_input_ptr[reorderbits_ptr[frame_type_3gpp][i++]] << k; if (frame_type_3gpp!= AMR_NO_DATA) 19

20 if2_output_ptr[j++]=(uword8)(frame_type_3gpp) (ets_input_ptr[0]<<4) (ets_input_ptr[1]<<5) (ets_input_ptr[2]<<6) (ets_input_ptr[3]<<7); ptr_temp=&ets_input_ptr[4]; bits_left=((4+numofbits_ptr[frame_type_3gpp]) & 0xFFF8); for (i=(bits_left-7)>>3; i>0; i--) accum=(uword8) * (ptr_temp++); accum =(UWord8) * (ptr_temp++)<<1; accum =(UWord8) * (ptr_temp++)<<2; accum =(UWord8) * (ptr_temp++)<<3; accum =(UWord8) * (ptr_temp++)<<4; accum =(UWord8) * (ptr_temp++)<<5; accum =(UWord8) * (ptr_temp++)<<6; accum =(UWord8) * (ptr_temp++)<<7; if2_output_ptr[j++]=accum; bits_left=4+numofbits_ptr[frame_type_3gpp]-bits_left; if (bits_left!= 0) if2_output_ptr[j]=0; for (i=0; i<bits_left; i++) if2_output_ptr[j] =(ptr_temp[i]<<i); if2_output_ptr[j++]=(uword8)(frame_type_3gpp); return; 专业始于专注卓识源于远见 至于 ets_to_ietf() 函数和 ets_to_wmf() 函数分别针对 ETS 帧结构转换为 IETF 帧结构和 WMF 帧结构的过程, 相关的实现位于 ets_to_if2.cpp 和 ets_to_wmf.cpp 文件中 这里就不再多做介绍了 AMR 常用于手机铃声等领域 另外在 MMS 中,AMR 也是音频附件的唯一标准, 这均归功于 AMR 压缩比较大的特点 AMR 的解码过程 在进行 AMR 解码时,OpenCORE 定义了 ETS(AMR-WB AMR-NB ) ITU(AMR-WB ) MIME_IETF(AMR-WB) WMF(AMR-NB) IF2(AMR-NB)5 种帧结构, 帧结构的定义和编码实现没有统一, 目前仅使用了 ETS WMF IF2 这 3 种帧结构 AMR 的解码过程和编码过程相反, 首先需要根据输入格式参数 input_format 确定当前要解码的帧结构 如果是 IETF 或者 AMR IF2, 则首先将其帧结构转换为 ETS 帧结构, 然后调用 GSMFrameDecode() 函数进行解码 ; 如果是 ETS 帧结构, 直接调用 GSMFrameDecode() 函数进行解码 AMR 的解码实现位于 amrdecode.cpp 文件中,AMR 的解码过程如下 : 代码 6-14 AMR 的解码过程 Word16 AMRDecode( void enum Frame_Type_3GPP UWord8 Word16 *state_data, frame_type, *speech_bits_ptr, *raw_pcm_buffer, 20

21 bitstream_format input_format ) Word16 *ets_word_ptr; enum Mode mode=(enum Mode)MR475; int modestore; int tempint; enum RXFrameType rx_type=rx_no_data; Word16 dec_ets_input_bfr[max_serial_size]; Word16 i; Word16 byte_offset=-1; Speech_Decode_FrameState *decoder_state =(Speech_Decode_FrameState *) state_data; if ((input_format==wmf) (input_format==if2)) if (input_format==wmf) // 转换编码 wmf_to_ets(frame_type,speech_bits_ptr,dec_ets_input_bfr,&(decoder_state->decoder amrstate.common_amr_tbls)); byte_offset=wmfdecbytesperframe[frame_type]; // 转换编码 if2_to_ets(frame_type, speech_bits_ptr, dec_ets_input_bfr, &(decoder_state->decoder_amrstate.common_amr_tbls)); byte_offset=if2decbytesperframe[frame_type]; if (frame_type <= AMR_122) mode=(enum Mode) frame_type; rx_type=rx_speech_good; if (frame_type==amr_sid) modestore=0; for (i=0; i<num_amrsid_rxmode_bits; i++) tempint=dec_ets_input_bfr[amrsid_rxmode_bit_offset+i] << i; modestore = tempint; mode=(enum Mode) modestore; if (dec_ets_input_bfr[amrsid_rxtype_bit_offset]==0) rx_type=rx_sid_first; rx_type=rx_sid_update; if (frame_type<amr_no_data) byte_offset=-1; mode=decoder_state->prev_mode; rx_type=rx_no_data; 21

22 if (input_format==ets) ets_word_ptr=(word16 *) speech_bits_ptr; rx_type=(enum RXFrameType) * ets_word_ptr; ets_word_ptr++; for (i=0; i<max_serial_size; i++) dec_ets_input_bfr[i]=*ets_word_ptr; ets_word_ptr++; if (rx_type!= RX_NO_DATA) mode=(enum Mode) * ets_word_ptr; mode=decoder_state->prev_mode; byte_offset=2 * (MAX_SERIAL_SIZE + 2); byte_offset=-1; if (byte_offset!= -1) #ifndef CONSOLE_DECODER_REF GSMFrameDecode(decoder_state, mode, dec_ets_input_bfr, rx_type, raw_pcm_buffer); # Speech_Decode_Frame(decoder_state, mode, dec_ets_input_bfr, rx_type, raw_pcm_buffer); #endif decoder_state->prev_mode=mode; return (byte_offset); ETS 帧结构的解码过程如下 : 代码 6-15 ETS 帧结构的解码过程 void GSMFrameDecode( Speech_Decode_FrameState *st, enum Mode mode, Word16 *serial, enum RXFrameType frame_type, Word16 *synth) Word16 parm[max_prm_size + 1]; Word16 Az_dec[AZ_SIZE]; Flag *poverflow=&(st->decoder_amrstate.overflow); #if!defined(no13bit) Word16 i; #endif if ((frame_type==rx_sid_bad) (frame_type==rx_sid_update)) Bits2prm(MRDTX, serial, parm, &st->decoder_amrstate.common_amr_tbls); 专业始于专注卓识源于远见 22

23 Bits2prm(mode, serial, parm, &st->decoder_amrstate.common_amr_tbls); Decoder_amr(&(st->decoder_amrState),mode,parm,frame_type,synth,Az_dec); Post_Filter(&(st->post_state),mode,synth,Az_dec,pOverflow); /* post HP filter, and 15->16 bits */ Post_Process(&(st->postHP_state),synth,L_FRAME,pOverflow); #if!defined(no13bit) for (i=0; i<l_frame; i++) synth[i]=synth[i] & 0xfff8; #endif return; 从 AMR IF2 帧结构转换为 ETS 帧结构的过程如下 : 代码 6-16 AMR IF2 帧结构转换为 ETS 帧结构的过程 专业始于专注卓识源于远见 void if2_to_ets( enum Frame_Type_3GPP frame_type_3gpp, UWord8 *if2_input_ptr, Word16 *ets_output_ptr, CommonAmrTbls* common_amr_tbls) Word16 i; Word16 j; Word16 x=0; const Word16* numcompressedbytes_ptr=common_amr_tbls->numcompressedbytes_ptr; const Word16* numofbits_ptr=common_amr_tbls->numofbits_ptr; const Word16* const* reorderbits_ptr=common_amr_tbls->reorderbits_ptr; if (frame_type_3gpp<amr_sid) for (j=4; j<8; j++) ets_output_ptr[reorderbits_ptr[frame_type_3gpp][x++]]= (if2_input_ptr[0]>>j) & 0x01; for (i=1; i<numcompressedbytes_ptr[frame_type_3gpp]; i++) for (j=0; j<8; j++) if (x >= numofbits_ptr[frame_type_3gpp]) break; ets_output_ptr[reorderbits_ptr[frame_type_3gpp][x++]] = (if2_input_ptr[i]>>j) & 0x01; for (j=4; j<8; j++) ets_output_ptr[x++]= (if2_input_ptr[0]>>j) & 0x01; for (i=1; i<numcompressedbytes_ptr[frame_type_3gpp]; i++) for (j=0; j<8; j++) ets_output_ptr[x++]= 23

24 (if2_input_ptr[i]>>j) & 0x01; return; 专业始于专注卓识源于远见 需要注意的是, 在解码的实现上, 目前仅支持 AMR IF2 ETS 帧结构, 对 IETF 帧结构没有提供支持, 关于 wmf_to_ets() 函数的实现位于 amrdecode.cpp 文件中 MP3 的解码过程 MP3(Moving Picture Experts Group Audio Layer III) 是目前最流行的音频编码格式, 通过丢弃脉冲编码调制 (PCM) 音频数据中对人类听觉不重要的数据和采用较好的压缩算法, 可以获得 1 10 甚至 1 12 的压缩率 MP3 在 1991 年被标准化 MP3 采样率在 16~48kHz 之间, 编码速率在 8Kb/s~1.5Mb/s 之间 随着信号处理技术的不断发展,MP3 的一些缺点 ( 如压缩率低 仅有两个声道 音质不理想等 ) 逐渐暴露出来, 最新一代的 AAC 音频编码格式已经登场 但 MP3 作为人们最熟悉的音频编码格式还会在日常生活中继续流行 MP3 的解码需要经过同步及检错 哈夫曼解码 逆量化 立体声解码 反锯齿 IMDCT 和子带合成等运算, 其中 IMDCT 过程的运算量占到了整个解码运算总量的 19% 具体过程如图 6-7 所示 MP3 比特流 Synchronization and Error Check Huffman Decoding Descaling Reordering Alias Reduction IMDCT Synthesis Polyphase Filter Bank PCM 6-7 MP3 MP3 的解码过程如下 : 代码 6-17 MP3 的解码过程 Int Mp3Decoder::Mp3DecodeAudio(OMX_S16* aoutbuff, OMX_U32* aoutputlength, OMX_U8** ainputbuf, OMX_U32* ainbufsize, OMX_S32* aframecount, OMX_AUDIO_PARAM_PCMMODETYPE* aaudiopcmparam, OMX_AUDIO_PARAM_MP3TYPE* aaudiomp3param, OMX_BOOL amarkerflag, OMX_BOOL* aresizeflag) int32 Status=MP3DEC_SUCCESS; *aresizeflag=omx_false; if (iinitflag==0) if (*aframecount!= 0) e_equalization EqualizType=iMP3DecExt->equalizerType; imp3decext->inputbuffercurrentlength=0; iinputusedlength=0; iaudiomp3decoder->startl(imp3decext, false, false, false, EqualizType); iinitflag=1; imp3decext->pinputbuffer=*ainputbuf + iinputusedlength; imp3decext->poutputbuffer=&aoutbuff[0]; imp3decext->inputbuffercurrentlength=*ainbufsize; 24

25 imp3decext->inputbufferusedlength=0; if (OMX_FALSE==aMarkerFlag) // 如果没设标志位, 检测帧边界 iinputusedlength=0; return MP3DEC_INCOMPLETE_FRAME; //If the marker flag is not set, find out the frame boundaries Status=iAudioMp3Decoder->SeekMp3Synchronization(iMP3DecExt); if (1==Status) if (0==iMP3DecExt->inputBufferCurrentLength) *ainbufsize -= imp3decext->inputbuffermaxlength; iinputusedlength += imp3decext->inputbuffermaxlength; imp3decext->inputbufferusedlength += imp3decext->inputbuffermaxlength; return MP3DEC_SUCCESS; *ainputbuf+=iinputusedlength; imp3decext->inputbufferusedlength=0; iinputusedlength=0; return MP3DEC_INCOMPLETE_FRAME; imp3decext->outputframesize=(*aoutputlength); //16 位采样 #if PROFILING_ON OMX_U32 StartTime=OsclTickCount::TickCount(); #endif Status=iAudioMp3Decoder->ExecuteL(iMP3DecExt); #if PROFILING_ON OMX_U32 EndTime=OsclTickCount::TickCount(); itotalticks+=(endtime - StartTime); if (MP3DEC_SUCCESS==Status) inumoutputsamples+=imp3decext->outputframesize; #endif if (MP3DEC_SUCCESS==Status) if (0==*aFrameCount) aaudiopcmparam->nsamplingrate=imp3decext->samplingrate; aaudiopcmparam->nchannels =imp3decext->num_channels; //Input Port Parameters aaudiomp3param->nsamplerate=imp3decext->samplingrate; aaudiomp3param->nchannels =imp3decext->num_channels; aaudiomp3param->eformat =(OMX_AUDIO_MP3STREAMFORMATTYPE)iMP3DecExt->version; *aresizeflag=omx_true; *ainbufsize -= imp3decext->inputbufferusedlength; if (0==*aInBufSize) iinputusedlength=0; 25

26 iinputusedlength += imp3decext->inputbufferusedlength; if ((aaudiomp3param->nsamplerate==(uint32)imp3decext->samplingrate) && (aaudiomp3param->nchannels ==(uint32)imp3decext->num_channels) && (aaudiomp3param->eformat ==(OMX_AUDIO_MP3STREAMFORMATTYPE)iMP3DecExt->version)) *aoutputlength=imp3decext->outputframesize; /* imp3decext->outputframesize=(aaudiomp3param->eformat)? 576 : 1152; imp3decext->outputframesize=(aaudiomp3param->nchannels==1)? imp3decext->outputframesize : (imp3decext->outputframesize << 1); *aoutputlength=imp3decext->outputframesize; iaudiomp3decoder->resetdecoderl(); if (Status==MP3DEC_INVALID_FRAME) *ainbufsize=0; iinputusedlength=0; *aoutputlength=0; iaudiomp3decoder->resetdecoderl(); if (Status==MP3DEC_INCOMPLETE_FRAME) *ainputbuf += iinputusedlength; imp3decext->inputbufferusedlength=0; iinputusedlength=0; *aoutputlength=0; if (Status==MP3DEC_OUTPUT_BUFFER_TOO_SMALL) *ainputbuf += iinputusedlength; imp3decext->inputbufferusedlength=0; iinputusedlength=0; *aoutputlength=0; *ainputbuf += iinputusedlength; iinputusedlength=0; *aoutputlength=0; (*aframecount)++; return Status; MP3 的解码实现位于 mp3_dec.cpp 文件中, 与 MP3 相关的文件解析器实现位于 mp3parser.cpp 文件中 MP3 的时间戳实现位于 mp3_timestamp.cpp 文件中 联系方式 26

27 集团官网 : 嵌入式学院 : 移动互联网学院 : 企业学院 : 物联网学院 : 研发中心 :dev.hqyj.com 集团总部地址 : 北京市海淀区西三旗悦秀路北京明园大学校内华清远见教育集团 北京地址 : 北京市海淀区西三旗悦秀路北京明园大学校区, 电话 : /5 上海地址 : 上海市徐汇区漕溪路银海大厦 A 座 8 层, 电话 : 深圳地址 : 深圳市龙华新区人民北路美丽 AAA 大厦 15 层, 电话 : 成都地址 : 成都市武侯区科华北路 99 号科华大厦 6 层, 电话 : 南京地址 : 南京市白下区汉中路 185 号鸿运大厦 10 层, 电话 : 武汉地址 : 武汉市工程大学卓刀泉校区科技孵化器大楼 8 层, 电话 : 西安地址 : 西安市高新区高新一路 12 号创业大厦 D3 楼 5 层, 电话 :