版本修订记录版本修订记录日期版本号修订人修改内容 kangrong 初稿 kangrong 更新接口 kangrong 修订

Size: px

Start display at page:

Download "版本修订记录版本修订记录日期版本号修订人修改内容 kangrong 初稿 kangrong 更新接口 kangrong 修订"

括帖
5 years ago
Views:

2 版本修订记录版本修订记录日期版本号修订人修改内容 kangrong 初稿 kangrong 更新接口 kangrong 修订

3 目录 TVS Device SDK Android 版本接入说明... 1 版本修订记录简介... 4 名词解释入门... 4 SDK 使用步骤复制库 SDK 初始化... 5 语音唤醒功能回调交互流程... 7 语音语义识别功能回调参数设置交互流程... 9 语音合成功能回调参数设置交互流程... 13

4 1. 简介名词解释 TVS DEVICE SDK: 提供腾讯语音唤醒语音识别语音合成语义理解语义服务技术解决方案的软件开发工具包语音唤醒 : 智能硬件 / 应用在休眠状态下通过个性化语音唤醒词被唤醒语音识别 : 将语音转变为对应的语句文本语义理解 : 将语句文本转变成结构化的实体领域意图服务数据语音合成 : 将语句文本转变为流利的语音 2. 入门 SDK 使用步骤复制库 1. so 库首先, 需要把 SDK zip 包内的 so 库放置在项目 libs 目录下 : 如果是 Android Studio 开发的项目, 放置在 jnilibs/armeabi-v7a 下面 ( 放置的位置与你项目设置有关, 总而言之, 把 so 放到应用里 ) 如如果是 eclipse 开发的项目, 放置在 libs/armeabi-v7a 下

2. jar 包 AISDK.jar 包放置在项目的 libs 下面即可 2.1.2. 增加权限在 AndroidManifest.xml 中增加以下权限 : <uses-permission android:name="android.permission.record_audio" > </uses-permission> <!

5 2. jar 包 AISDK.jar 包放置在项目的 libs 下面即可增加权限在 AndroidManifest.xml 中增加以下权限 : <uses-permission android:name="android.permission.record_audio" > </uses-permission>  <uses-permission android:name="android.permission.read_phone_state" > </uses-permission>  <uses-permission android:name="android.permission.write_external_storage" > </uses-permission>  <uses-permission android:name="android.permission.internet" />  <uses-permission android:name="android.permission.access_network_state" /> SDK 初始化使用 SDK 任何接口前, 必须完成 SDK 初始化 SDK 初始化需要调用 com.tencent.ai.sdk.control.speechmanager 的一系列方法初始化代码如下 : // 初始化函数

6 SpeechManager.getInstance().startUp(Context context, String info); info 是 JSON 格式数据, 其格式如下 : { "info": { "appkey": " 填入应用的 appkey", "token": " 填入应用的 access token", "devicename": " 固定, 填入 CAR 或者 TV 或者 SPEAKER 或者 PHONE", "productname": " 自定义, 英文产品名, 不要有空格 ", "vendor": " 厂商英文名 " }, } 对于 devicename 的指定, 按照如下原则 : 如果产品是车机, 填入 CAR 如果产品是电视, 填入 TV 如果产品是音箱, 填入 SPEAKER 如果产品是手机, 填入 PHONE 其他注意的方法 : // 设置当前位置坐标, 不仅当初始化的设置, 当用户位置变化的时候, 也需要设置 SpeechManager.getInstance().setCurrentLocation(Location location) // 设置语音识别手动模式 SpeechManager.getInstance().setManualMode(true); 输入音频要求 SDK 的唤醒识别和在线语音识别对输入音频的要求是一致的, 要求如下表所示 : 项目要求音频格式 PCM 格式采样精度 16 位采样率 16000Hz 声道 1 声道 ( 单声道 ) 字节序小端语音唤醒

2.3.1. 功能唤醒的接口, 可以识别音频流中的唤醒词上层可以根据识别结果进行进一步的操作 SDK 不能进行录音, 所以需要上层把录音的数据实时传过来对输入语音格式要求 :16K 采样率 S16-LE 单声道的 PCM 录音功能由 IAtwSession 类提供 2.3.2. 回调上层应用可以注册 IAtwListener 对象接收唤醒的异步回调, 初始化的返回和唤醒结果都是通过该对象回调回来其类成员为 : 注意 : 初始化成功后才能进行其他操作 2.

7 功能唤醒的接口, 可以识别音频流中的唤醒词上层可以根据识别结果进行进一步的操作 SDK 不能进行录音, 所以需要上层把录音的数据实时传过来对输入语音格式要求 :16K 采样率 S16-LE 单声道的 PCM 录音功能由 IAtwSession 类提供回调上层应用可以注册 IAtwListener 对象接收唤醒的异步回调, 初始化的返回和唤醒结果都是通过该对象回调回来其类成员为 : 注意 : 初始化成功后才能进行其他操作交互流程注意 : 初始化的时候需要传入 keywords_model( 唤醒词模型 ) 的路径

8 Android SDK 唤醒流程上层应用 SDK SDK 初始化, 只需要初始化一次 SpeechManager.startUp() 获得唤醒实例 AtwSession.getInstance() 异步返回 AtwSession 初始化结果 IAtwListener.onAtwInited() 循环启动一次唤醒识别 AtwSession.start() 多次调用, 实时输入音频数据 AtwSession.appendAudioData() 异步返回唤醒结果, 上层应停止输入 IAtwListener.onAtwWakeup() 功能语音语义识别语音识别的接口, 可以识别音频流中的文字, 并返回到上层, 方式为流式识别 ( 例如用户还在说话中, 就返回一部分文本 ) 语义的接口, 可以将文本识别为的 domain 和 intent 语义实体, 并返回对应的服务数据例如把我想听周杰伦的歌曲识别为 domain 为 music intent 为 play, 带有的语义实体是歌手名字为周杰伦, 服务数据为周杰伦的歌曲列表语音 / 语义的功能都由 TrSession 提供 SDK 不能进行录音, 所以需要上层把录音的数据实时传过来对输入语音格式要求 :16K 采样率 S16-LE 单声道的 PCM 录音 TrSession 返回的语义结果为 JSON 格式, 具体请参考 SDK 语义格式

9 语音识别支持自动模式和手动模式自动模式下, SDK 自动检测语音结束, 并返回语音识别结果手动模式下, 上层控制语音的结束回调上层应用可以注册 com.tencent.ai.sdk.tr.itrlistener 对象接收语音语义识别的异步回调, 初始化的返回和结果都是通过该对象回调回来注意 : 初始化成功后才能进行其他操作参数设置 TrSession.setParam 可以设置语义语音识别的参数设置 TRSession 工作模式 param: TrSession.ISS_TR_PARAM_VOICE_TYPE 值范围 : TrSession.ISS_TR_PARAM_VOICE_TYPE_RSP_VOICE: 仅返回语音识别结果 TrSession.ISS_TR_PARAM_VOICE_TYPE_RSP_ALL: 语音 + 语义识别如果只需要语义识别, 请调用 appendtextstring 方法交互流程纯语义识别的流程

10 Android SDK 纯语义识别流程上层应用 SDK 初始化, 只需要初始化一次 SpeechManager.startUp() SDK 获得 TrSession 实例 TrSession.getInstance() 返回 TrSession 初始化结果只需要初始化一次 ITrListener.onTrInited() 可以设置一些参数 TrSession.setParam() 循环启动一次流程 TrSession.start() 输入文字, 请求语义识别 TrSession.appendTextString() SDK 返回语义服务结果 ITrListener.onTrSemanticMsgProc ( ISS_TR_MSG_Result) 语音 + 语义识别的流程 ( 自动模式, 默认 )

11 Android SDK 语音 + 语义识别流程上层应用 SDK 初始化, 只需要初始化一次 SpeechManager.startUp() SDK 获得 TrSession 实例 TrSession.getInstance() 返回 TrSession 初始化结果 ITrListener.onTrInited() 可以设置一些参数 TrSession.setParam() 循环启动一次流程 TrSession.start() 多次调用, 上层实时输入音频数据 TrSession.appendAudioData() SDK 检测到语音开始端点 ITrListener.onTrVoiceMsgProc(ISS_SR_MSG_SpeechStart) 多次调用, 实时输入音频数据 TrSession.appendAudioData() SDK 将会进行 vad 检测 SDK 检测到语音结束端点, 上层应该停止输入数据 ITrListener.onTrVoiceMsgProc(ISS_SR_MSG_SpeechEnd) SDK 返回语音识别结果 ITrListener.onTrVoiceMsgProc( ISS_TR_MSG_VoiceResult) SDK 返回语义服务结果 ITrListener.onTrSemanticMsgProc ( ISS_TR_MSG_Result) 语音 + 语义识别的流程 ( 手动模式 ) SDK 默认情况下采用自动模式, 如果开发者需要自己控制语音的结束, 调用 SpeechManager.getInstance().setManualMode(true); 将语音识别设置为手动模式并且结束语音时, 调用 endaudiodata()

12 Android SDK 语音 + 语义识别流程上层应用 SDK 初始化, 只需要初始化一次 SpeechManager.startUp() SDK 循环获得 TrSession 实例 TrSession.getInstance() 返回 TrSession 初始化结果 ITrListener.onTrInited() 可以设置一些参数 TrSession.setParam() 设置手动模式 SpeechManager.setManualMode(true) 启动一次流程 TrSession.start() 多次调用, 上层实时输入音频数据 TrSession.appendAudioData() SDK 检测到语音开始端点 ITrListener.onTrVoiceMsgProc(ISS_SR_MSG_SpeechStart) 多次调用, 实时输入音频数据 TrSession.appendAudioData() 调用结束 TrSession.endAudioData() SDK 返回语音识别结果 ITrListener.onTrVoiceMsgProc( ISS_TR_MSG_VoiceResult) SDK 返回语义服务结果 ITrListener.onTrSemanticMsgProc ( ISS_TR_MSG_Result) 功能语音合成

13 语音合成的接口, 可以将传入的文本, 转换对应为音频数据上层可以使用返回的音频数据进行播放, 也可以用使用 SDK 的自动播报 ( 默认自动播报 ) 返回的音频数据为单声道, 采样率为 16000, 位深度为 16bit 的 pcm 数据, 对于长文本, 可能分多次返回音频数据回调上层应用可以注册 com.tencent.ai.sdk.tts.ittsinitlistener 对象接收初始化的异步回调注册 com.tencent.ai.sdk.tts.ittslistener 对象接收播报状态的异步回调注意 : 初始化成功后才能进行其他操作参数设置 setparam 可以设置语音合成的参数设置是否自动播报 : param: TtsSession. TYPE_TTS_PLAYING 值范围 : TtsSession. TTS_NO_PLAYING: 不自动播报 TtsSession. TTS_PLAYING: 自动播报, 默认交互流程

14 Android SDK 语音合成流程上层应用 SDK 初始化, 只需要初始化一次 SpeechManager.startUp() SDK 获得唤醒实例 TtsSession.getInstance() 异步返回 TtsSession 初始化结果 ITtsInitListener.onTtsInited() 设置参数 ( 可选 ) TtsSession.setParam() 开启会话 TtsSession.sessionStart() 循环启动一次语音合成 TtsSession.startSpeak() 当 SDK 开始播放的将会回调 ITtsListener.onPlayBegin() 当 SDK 播放完成的将会回调 ITtsListener.onPlayCompleted()

版本修订记录版本修订记录日期版本号修订人修改内容 kangrong 初稿 kangrong 修改语句 kangrong 接口和 CMD 修改

版本修订记录版本修订记录日期版本号修订人修改内容 kangrong 初稿 kangrong 修改语句 kangrong 接口和 CMD 修改 TVS Device SDK Linux 版本接入说明拟制 : kangrong 日期 : 2017 年 8 月审核 : 日期 : 深圳腾讯计算机系统有限公司版权所有不得复制版本修订记录版本修订记录日期版本号修订人修改内容 2017-8-29 kangrong 初稿 2017-9-13 kangrong 修改语句 2017-9-14 kangrong 接口和 CMD 修改目录 TVS

版本修订记录 版本修订记录 日期版本号修订人修改内容 kangrong 初稿 kangrong 更新接口 kangrong 修订

版本修订记录版本修订记录日期版本号修订人修改内容 kangrong 初稿 kangrong 更新接口 kangrong 修订