昨天剛剛結(jié)束了谷歌師資培訓(xùn)彤避。在準(zhǔn)備的近三天中也學(xué)到很多東西。電子檔的材料都上傳到了git上怖现，但是還有手寫的技術(shù)實現(xiàn)不想拍照上傳。所以還是寫篇文章記錄一下玉罐，也算是鞏固了屈嗤。就按照我講的順序來寫。
先總體吊输，再細(xì)節(jié)（我喜歡這種邏輯饶号，更容易理解把握）。
1.總體部分[IatController.java]:
前端獲取到錄音文件并轉(zhuǎn)為base64編碼交給后端進(jìn)行處理璧亚。IatController層把base64編碼轉(zhuǎn)換為text文本讨韭。再對得到的文本進(jìn)行分詞處理[findWithWordDivision()]，獲取到關(guān)鍵詞并將關(guān)鍵詞保存到sentenceList中癣蟋，再將sentenceList放入data數(shù)據(jù)中進(jìn)行數(shù)據(jù)庫查詢透硝。
@PostMapping(value = "/searchBySdkBase", produces = "application/json;charset=UTF-8")
public Map<String,Object> searchBySdkBase(String base64){
Map <String,Object> map=new HashMap<String, Object>();
base64=base64.replace(" ","+");//用空格代替+
try {
String text = this.iatService.useIatSdkBase(base64);
List<Sentence> sentenceList=new ArrayList<Sentence>();
if(text.equals("") || text == null){
map.put("info","error");
return map;
}
sentenceList=this.sentenceService.findWithWordDivision(text);
if(sentenceList == null || sentenceList.size() == 0){
map.put("info","no sentence");
return map;
}
map.put("info","success");
map.put("data",sentenceList);
return map;
}
catch (Exception e){
e.printStackTrace();
return null;
}
}
2.細(xì)節(jié)實現(xiàn)：
（1）在UploadUtils.java文件中：
后端將得到的base64編碼通過方法uploadFileBase()變成字節(jié)數(shù)組byte [] buffer,并寫入隨機(jī)生成的文件中（也就是recordPath：.wav/.mp3格式文件）。然后創(chuàng)建.pcm格式文件路徑（只是創(chuàng)建路徑疯搅。先建個房子濒生，再把居民塞進(jìn)去）。最后返回recordPath+pcmPath（接下來會用幔欧，需要注意）罪治。
public static String uploadFileBase(String base64,String upload,String recordPath,String pcmPath){
String newFileName=UUID.randomUUID()+".wav";//避免重名：隨機(jī)生成ID
byte [] buffer=Base64.decodeBase64(base64);
File file=new File(upload,newFileName);
FileOutputStream fileOutputStream=null;
try {
if (!file.exists()) {
file.createNewFile();
}
}
catch (IOException e){
e.printStackTrace();
return null;
}
try {
System.out.println("file:"+file.getAbsolutePath());
fileOutputStream = new FileOutputStream(file);
fileOutputStream.write(buffer);
//fileOutputStream.flush();
}
catch (FileNotFoundException e){
e.printStackTrace();
}
catch (IOException e2){
e2.printStackTrace();
}
finally {
try {
fileOutputStream.flush();
fileOutputStream.close();
}
catch (IOException e){
e.printStackTrace();
}
}
recordPath="/root/uploadRecord/"+newFileName;
if(recordPath.indexOf(".wav") > 0) {
pcmPath = recordPath.substring(0, recordPath.indexOf("wav")) + "pcm";
}
else if(recordPath.indexOf(".mp3") > 0){
pcmPath = recordPath.substring(0, recordPath.indexOf("mp3")) + "pcm";
}
System.out.println("rec"+recordPath);
System.out.println("pcm"+pcmPath);
transferWavToPcm(recordPath,pcmPath,upload);
return recordPath+" "+pcmPath;
}
通過transferWavToPcm()方法，將recordPath路徑下的內(nèi)容轉(zhuǎn)為.pcm格式的內(nèi)容礁蔗，并放入剛剛創(chuàng)建好的pcmPath里（啥樣人住啥樣房子）觉义。也就是說，我們成功獲得了.pcm格式的文件浴井，符合了訊飛SDK的要求晒骇，可以使用訊飛SDK了。
public static void transferWavToPcm(String recordPath,String pcmPath,String upload){
String ffmpegPath="/usr/local/ffmpeg/bin/";
String command=new File(ffmpegPath).getAbsolutePath()+"/ffmpeg -y -i "+recordPath+" -acodec pcm_s16le -f s16le -ac 1 -ar 16000 "+pcmPath;
Runtime run=Runtime.getRuntime();
try {
Process p = run.exec(command);
//
p.getOutputStream().close();
p.getInputStream().close();
p.getErrorStream().close();
p.waitFor();
}
catch (Exception e){
e.printStackTrace();
}
finally{
run.freeMemory();
}
}
（2）IatUtils.java文件：
使用訊飛SDK將.pcm格式文件里的內(nèi)容轉(zhuǎn)為在上面第一大點里的text。
uploadFileBase()方法中：首先將UploadUtils.java文件中返回recordPath+pcmPath通過split()方法拆分了洪囤，拆出我們要的pcmPath徒坡。接著，訊飛SDK開始工作（開始監(jiān)聽）瘤缩，利用管道FileChannel獲得路徑為pcmPath的文件里的內(nèi)容喇完，并將獲得到的內(nèi)容放入到byteBuffer中，再將byteBuffer里的內(nèi)容倒入字節(jié)數(shù)組byte[] buffer中（其實這個地方應(yīng)該只寫buffer的剥啤，但是我就是喜歡這樣寫锦溪，不規(guī)范但對我來說很清晰）（可以想象本來要把水倒入到藍(lán)瓶子中，但是我先把水倒入到紅瓶子中铐殃，再把紅瓶子里的水倒入到藍(lán)瓶子中海洼。但是我還不懂為什么要這樣，這也是我在上一篇文章中寫的覺得Java麻煩的地方）富腊。
public String RecoginzePcmFileBase(String base) throws IOException, InterruptedException {
curResult=new StringBuilder();//當(dāng)前結(jié)果
String upload="/root/uploadRecord/";
String recordPath="";
String pcmPath="";
String np="";
if(recognizer == null){
recognizer=SpeechRecognizer.createRecognizer();
recognizer.setParameter(SpeechConstant.AUDIO_SOURCE,"-1");
recognizer.setParameter(SpeechConstant.RESULT_TYPE,"json");
}
/**
* wav,mp3 transfer to pcm
*/
np = UploadUtils.uploadFileBase(base,upload,recordPath,pcmPath);//upload：文件在服務(wù)器中的位置 np=recorfPath+pcmPath
if(np != null) {
//拆分recordPath+pcmPath
recordPath = np.split(" ")[0];
pcmPath = np.split(" ")[1];
}
recognizer.startListening(recListener);//開始監(jiān)聽
FileChannel fc = null;
if(! pcmPath.equals("")) {
fc = new RandomAccessFile(pcmPath, "r").getChannel();
}
MappedByteBuffer byteBuffer = fc.map(FileChannel.MapMode.READ_ONLY, 0, fc.size()).load();
System.out.println(byteBuffer.isLoaded());
byte[] buffer = new byte[(int) fc.size()];
if (byteBuffer.remaining() > 0) {
byteBuffer.get(buffer, 0, byteBuffer.remaining());
}
if(buffer == null || buffer.length == 0){
logger.error("no audio available");
recognizer.cancel();
}
else{
int len=buffer.length;
recognizer.writeAudio(buffer,0,len);
recognizer.stopListening();
synchronized (lock){
lock.wait();//主線程等待
}
//curResult.toString();
File wav=new File(recordPath);
File file2=new File(pcmPath);
if(wav.exists()){
wav.delete();
}
if(file2.exists()){
file2.delete();
}
return getString(curResult.toString());
}
return null;
}
結(jié)束監(jiān)聽坏逢。監(jiān)聽結(jié)果部分的recognizerResult是一個封裝了JSON字符串的Java類。然后調(diào)用getResultString()方法獲得JSON字符串：jsonStr赘被。
//監(jiān)聽器工作
private RecognizerListener recListener=new RecognizerListener() {
@Override
public void onVolumeChanged(int i) {
logger.info("onVolumeChange enter");
}
@Override
public void onBeginOfSpeech() {
logger.info("onEndOfSpeech enter");
}
@Override
public void onEndOfSpeech() {
logger.info("onEndOfSpeech enter");
}
@Override
public void onResult(RecognizerResult recognizerResult, boolean b) {
logger.info("onResult enter");
String jsonStr=recognizerResult.getResultString();
curResult.append(jsonStr);
if(b){
synchronized (lock){
lock.notify();
}
}
}
//打印出報錯信息
@Override
public void onError(SpeechError speechError) {
logger.info("onError enter");
if(null != speechError){
logger.error("onError code:"+speechError.getErrorCode()+","+ speechError.getErrorDescription(true));
}
}
@Override
public void onEvent(int i, int i1, int i2, String s) {
logger.info("onEvent enter");
}
};
那么我們最后的任務(wù)就是把這個jsonStr轉(zhuǎn)為目標(biāo)：text（也就是str）是整。
而把jsonStr轉(zhuǎn)為str的第一步，居然是先把jsonStr再變回JSON（上一篇就吐槽了這個地方）民假。變回一個JSON對象浮入。
因為jsonStr相當(dāng)于把JSON數(shù)據(jù)打上了引號，而我們?yōu)榱双@取JSON中的數(shù)據(jù)羊异，必須先把引號去掉事秀，再拿里面的數(shù)據(jù)（key：value）。
將key為“ws”的“value”放在一個數(shù)組wsArr中野舶，但key為“ws”的value也是一個key：value數(shù)組易迹，所以只能再剝一層，直到剝出我們需要的value值平道，也就是wStr睹欲，也就是我們需要的text。//此處應(yīng)該查閱訊飛官方文檔https://www.xfyun.cn/doc/asr/voicedictation/Java-SDK.html
//{"sn":1,"ls":true,"bg":0,"ed":0,"ws":[{"bg":0,"cw":[{"w":"今天","sc":0}]},
//jsonStr轉(zhuǎn)換為str
public String getString(String jsonStr){
StringBuffer stringBuffer=new StringBuffer("");
JSONObject jsonObject=JSON.parseObject(jsonStr);//轉(zhuǎn)成JSON對象
JSONArray wsArr=jsonObject.getJSONArray("ws");//ws：word sentence
for(int i=0;i<wsArr.size();i++) {
JSONObject wsArrObj=wsArr.getJSONObject(i);
JSONArray CWArr=wsArrObj.getJSONArray("cw");//cw：Chinese word
for (int j = 0; j < CWArr.size(); j++) {
JSONObject CWArrObj = CWArr.getJSONObject(j);
String wStr = CWArrObj.getString("w");//w：word
stringBuffer.append(wStr);
str.add(wStr);
}
}
return stringBuffer.toString();
}
public List<String> getStr() {
return str;
}
}
注：2.（2）部分的三個片段代碼加在一起才是完整的一屋。
