1.背景
鄭老師每次改學生的口語作業(yè)鸣哀，都要從手機里下載下學生的音頻架忌，再倒騰進訊飛聽見的app，再將轉錄結果倒騰進電腦上我衬，逐字逐句地給學生反饋叹放。
整個過程很機械，雖然一次時間短低飒，但每次加起來的時間就長了许昨。
所以，想著直接在電腦上直接轉錄就行褥赊。
2.思路
搜了一下網上的語音識別API糕档，嘗試了IBM的Speech to Text，以為識別英文會更好拌喉，但結果和人耳識別的差別較大速那，可能是自己參數(shù)設置不對吧。倒騰了一通后尿背，反正最后還是回到了科大訊飛端仰。
整個思路過程就是：
1.將文件夾下所有的音頻文件（m4a, mp3, mav）轉為科大訊飛語音聽寫（流式版）要求的音頻格式(pcm)；
2.將各個符合要求的音頻格式轉錄后導出各自的txt田藐；
3.刪掉中轉音頻荔烧；
3.過程
1.音頻批量轉換格式
網上搜到吱七，F(xiàn)Fmpeg是比較好且常用的音頻視頻處理開源軟件，可以下載下來鹤竭，再通過python代碼調用FFmpeg將音頻批量處理了踊餐。
首先，安裝ffmpeg
下載地址：https://ffmpeg.zeranoe.com/builds/臀稚，根據(jù)電腦系統(tǒng)情況下載相應版本吝岭。
PS：用chrome瀏覽器下載的時候，特別慢吧寺，而且容易中斷窜管，后來搜網上，看到說稚机，可以試試換個瀏覽器幕帆，就換成世界之窗瀏覽器后，一下子就下載好了抒钱。
解壓后的內容：
其次蜓肆，將其中的bin文件夾颜凯，加到系統(tǒng)環(huán)境變量path中
添加方式：以win10為例谋币，
①右鍵此電腦——屬性——左側的高級系統(tǒng)設置，打開了環(huán)境變量症概，雙擊下面的系統(tǒng)變量（S）里的Path
②點擊新建蕾额，將bin文件夾所在路徑寫入（例如，C:\Users\Ressia\Downloads\ffmpeg-20200315-c467328-win64-static\bin）彼城，然后一路點擊確定诅蝶。
③確認是否安裝成功：win下，按win鍵+R募壕，輸入cmd调炬，再輸入ffmpeg，如果出現(xiàn)如下界面舱馅，表明安裝成功了缰泡。
最后，寫python代碼批量轉換：
import os
# 獲取所有原音頻
def get_all_audio(path):
all_file=os.listdir(path)
source_file=[]
for i in all_file:
if ('m4a' in i) or ('wav' in i) or ('mp3' in i):
source_file.append(i)
return source_file
# 所有原音頻轉為.pcm文件
def transfer_to_pcm(source_file):
for s in source_file:
name=s[:-4]
os.system('ffmpeg -loglevel error -y -i '+path+'\\\\'+s+' '+'-acodec pcm_s16le -f s16le -ac 1 -ar 16000 '+path+'\\\\'+name+'.pcm')
path='音頻所在目錄'
source_file=get_all_audio(path)
transfer_to_pcm(source_file)
2.語音聽寫導出txt
將音頻轉為符合要求的pcm格式之后代嗤，將這些pcm格式音頻轉錄棘钞，分別存至txt中。
這里用的是科大訊飛的語音聽寫（流式版）WebAPI干毅，這個接口是用于1分鐘內的即時語音轉文字技術宜猜，而鄭老師的音頻每個都在1分鐘以內，正好滿足需求~
①打開訊飛開放平臺硝逢，注冊-登錄姨拥，然后绅喉，在控制臺，創(chuàng)建應用叫乌，從而得到自己的語音聽寫（流式版）的APPID霹疫、APISecret以及APIKey。
②把能開通的高級功能都開通综芥，轉錄后的效果會更好丽蝎。
③在語音聽寫（流式版）WebAPI 文檔中，文檔中詳細解釋了接口說明膀藐、接口Demo屠阻、接口要求、接口調用流程额各、錯誤碼国觉，調用示例，音頻樣例和常見問題虾啦；這里麻诀，下載調用示例：語音聽寫流式API demo python3語言。
④根據(jù)代碼要求傲醉，安裝好相應的多個第三方庫蝇闭，然后根據(jù)需求修改示例代碼即可。
根據(jù)需求硬毕，先填寫了APPID呻引、APISecret以及APIKey信息吐咳；然后逻悠，修改了業(yè)務參數(shù)(business)，language改為‘en_us’韭脊；接著童谒，修改# 收到websocket消息的處理中代碼，將結果文本提取出來沪羔；并補充文本寫入txt文件的代碼饥伊。
注意：需要在控制臺里將白名單關閉，不然任内，總是會出現(xiàn)403錯誤撵渡，這個讓我找了半天原因，才搞好死嗦，差點因此放棄了趋距。
3.刪除中轉音頻
在demo代碼中，加幾行代碼把中轉的pcm文件刪掉就行了越除。
整體代碼如下：
# -*- coding:utf-8 -*-
import websocket
import datetime
import hashlib
import base64
import hmac
import json
from urllib.parse import urlencode
import time
import ssl
from wsgiref.handlers import format_date_time
from datetime import datetime
from time import mktime
import _thread as thread
import os
# 獲取所有原音頻
def get_all_audio(path):
all_file=os.listdir(path)
source_file=[]
for i in all_file:
if ('m4a' in i) or ('wav' in i) or ('mp3' in i):
source_file.append(i)
return source_file
# 所有原音頻轉為.pcm文件
def transfer_to_pcm(source_file):
for s in source_file:
name=s[:-4]
os.system('ffmpeg -loglevel error -y -i '+path+'\\\\'+s+' '+'-acodec pcm_s16le -f s16le -ac 1 -ar 16000 '+path+'\\\\'+name+'.pcm')
# print('完成音頻轉換為pcm文件:{}'.format(s))
STATUS_FIRST_FRAME = 0 # 第一幀的標識
STATUS_CONTINUE_FRAME = 1 # 中間幀標識
STATUS_LAST_FRAME = 2 # 最后一幀的標識
class Ws_Param(object):
# 初始化
def __init__(self, APPID, APIKey, APISecret, AudioFile):
self.APPID = APPID
self.APIKey = APIKey
self.APISecret = APISecret
self.AudioFile = AudioFile
# 公共參數(shù)(common)
self.CommonArgs = {"app_id": self.APPID}
# 業(yè)務參數(shù)(business)节腐，更多個性化參數(shù)可在官網查看
self.BusinessArgs = {"domain": "iat", "language": "en_us","accent":"mandarin","vinfo":1,"vad_eos":10000}
# 生成url
def create_url(self):
url = 'wss://ws-api.xfyun.cn/v2/iat'
# 生成RFC1123格式的時間戳
now = datetime.now()
date = format_date_time(mktime(now.timetuple()))
# 拼接字符串
signature_origin = "host: " + "ws-api.xfyun.cn" + "\n"
signature_origin += "date: " + date + "\n"
signature_origin += "GET " + "/v2/iat " + "HTTP/1.1"
# 進行hmac-sha256進行加密
signature_sha = hmac.new(self.APISecret.encode('utf-8'), signature_origin.encode('utf-8'),
digestmod=hashlib.sha256).digest()
signature_sha = base64.b64encode(signature_sha).decode(encoding='utf-8')
authorization_origin = "api_key=\"%s\", algorithm=\"%s\", headers=\"%s\", signature=\"%s\"" % (
self.APIKey, "hmac-sha256", "host date request-line", signature_sha)
authorization = base64.b64encode(authorization_origin.encode('utf-8')).decode(encoding='utf-8')
# 將請求的鑒權參數(shù)組合為字典
v = {
"authorization": authorization,
"date": date,
"host": "ws-api.xfyun.cn"
}
# 拼接鑒權參數(shù)外盯，生成url
url = url + '?' + urlencode(v)
# print("date: ",date)
# print("v: ",v)
# 此處打印出建立連接時候的url,參考本demo的時候可取消上方打印的注釋，比對相同參數(shù)時生成的url與自己代碼生成的url是否一致
# print('websocket url :', url)
return url
# 收到websocket消息的處理
def on_message(ws, message):
try:
code = json.loads(message)["code"]
sid = json.loads(message)["sid"]
if code != 0:
errMsg = json.loads(message)["message"]
print("sid:%s call error:%s code is:%s" % (sid, errMsg, code))
else:
data = json.loads(message)["data"]["result"]["ws"]
# print(json.loads(message))
global result,txt
result = ""
for i in data:
for w in i["cw"]:
result += w["w"]
txt+=result
# print(txt)
# print("sid:%s call success!,data is:%s" % (sid, json.dumps(data, ensure_ascii=False)))
except Exception as e:
print("receive msg,but parse exception:", e)
return txt
# 收到websocket錯誤的處理
def on_error(ws, error):
print("### error:", error)
# 收到websocket關閉的處理
def on_close(ws):
print("### close ###")
# 收到websocket連接建立的處理
def on_open(ws):
def run(*args):
frameSize = 8000 # 每一幀的音頻大小
intervel = 0.04 # 發(fā)送音頻間隔(單位:s)
status = STATUS_FIRST_FRAME # 音頻的狀態(tài)信息翼雀，標識音頻是第一幀饱苟，還是中間幀、最后一幀
with open(wsParam.AudioFile, "rb") as fp:
while True:
buf = fp.read(frameSize)
# 文件結束
if not buf:
status = STATUS_LAST_FRAME
# 第一幀處理
# 發(fā)送第一幀音頻狼渊，帶business 參數(shù)
# appid 必須帶上箱熬，只需第一幀發(fā)送
if status == STATUS_FIRST_FRAME:
d = {"common": wsParam.CommonArgs,
"business": wsParam.BusinessArgs,
"data": {"status": 0, "format": "audio/L16;rate=16000",
"audio": str(base64.b64encode(buf), 'utf-8'),
"encoding": "raw"}}
d = json.dumps(d)
ws.send(d)
status = STATUS_CONTINUE_FRAME
# 中間幀處理
elif status == STATUS_CONTINUE_FRAME:
d = {"data": {"status": 1, "format": "audio/L16;rate=16000",
"audio": str(base64.b64encode(buf), 'utf-8'),
"encoding": "raw"}}
ws.send(json.dumps(d))
# 最后一幀處理
elif status == STATUS_LAST_FRAME:
d = {"data": {"status": 2, "format": "audio/L16;rate=16000",
"audio": str(base64.b64encode(buf), 'utf-8'),
"encoding": "raw"}}
ws.send(json.dumps(d))
time.sleep(1)
break
# 模擬音頻采樣間隔
time.sleep(intervel)
ws.close()
thread.start_new_thread(run, ())
if __name__ == "__main__":
path=os.path.normpath(os.getcwd())
source_file=get_all_audio(path)
transfer_to_pcm(source_file)
print('共需要轉換{}個音頻'.format(len(source_file)))
for i,n in enumerate(source_file):
audio_name=n[:-4]
to_audio=path+'\\'+audio_name+'.pcm'
# 測試時候在此處正確填寫相關信息即可運行
print('開始第{}個音頻轉換文本:{}'.format(i+1,n))
time1 = datetime.now()
# print(time1)
txt=""
wsParam = Ws_Param(APPID='自己的APPID', APIKey='自己的APIKey',
APISecret='自己的APISecret',
AudioFile=to_audio)
websocket.enableTrace(False)
wsUrl = wsParam.create_url()
ws = websocket.WebSocketApp(wsUrl, on_message=on_message, on_error=on_error, on_close=on_close)
ws.on_open = on_open
ws.run_forever(sslopt={"cert_reqs": ssl.CERT_NONE})
# 寫入文件
audiotxt_name=path+'\\'+audio_name+'.txt'
audiotxt=open(audiotxt_name,'w')
audiotxt.write(txt)
time2 = datetime.now()
# print(time2)
print('完成第{}個音頻轉換文本:{}；用時:{}'.format(i+1,n,time2-time1))
audiotxt.close()
# 刪除pcm文件
if os.path.exists(to_audio):
os.remove(to_audio)
# print('中轉文件已刪除：{}'.format(to_audio))
4.最后
將上述.py文件放置音頻所在文件狈邑，運行該文件就可將所有音頻轉錄為文本了城须。
中間還折騰了一下，
因為該demo測試時運行的環(huán)境為：Windows + Python3.7米苹，
而我把這個在windows系統(tǒng)下運行得很好的文件糕伐，弄到鄭老師那邊的mac os系統(tǒng)下，
就經歷了一番在mac下安裝ffmpeg蘸嘶、python3.8良瞧、各種安裝第三方庫的問題，
好在最后堅持下來训唱，通過看反饋回來的錯誤信息褥蚯，解決了所有問題。
在鄭老師那邊的mac os系統(tǒng)也能很好的運行了雪情，
這下遵岩，鄭老師就可以一鍵轉錄所有音頻了你辣，不用一個一個地倒騰了~
