一础锐、通過修改訓練配置憨颠，進行新一輪訓練
train.py
--train-json dump/train/deltafalse/data.json
--valid-json dump/dev/deltafalse/data.json
--dict data/lang_1char/train_chars.txt
--LFR_m 7 # 疊加幀數，比如單幀輸入維度 [320,80]伍派，此時維度[320,560]
--LFR_n 6 # 跳過幀數，相當于采樣頻率除以6剩胁，降低計算量诉植，提高訓練效率
--d_input 80 # 此參數與 fbank 特征提取結果有關，默認80
--n_layers_enc 6 # encoder 個數昵观，原論文默認為6
--n_head 4 # 多頭注意力晾腔，默認為8，此處改為4
--d_k 64 # k 向量維度 64
--d_v 64 # v 向量維度 64
--d_model 320 # 模型維度啊犬，默認512灼擂，此處改為320
--d_inner 1280 # 全連接層（FeedForward），默認2048觉至，此處改為1280剔应，通常為4*dmodel
--dropout 0.1 # Dropout有效緩解過擬合的發(fā)生，默認為0.1
--pe_maxlen 5000 # Positional Encoding 最大長度設置语御，和數據集語音有關 峻贮？ 默認5000
--d_word_vec 320 # 詞向量維度，與d_model必須一致应闯，否則訓練報錯
--n_layers_dec 6 # decoder 個數纤控，原論文默認為6
--tgt_emb_prj_weight_sharing 1 # share decoder embedding with decoder projection，默認1
--label_smoothing 0.1 # 標簽平滑策略：降低正確分類樣本的置信度碉纺，提升模型的自適應能力 默認0.1
--epochs 30 # 數據集遍歷次數船万，默認為150刻撒，此前訓練20左右loss大幅下降，此處設置為30
--shuffle 1 # 每個epoch都重新排序一遍數據
--batch-size 16 # 批量處理數
--batch_frames 0 # 批量處理幀數耿导，此值為0声怔，batch_size生效，大于0碎节，batch_size失效
--maxlen-in 800 # 輸入語音最大長度捧搞，默認800，與數據集語音相關
--maxlen-out 150 # 輸出語音最大長度狮荔，默認150胎撇，與數據集語音相關
--num-workers 4 # 裝載batch數據時，使用的CPU核心
--k 0.2 # 學習率變化的縮放因子殖氏，默認0.2晚树，等于1時與預熱學習率公式一致
--warmup_steps 4000 # 預熱訓練步驟默認為4000，即前4000步學習率緩慢上升至較大值雅采，然后逐漸降低爵憎，最終穩(wěn)定
--save-folder exp/train_m7_n6_in80_elayer6_head4_k64_v64_model320_inner1280_drop0.1_pe5000_emb320_dlayer6_share1_ls0.1_epoch30_shuffle1_bs16_bf0_mli800_mlo150_k0.2_warm4000
--checkpoint 0 # 是否每個epoch都保存一次模型
--continue-from "" # 可以接著從已訓練的epoch開始繼續(xù)訓練
--print-freq 10 # 打印步長
--visdom 0 # 是否開啟visdom可視化繪圖功能
--visdom_lr 0 # 是否將學習率開啟可視化
--visdom_epoch 0 # 是否每個epoch 均繪制可視化窗口
--visdom-id "Transformer Training" # 可視化窗口名稱顯示
訓練集 epoch 30
開發(fā)集 epoch 30
預測之后的結果：
正確率：87% 詞錯誤率：13.7%
Args: Namespace(LFR_m=7, LFR_n=6, batch_frames=0, batch_size=16, checkpoint=0, continue_from='', d_inner=1280, d_input=80, d_k=64, d_model=320, d_v=64, d_word_vec=320, dict='data/lang_1char/train_chars.txt', dropout=0.1, epochs=30, k=0.2, label_smoothing=0.1, maxlen_in=800, maxlen_out=150, model_path='final.pth.tar', n_head=4, n_layers_dec=6, n_layers_enc=6, num_workers=4, pe_maxlen=5000, print_freq=10, save_folder='exp/train_m7_n6_in80_elayer6_head4_k64_v64_model320_inner1280_drop0.1_pe5000_emb320_dlayer6_share1_ls0.1_epoch30_shuffle1_bs16_bf0_mli800_mlo150_k0.2_warm4000', shuffle=1, tgt_emb_prj_weight_sharing=1, train_json=None, valid_json=None, visdom=0, visdom_epoch=0, visdom_id='Transformer training', visdom_lr=0, warmup_steps=4000)
Model total parameters: 17321344
模型總參數量： 17321344
二、通過修改訓練配置婚瓜，進行新一輪訓練
train.py
--train-json dump/train/deltafalse/data.json
--valid-json dump/dev/deltafalse/data.json
--dict data/lang_1char/train_chars.txt
--LFR_m 7
--LFR_n 6
--d_input 80
--n_layers_enc 4 # 6 變?yōu)?4
--n_head 4
--d_k 64
--d_v 64
--d_model 256 # 320 變?yōu)?256
--d_inner 1024 # 1280 變?yōu)?1024
--dropout 0.1
--pe_maxlen 5000
--d_word_vec 256 # 320 變?yōu)?256
--n_layers_dec 4 # 6 變?yōu)?4
--tgt_emb_prj_weight_sharing 1
--label_smoothing 0.1
--epochs 30
--shuffle 1
--batch-size 16
--batch_frames 0
--maxlen-in 800
--maxlen-out 150
--num-workers 4
--k 1 # 0.2 變?yōu)?1
--warmup_steps 4000
--save-folder exp/train_m7_n6_in80_elayer4_head4_k64_v64_model256_inner1024_drop0.1_pe5000_emb256_dlayer4_share1_ls0.1_epoch30_shuffle1_bs16_bf0_mli800_mlo150_k1_warm4000
--checkpoint 0
--continue-from ""
--print-freq 10
--visdom 0
--visdom_lr 0
--visdom_epoch 0
--visdom-id "Transformer Training"
訓練集 epoch 30
開發(fā)集 epoch 30
預測之后的結果：
識別錯誤太多
錯誤率達97.8%
Args: Namespace(LFR_m=7, LFR_n=6, batch_frames=0, batch_size=16, checkpoint=0, continue_from='', d_inner=1024, d_input=80, d_k=64, d_model=256, d_v=64, d_word_vec=256, dict='data/lang_1char/train_chars.txt', dropout=0.1, epochs=30, k=1.0, label_smoothing=0.1, maxlen_in=800, maxlen_out=150, model_path='final.pth.tar', n_head=4, n_layers_dec=4, n_layers_enc=4, num_workers=4, pe_maxlen=5000, print_freq=10, save_folder='exp/train_m7_n6_in80_elayer4_head4_k64_v64_model256_inner1024_drop0.1_pe5000_emb256_dlayer4_share1_ls0.1_epoch30_shuffle1_bs16_bf0_mli800_mlo150_k1_warm4000', shuffle=1, tgt_emb_prj_weight_sharing=1, train_json=None, valid_json=None, visdom=0, visdom_epoch=0, visdom_id='Transformer training', visdom_lr=0, warmup_steps=4000)
Model total parameters: 8600576
模型總參數量 8600576
