在 Rasa 1.8 發(fā)布后，Rasa 的研究團(tuán)隊(duì)發(fā)布了一種適用于 NLU 的輕量級多任務(wù)的新架構(gòu)transformer：雙重意圖和實(shí)體Transformer（DIET）淌哟。

在本文中迹卢，將介紹 DIET 的功能，以及如何在 Rasa 中使用它來獲得比以往更高的準(zhǔn)確性徒仓。 Rasa 在論文中證明該體系結(jié)構(gòu)對當(dāng)前的最新技術(shù)進(jìn)行了改進(jìn)腐碱，性能優(yōu)于 BERT 的微調(diào)，并且訓(xùn)練速度快了六倍掉弛。

一症见、DIET 是什么

DIET是一種多任務(wù)transformer體系結(jié)構(gòu)，可同時(shí)處理意圖分類和實(shí)體識別殃饿。它提供了即插即用各種預(yù)訓(xùn)練embeddings的功能谋作，例如BERT，GloVe壁晒，ConveRT等瓷们。在Rasa的實(shí)驗(yàn)中，沒有一組embeddings在不同數(shù)據(jù)集上始終是最好的秒咐。因此谬晕，模塊化體系結(jié)構(gòu)尤為重要。

DIET

二携取、為什么使用 DIET

大規(guī)模的預(yù)訓(xùn)練語言模型對于構(gòu)建對話式AI應(yīng)用程序的開發(fā)人員而言并不理想攒钳。而 DIET 之所以與眾不同，是因?yàn)椋?/p>

它是一種模塊化體系結(jié)構(gòu)雷滋，適合典型的軟件開發(fā)工作流程不撑；
在準(zhǔn)確性和性能方面文兢，能達(dá)到大規(guī)模預(yù)訓(xùn)練語言模型的效果；
改進(jìn)了現(xiàn)有技術(shù)焕檬，勝過目前的SOTA姆坚，并且訓(xùn)練速度提高了6倍。

大規(guī)模的預(yù)訓(xùn)練語言模型在諸如GLUE和SuperGLUE的語言理解基準(zhǔn)上已顯示出令人鼓舞的結(jié)果实愚，尤其是與其他預(yù)訓(xùn)練方法例如GloVe和有監(jiān)督方法相比兼呵，顯示出了很大的改進(jìn)。由于這些embeddings都是在大型自然語言文本語料庫上進(jìn)行訓(xùn)練的腊敲，因此它們能夠很好地概括各種任務(wù)击喂。

DIET 的作者曾經(jīng)幫助構(gòu)建了一個(gè)help desk assistant，該助手可以自動(dòng)進(jìn)行對話和可重復(fù)的IT流程碰辅。在構(gòu)建過程中懂昂，將 BERT 集成在了里面，因?yàn)楫?dāng)時(shí) BERT 和其他主流語言模型在各種 NLP 任務(wù)上均取得了最佳性能没宾。 BERT 在解決某些問題的同時(shí)凌彬，也提出了新的挑戰(zhàn)：這真的很慢，需要GPU來訓(xùn)練榕吼。

大型模型往往需要大量計(jì)算和訓(xùn)練饿序，并且對于想要構(gòu)建可以快速進(jìn)行訓(xùn)練和迭代的強(qiáng)大 AI 助手的軟件開發(fā)人員來說，存在著實(shí)際的挑戰(zhàn)羹蚣。此外原探，如果要構(gòu)建多語種的 AI 助手，那么在不進(jìn)行大規(guī)模預(yù)訓(xùn)練的情況下達(dá)到高水平的性能就非常重要顽素，因?yàn)榇蠖鄶?shù)預(yù)訓(xùn)練的模型都是以英文文本進(jìn)行訓(xùn)練的咽弦。

在 DIET 之前，Rasa 的 NLU 管道使用詞袋模型胁出，每條用戶消息有一個(gè)特征向量型型。這已經(jīng)是一個(gè)快速而難以逾越的基準(zhǔn)，但 DIET 已經(jīng)超越了它全蝶。

DIET 使用了考慮單詞順序的序列模型闹蒜，從而提供了更好的性能，具有即插即用的模塊化架構(gòu)抑淫。例如绷落，可以使用 DIET 進(jìn)行意圖分類和實(shí)體提取，還可以執(zhí)行單個(gè)任務(wù)始苇，例如砌烁，將其配置為關(guān)閉意圖分類并對其進(jìn)行訓(xùn)練，僅用于實(shí)體提取。

high level illustration of DIET

DIET 不僅訓(xùn)練速度相當(dāng)快函喉，而且在性能上與大規(guī)模的預(yù)訓(xùn)練語言模型相當(dāng)避归，并且優(yōu)于微調(diào)的 BERT。

三管呵、如何使用 DIET

為了使用新的 DIET 體系結(jié)構(gòu)進(jìn)行意圖分類和實(shí)體提取梳毙，需要將 DIETClassifier 組件添加到 NLU 管道配置文件中。
這是調(diào)用rasa init時(shí)創(chuàng)建的配置文件捐下。

language: en
pipeline:
  - name: WhitespaceTokenizer
  - name: RegexFeaturizer
  - name: LexicalSyntacticFeaturizer
  - name: CountVectorsFeaturizer
  - name: CountVectorsFeaturizer
    analyzer: "char_wb"
    min_ngram: 1
    max_ngram: 4
  - name: DIETClassifier
    epochs: 100
  - name: EntitySynonymMapper
  - name: ResponseSelector
    epochs: 100

DIETClassifier 依賴于兩類特征提取器-密集特征提取器和稀疏特征提取器

ConveRTFeaturizer 是使用 ConveRT 模型的密集型 featurizer 的示例顿天。 LanguageModelFeaturizer 是使用預(yù)先訓(xùn)練的語言模型（例如BERT）的密集 featurizer 的另一個(gè)示例。
CountVectorsFeaturizer 是稀疏特征提取器的一個(gè)示例蔑担。可以將其配置為使用單詞或字符 n-gram咽白。 LexicalSyntacticFeaturizer 是稀疏 featurize r的另一個(gè)示例啤握。它使用給定用戶消息中每個(gè) token 上的滑動(dòng)窗口創(chuàng)建用于實(shí)體提取的特征【Э颍可以配置 LexicalSyntacticFeaturizer 組件以指定要提取的詞匯和句法特征的類型排抬。

此外可以使用各種超參數(shù)對 DIETClassife r進(jìn)行微調(diào)：可以通過指定 transformer 的大小，transformer 層的數(shù)量授段，要使用的注意力頭數(shù)等來配置神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)蹲蒲。

Rasa 專門出了幾期 video 來講解 DIET 這個(gè)模型，有需要的可以看看侵贵。
另外届搁，還有一個(gè) DIET Interactive Demo：光標(biāo)放在對應(yīng)模塊上可以顯示出該模塊的參數(shù)

DIET Interactive Demo

圖中兩層的 Transformer 實(shí)際是 Transformer 的 Encoder 部分

這里有DIET論文的中文翻譯：DIET：Dual Intent and Entity Transformer——RASA論文翻譯
大多數(shù)情況下沒有必要再額外實(shí)現(xiàn)一個(gè) Betr 的分類器，畢竟 DIET 中 Transformer 的各種參數(shù)是可以自己設(shè)置的窍育，增加層數(shù)卡睦，增加維度都可以通過設(shè)置參數(shù)實(shí)現(xiàn)。

DIETClassifier：
transformer_size | 256 | Number of units in transformer
number_of_transformer_layers | 2 | Number of transformer layers.
number_of_attention_heads | 4 | Number of attention heads in transformer
batch_size | [64, 256] | Initial and final value for batch sizes. Batch size will be linearly increased for each epoch. If constant batch_size is required, pass an int, e.g. 8

以上~
謝謝大家~

7. DIET in Rasa

7. DIET in Rasa

一症见、DIET 是什么

二携取、為什么使用 DIET

三管呵、如何使用 DIET