剛剛，阿里媽媽正式對(duì)外發(fā)布了X-Deep Learning(下文簡(jiǎn)稱XDL)的開源代碼地址埠况，開發(fā)者們可以在Github上自主下載。

此前棵癣，在11月底辕翰，阿里媽媽就公布了這項(xiàng)開源計(jì)劃，引來了業(yè)界的廣泛關(guān)注狈谊。XDL突破了現(xiàn)有深度學(xué)習(xí)開源框架大都面向圖像喜命、語音等低維稠密數(shù)據(jù)而設(shè)計(jì)的現(xiàn)狀沟沙，面向高維稀疏數(shù)據(jù)場(chǎng)景進(jìn)行了深度優(yōu)化，并已大規(guī)模應(yīng)用于阿里媽媽的業(yè)務(wù)及生產(chǎn)場(chǎng)景壁榕。本文將為大家詳細(xì)介紹XDL的設(shè)計(jì)理念及關(guān)鍵技術(shù)矛紫。

概述

以深度學(xué)習(xí)為核心的人工智能技術(shù)，過去的幾年在語音識(shí)別牌里、計(jì)算機(jī)視覺颊咬、自然語言處理等領(lǐng)域獲得了巨大的成功，其中以GPU為代表的硬件計(jì)算力牡辽，以及優(yōu)秀的開源深度學(xué)習(xí)框架起到了巨大的推動(dòng)作用喳篇。

盡管以TensorFlow、PyTorch态辛、MxNet等為代表的開源框架已經(jīng)取得了巨大的成功麸澜，但是當(dāng)我們把深度學(xué)習(xí)技術(shù)應(yīng)用在廣告、推薦奏黑、搜索等大規(guī)模工業(yè)級(jí)場(chǎng)景時(shí)痰憎，發(fā)現(xiàn)這些框架并不能很好的滿足我們的需求。矛盾點(diǎn)在于開源框架大都面向圖像攀涵、語音等低維連續(xù)數(shù)據(jù)設(shè)計(jì)铣耘，而互聯(lián)網(wǎng)的眾多核心應(yīng)用場(chǎng)景（如廣告/推薦/搜索）往往面對(duì)的是高維稀疏離散的異構(gòu)數(shù)據(jù)，參數(shù)的規(guī)模動(dòng)輒百億甚至千億以故。進(jìn)一步的蜗细，不少產(chǎn)品應(yīng)用需要大規(guī)模深度模型的實(shí)時(shí)訓(xùn)練與更新，現(xiàn)有開源框架在分布式性能怒详、計(jì)算效率炉媒、水平擴(kuò)展能力以及實(shí)時(shí)系統(tǒng)適配性的等方面往往難以滿足工業(yè)級(jí)生產(chǎn)應(yīng)用的需求。

X-DeepLearning正是面向這樣的場(chǎng)景設(shè)計(jì)與優(yōu)化的工業(yè)級(jí)深度學(xué)習(xí)框架昆烁，經(jīng)過阿里巴巴廣告業(yè)務(wù)的錘煉吊骤，XDL在訓(xùn)練規(guī)模和性能、水平擴(kuò)展能力上都表現(xiàn)出色静尼，同時(shí)內(nèi)置了大量的面向廣告/推薦/搜索領(lǐng)域的工業(yè)級(jí)算法解決方案白粉。

系統(tǒng)核心能力

為高維稀疏數(shù)據(jù)場(chǎng)景而生。支持千億參數(shù)的超大規(guī)模深度模型訓(xùn)練鼠渺，支持批學(xué)習(xí)鸭巴、在線學(xué)習(xí)等模式。

工業(yè)級(jí)分布式訓(xùn)練能力拦盹。支持CPU/GPU的混合調(diào)度鹃祖，具備完整的分布式容災(zāi)語義，系統(tǒng)的水平擴(kuò)展能力優(yōu)秀普舆，可以輕松做到上千并發(fā)的訓(xùn)練恬口。

高效的結(jié)構(gòu)化壓縮訓(xùn)練校读。針對(duì)互聯(lián)網(wǎng)樣本的數(shù)據(jù)特點(diǎn)，提出了結(jié)構(gòu)化計(jì)算模式祖能。典型場(chǎng)景下地熄，相比傳統(tǒng)的平鋪樣本訓(xùn)練方式，樣本存儲(chǔ)空間芯杀、樣本IO效率端考、訓(xùn)練絕對(duì)計(jì)算量等方面都大幅下降，推薦等場(chǎng)景下整體訓(xùn)練效率最大可提升10倍以上揭厚。

成熟多后端支持却特。單機(jī)內(nèi)部的稠密網(wǎng)絡(luò)計(jì)算復(fù)用了成熟開源框架的能力，只需要少量的分布式驅(qū)動(dòng)代碼修改筛圆，就可以把TensorFlow/MxNet等的單機(jī)代碼運(yùn)行在XDL上裂明，獲得XDL分布式訓(xùn)練與高性能稀疏計(jì)算的能力。

內(nèi)置工業(yè)級(jí)算法解決方案

1）點(diǎn)擊率預(yù)估領(lǐng)域的最新算法太援，包括深度興趣網(wǎng)絡(luò)（Deep Interest Network, DIN）闽晦，用戶興趣演化模型（Deep Interest Evolution Network, DIEN），跨媒介網(wǎng)絡(luò)（Cross Media Network提岔，CMN)仙蛉。

2）點(diǎn)擊率&轉(zhuǎn)化率聯(lián)合建模的全空間多任務(wù)模型（Entire Space Multi-task Model， ESMM）碱蒙。

3）匹配召回領(lǐng)域的最新算法——深度樹匹配模型（Tree-based Deep Match荠瘪，TDM）。

4）輕量級(jí)通用模型壓縮算法（Rocket Training）

系統(tǒng)設(shè)計(jì)與優(yōu)化

XDL-Flow：數(shù)據(jù)流與分布式運(yùn)行時(shí)

XDL-Flow驅(qū)動(dòng)整個(gè)深度學(xué)習(xí)計(jì)算圖的生成與執(zhí)行赛惩，包括樣本流水線哀墓、稀疏表征學(xué)習(xí)、稠密網(wǎng)絡(luò)學(xué)習(xí)喷兼。同時(shí)篮绰，XDL-Flow也負(fù)責(zé)分布式模型的存儲(chǔ)與交換控制邏輯，分布式容災(zāi)與恢復(fù)控制等全局一致性協(xié)調(diào)的工作季惯。

在搜索吠各、推薦、廣告等場(chǎng)景下的樣本量巨大星瘾，通常達(dá)到幾十TB至數(shù)百TB走孽，如果不能很好的優(yōu)化樣本流水線，樣本IO系統(tǒng)很容易成為整個(gè)系統(tǒng)的瓶頸琳状，從而導(dǎo)致計(jì)算硬件的利用率低下。在大規(guī)模稀疏場(chǎng)景下盒齿，樣本讀取的特點(diǎn)是IO密集念逞，稀疏表征計(jì)算的特點(diǎn)是參數(shù)交換網(wǎng)絡(luò)通信密集困食，稠密深度計(jì)算是計(jì)算密集型。

XDL-Flow通過把三個(gè)主要環(huán)節(jié)異步流水線并行翎承，較好的適配了3種不同類型任務(wù)的性能硕盹。最好的情況下，前兩個(gè)階段的延時(shí)都被隱藏了叨咖。同時(shí)瘩例，我們也正在嘗試自動(dòng)化的Tunning異步流水線的各個(gè)參數(shù)，包括各個(gè)Step的并行度甸各、Buffer大小等垛贤，盡可能讓用戶不需要關(guān)心整個(gè)異步流水線并行的細(xì)節(jié)。

AMS：高效模型服務(wù)器

AMS是面向稀疏場(chǎng)景專門設(shè)計(jì)與優(yōu)化的分布式模型存儲(chǔ)與交換子系統(tǒng)趣倾。我們綜合小包網(wǎng)絡(luò)通信聘惦、參數(shù)存儲(chǔ)結(jié)構(gòu)、參數(shù)分布式策略等進(jìn)行了大量的軟硬件優(yōu)化儒恋，使得AMS在吞吐力和水平擴(kuò)展力上都大幅優(yōu)于傳統(tǒng)的Parameter Server善绎，AMS也支持內(nèi)置的深度網(wǎng)絡(luò)計(jì)算，使得你可以使用AMS進(jìn)行表征子網(wǎng)絡(luò)的二階計(jì)算诫尽。

1）AMS通過軟硬件結(jié)合在網(wǎng)絡(luò)通信層做了大量?jī)?yōu)化禀酱，包括使用Seastar，DPDK牧嫉，CPUBind比勉，ZeroCopy等技術(shù)，充分壓榨硬件性能驹止，經(jīng)過我們實(shí)際測(cè)試浩聋，大規(guī)模并發(fā)訓(xùn)練下，參數(shù)交換導(dǎo)致的小包吞吐能力是傳統(tǒng)RPC框架的5倍以上臊恋。

2）通過內(nèi)置的參數(shù)動(dòng)態(tài)均衡策略衣洁，可以在運(yùn)行過程中找到最優(yōu)的稀疏參數(shù)分布策略，有效解決傳統(tǒng)參數(shù)服務(wù)器由于參數(shù)分布式不均勻帶來的熱點(diǎn)問題抖仅，大幅提高了系統(tǒng)在高并發(fā)情況下的水平擴(kuò)展能力坊夫。

3）AMS同樣支持通過GPU加速大Batch Size場(chǎng)景下的Sparse Embedding計(jì)算，針對(duì)超大Batch的場(chǎng)景撤卢，可以起到很好的加速作用环凿。

4）AMS支持內(nèi)部定義子網(wǎng)絡(luò)。例如我們的算法解決方案中提供的Cross-Media建模放吩，圖像部分的表征子網(wǎng)絡(luò)就是以AMS內(nèi)運(yùn)行的方式定義的智听，大幅減少了重復(fù)計(jì)算和網(wǎng)絡(luò)吞吐。

Backend Engine：橋接技術(shù)復(fù)用成熟框架的單機(jī)能力

為了充分利用現(xiàn)有開源深度學(xué)習(xí)框架在稠密深度網(wǎng)絡(luò)上的能力，XDL使用橋接技術(shù)（Bridging）到推，把開源深度學(xué)習(xí)框架（本期開源版XDL支持了TensorFlow考赛、MxNet）作為我們的單機(jī)稠密網(wǎng)絡(luò)的計(jì)算引擎后端。用戶可以在保留TensorFlow或MxNet網(wǎng)絡(luò)開發(fā)習(xí)慣的同時(shí)莉测，通過少量的驅(qū)動(dòng)代碼修改颜骤，就直接獲得XDL在大規(guī)模稀疏計(jì)算上的分布式訓(xùn)練能力。換句話說捣卤，使用XDL時(shí)無需再學(xué)習(xí)一門新的框架語言忍抽，這帶來另一個(gè)好處是XDL可以跟現(xiàn)有成熟的開源社區(qū)無縫對(duì)接——用戶可以很輕松地將tensorflow社區(qū)的某個(gè)開源模型通過XDL拓展到工業(yè)級(jí)場(chǎng)景。

Compact Computation：結(jié)構(gòu)化計(jì)算模式大幅提升訓(xùn)練效率

工業(yè)界稀疏場(chǎng)景下的樣本表征董朝，往往呈現(xiàn)很強(qiáng)的結(jié)構(gòu)化特點(diǎn)鸠项，例如用戶特征、商品特征益涧、場(chǎng)景特征锈锤。這種構(gòu)建方式?jīng)Q定了某些特征會(huì)大量出現(xiàn)在重復(fù)的樣本中——隸屬于同一個(gè)用戶的多條樣本中，用戶特征很大一部分是相同的闲询。結(jié)構(gòu)化樣本壓縮正是利用海量樣本中久免，大量局部特征重復(fù)這一特點(diǎn),在存儲(chǔ)和計(jì)算兩個(gè)維度上對(duì)特征進(jìn)行壓縮，節(jié)省了存儲(chǔ)扭弧、計(jì)算和通信帶寬資源阎姥。樣本預(yù)處理階段，對(duì)需要聚合的特征進(jìn)行排序（例如按用戶ID排序鸽捻，聚合用戶特征）呼巴；batching階段，在tensor層面進(jìn)行壓縮御蒲；計(jì)算階段衣赶，壓縮特征只有在最后一層才會(huì)展開，極大節(jié)省深層網(wǎng)絡(luò)的計(jì)算開銷厚满。 推薦場(chǎng)景下的效果驗(yàn)證表示府瞄，在典型的生產(chǎn)數(shù)據(jù)上，使用聚合排序的樣本和完全shuffle的樣本評(píng)估AUC指標(biāo)一致碘箍，整體性能提升10倍以上遵馆。

Online-Learning：大規(guī)模在線學(xué)習(xí)

在線學(xué)習(xí)近年來在工業(yè)界開始被大規(guī)模應(yīng)用，它是工程與算法的深入結(jié)合丰榴，賦予模型實(shí)時(shí)捕捉線上流量變化的能力货邓，在一些對(duì)時(shí)效性要求很高的場(chǎng)景，有十分大的價(jià)值四濒。例如在電商大促等場(chǎng)景下换况，在線學(xué)習(xí)可以更加實(shí)時(shí)的捕捉用戶行為的變化职辨，顯著的提升模型的實(shí)時(shí)效果。XDL提供了一套完整的在線學(xué)習(xí)的解決方案复隆，支持基于全量模型拨匆，讀取實(shí)時(shí)消息隊(duì)列里的樣本進(jìn)行實(shí)時(shí)持續(xù)學(xué)習(xí)姆涩，我們內(nèi)置支持了Kafka等作為Message Source挽拂，并允許按照用戶設(shè)置控制模型寫出的周期。另外骨饿，為了避免無限制的新特征流入導(dǎo)致的實(shí)時(shí)模型爆炸問題亏栈，XDL內(nèi)置了實(shí)時(shí)特征自動(dòng)選擇與過期特征淘汰等功能，保證用戶使用XDL進(jìn)行在線學(xué)習(xí)的簡(jiǎn)便性宏赘。

1）去ID化的稀疏特征學(xué)習(xí)：傳統(tǒng)的機(jī)器學(xué)習(xí)框架一般要求對(duì)稀疏特征進(jìn)行ID化表征（從0開始緊湊編碼）绒北，以此來保證訓(xùn)練的高效性。XDL則允許直接以原始的特征進(jìn)行訓(xùn)練察署，大幅簡(jiǎn)化了特征工程的復(fù)雜度闷游，極大地增加了全鏈路數(shù)據(jù)處理效率，這一特性在實(shí)時(shí)在線學(xué)習(xí)場(chǎng)景下顯得更加有意義贴汪。

2）實(shí)時(shí)特征頻控：用戶可以設(shè)置一個(gè)特征過濾的閾值脐往，例如出現(xiàn)次數(shù)大于N次的特征才納入模型訓(xùn)練，系統(tǒng)會(huì)自動(dòng)的采用自動(dòng)概率丟棄的算法進(jìn)行特征選擇扳埂，這樣可以大幅降低無效超低頻特征在模型中的空間占用业簿。

3）過期特征淘汰：長(zhǎng)周期的在線學(xué)習(xí)時(shí)，用戶也可以通過打開過期特征淘汰功能阳懂，系統(tǒng)會(huì)自動(dòng)的對(duì)影響力弱且長(zhǎng)周期沒有碰觸到的特征參數(shù)進(jìn)行自動(dòng)淘汰梅尤。

X-DeepLearning算法解決方案

典型的點(diǎn)擊率(Click-Through Rate)預(yù)估模型

DIN（Deep Interest Network）

傳統(tǒng)的Embedding&MLP類的模型并未對(duì)用戶的表達(dá)做過多的工作。往往通過embedding的機(jī)制將用戶的歷史行為投影到一個(gè)定長(zhǎng)的向量空間岩调，再經(jīng)過一個(gè)sum/avg pooling操作得到一個(gè)定長(zhǎng)的用戶向量表達(dá)巷燥。但是用戶的興趣是多種多樣的，用一個(gè)固定的向量去表達(dá)用戶不同的興趣是非常難的号枕。事實(shí)上用戶在面對(duì)不同商品的時(shí)候缰揪，其興趣表現(xiàn)也不一樣，僅僅和這個(gè)商品相關(guān)的興趣會(huì)影響用戶的決策堕澄。

因此我們?cè)陬A(yù)估用戶對(duì)一個(gè)具體商品的點(diǎn)擊率的時(shí)候只需要表達(dá)其與此商品相關(guān)的興趣邀跃。在DIN中我們提出了一個(gè)興趣激活機(jī)制，通過被預(yù)估的商品去激活用戶歷史行為中相關(guān)的部分蛙紫，從而獲取用戶在這個(gè)具體商品上的興趣拍屑。

論文地址：https://arxiv.org/abs/1706.06978

DIEN（Deep Interest Evolution Network）

DIEN主要解決兩個(gè)問題：興趣提取和興趣演化。在興趣提取這部分坑傅，傳統(tǒng)的算法直接將用戶的歷史行為當(dāng)做用戶的興趣僵驰。同時(shí)整個(gè)建模過程中的監(jiān)督信息全部集中于廣告點(diǎn)擊樣本上。而單純的廣告點(diǎn)擊樣本只能體現(xiàn)用戶在決策是否點(diǎn)擊廣告時(shí)的興趣，很難建模好用戶歷史每個(gè)行為時(shí)刻的興趣蒜茴。

本文中我們提出了auxiliary loss 用于興趣提取模塊星爪，約束模型在對(duì)用戶每一個(gè)歷史行為時(shí)刻的隱層表達(dá)能夠推測(cè)出后續(xù)的行為，我們希望這樣的隱層表達(dá)能更好的體現(xiàn)用戶在每一個(gè)行為時(shí)刻的興趣粉私。在興趣提取模塊后我們提出了興趣演化模塊顽腾，傳統(tǒng)的RNN類似的方法只能建模一個(gè)單一的序列，然而在電商場(chǎng)景 用戶不同的興趣其實(shí)有不同的演化過程诺核。在本文中我們提出AUGRU（Activation Unit GRU）抄肖，讓GRU的update門和預(yù)估的商品相關(guān)。在建模用戶的興趣演化過程中窖杀，AUGRU會(huì)根據(jù)不同的預(yù)估目標(biāo)商品構(gòu)建不同的興趣演化路徑漓摩，推斷出用戶和此商品相關(guān)的興趣。

論文地址：https://arxiv.org/abs/1809.03672

CMN（Cross Media Network）

CMN旨在CTR預(yù)估模型中引入更多的模態(tài)數(shù)據(jù)入客，如圖像信息管毙。在原有ID類特征基礎(chǔ)上，增加了圖像視覺特征桌硫，共同加入廣告CTR預(yù)估模型夭咬，在阿里媽媽大規(guī)模數(shù)據(jù)上取得了顯著的效果提升。CMN包括多項(xiàng)技術(shù)特色：第一鞍泉，圖像內(nèi)容特征抽取模型與主模型共同訓(xùn)練皱埠，聯(lián)合優(yōu)化； 第二咖驮，同時(shí)使用圖像信息表達(dá)廣告和用戶边器，其中用戶表達(dá)采用用戶歷史行為對(duì)應(yīng)的圖片； 第三托修，為處理訓(xùn)練涉及到的海量圖像數(shù)據(jù)忘巧，提出了“高級(jí)模型服務(wù)”的計(jì)算范式，有效減少訓(xùn)練過程中的計(jì)算睦刃、通信砚嘴、存儲(chǔ)負(fù)載。CMN除用于圖像特征引入外涩拙，對(duì)于文本际长、視頻等內(nèi)容特征也可以以合適的特征提取網(wǎng)絡(luò)、用同樣的模型處理兴泥。

論文地址：https://arxiv.org/abs/1711.06505

典型的轉(zhuǎn)化率(Conversion Rate)預(yù)估模型

ESMM（Entire Space Multi-task Model）

Entire Space Multi-task Model (ESMM) 是阿里媽媽研發(fā)的新型多任務(wù)聯(lián)合訓(xùn)練算法范式工育。ESMM模型首次提出了利用學(xué)習(xí)CTR和CTCVR的輔助任務(wù)迂回學(xué)習(xí)CVR的思路，利用用戶行為序列數(shù)據(jù)在完整樣本空間建模搓彻，避免了傳統(tǒng)CVR模型經(jīng)常遭遇的樣本選擇偏差和訓(xùn)練數(shù)據(jù)稀疏的問題如绸，取得了顯著的效果嘱朽。

ESMM 可以很容易地推廣到具有序列依賴性的用戶行為(瀏覽、點(diǎn)擊怔接、加購(gòu)搪泳、購(gòu)買等)預(yù)估中，構(gòu)建全鏈路多目標(biāo)預(yù)估模型扼脐。ESMM模型中的BASE子網(wǎng)絡(luò)可以替換為任意的學(xué)習(xí)模型岸军，因此ESMM的框架可以非常容易地和其他學(xué)習(xí)模型集成，從而吸收其他學(xué)習(xí)模型的優(yōu)勢(shì)谎势，進(jìn)一步提升學(xué)習(xí)效果凛膏，想象空間巨大杨名。

論文地址：https://arxiv.org/abs/1804.07931

典型的匹配召回模型

TDM（Tree-based Deep Match）

TDM自主創(chuàng)新提出了一套完整的基于樹的復(fù)雜深度學(xué)習(xí)推薦匹配算法框架脏榆，它通過建立用戶興趣層次樹結(jié)構(gòu)實(shí)現(xiàn)了高效的全庫檢索，并以此為基礎(chǔ)賦能深度模型引入Attention等更先進(jìn)的計(jì)算結(jié)構(gòu)台谍，達(dá)到了在精度须喂、召回率以及新穎性等指標(biāo)上相對(duì)于傳統(tǒng)推薦方法的顯著效果提升。

進(jìn)一步的趁蕊，TDM設(shè)計(jì)實(shí)現(xiàn)了一套完整的 初始樹-模型訓(xùn)練-樹重建-模型再訓(xùn)練 的聯(lián)合訓(xùn)練迭代框架坞生，更加促進(jìn)了效果的提升。聯(lián)合訓(xùn)練賦予了TDM算法框架較好的通用性掷伙，為TDM向新場(chǎng)景是己、新領(lǐng)域的遷移擴(kuò)展提供了良好的理論基礎(chǔ)和極大的工程可行性。

論文地址：https://arxiv.org/abs/1801.02294

典型的模型壓縮算法

Rocket Training

工業(yè)上在線模型的實(shí)時(shí)推理對(duì)響應(yīng)時(shí)間提出非常嚴(yán)苛的要求任柜，從而一定程度上限制了模型的復(fù)雜程度卒废。模型復(fù)雜程度的受限可能會(huì)導(dǎo)致模型學(xué)習(xí)能力的降低從而帶來效果的下降。

目前有2種思路來解決這個(gè)問題：一方面宙地，可以在固定模型結(jié)構(gòu)和參數(shù)的情況下摔认，用計(jì)算數(shù)值壓縮來降低inference時(shí)間，同時(shí)也有設(shè)計(jì)更精簡(jiǎn)的模型以及更改模型計(jì)算方式的工作宅粥，如Mobile Net和ShuffleNet等工作参袱。

另一方面，利用復(fù)雜的模型來輔助一個(gè)精簡(jiǎn)模型的訓(xùn)練秽梅，測(cè)試階段抹蚀，利用學(xué)習(xí)好的小模型來進(jìn)行推理。這兩種方案并不沖突企垦，在大多數(shù)情況下第二種方案可以通過第一種方案進(jìn)一步降低inference時(shí)間环壤，同時(shí)，考慮到相對(duì)于嚴(yán)苛的在線響應(yīng)時(shí)間竹观，我們有更自由的訓(xùn)練時(shí)間镐捧，有能力訓(xùn)練一個(gè)復(fù)雜的模型潜索。Rocket Training屬于第二種思路，它比較的輕巧優(yōu)雅懂酱，方法具有很強(qiáng)的通用性竹习，可以根據(jù)系統(tǒng)能力來定制模型復(fù)雜度，提供了一種"無極調(diào)速"手段列牺。在阿里媽媽的生產(chǎn)實(shí)踐中整陌，Rocket Training可以極大地節(jié)省在線計(jì)算資源，顯著提升系統(tǒng)應(yīng)對(duì)雙十一大促等流量洪峰的能力瞎领。

論文地址：https://arxiv.org/abs/1708.04106

BenchMark

我們提供幾組Benchmark數(shù)據(jù)供大家參考泌辫，重點(diǎn)看一下XDL在大batch、小batch等場(chǎng)景下的訓(xùn)練性能以及水平可擴(kuò)展能力九默，以及結(jié)構(gòu)化壓縮訓(xùn)練帶來的提速震放。

基于CPU訓(xùn)練的深度CTR模型

我們選取模型結(jié)構(gòu)為Sparse Embedding DNN結(jié)構(gòu)，N路Sparse特征分別做Embedding驼修，再通過BiInteraction得到若干路NFM特征殿遂。選擇兩個(gè)特征規(guī)模的場(chǎng)景，Sparse特征總規(guī)模分別約為10億（對(duì)應(yīng)百億參數(shù)）/100億（對(duì)應(yīng)千億參數(shù)）乙各，dense維度為數(shù)百維墨礁，單條樣本Sparse特征id數(shù)量約100+/300+個(gè)。

訓(xùn)練模式：BatchSize=100耳峦，異步SGD訓(xùn)練恩静。

從bechmark結(jié)果可以看到，在高維稀疏場(chǎng)景下蹲坷，XDL有明顯的優(yōu)勢(shì)驶乾，在相當(dāng)大并發(fā)的情況下，保持了良好的線性可擴(kuò)展能力冠句。

基于GPU訓(xùn)練的深度CTR模型

本文作者：XDL

作者：阿里云云棲社區(qū)

鏈接：http://www.reibang.com/p/ae3081626af7

來源：簡(jiǎn)書

簡(jiǎn)書著作權(quán)歸作者所有轻掩，任何形式的轉(zhuǎn)載都請(qǐng)聯(lián)系作者獲得授權(quán)并注明出處。