大部分的拆分與組合闷叉，本質(zhì)都是在trade off
甚至不少明星大佬的離婚與結(jié)婚，也是在權(quán)衡即時(shí)的付出與未來(lái)潛在的收益（笑）

模型拆分訓(xùn)練

• 是否應(yīng)該拆分医增，拆分粒度的影響：
  多場(chǎng)景一起訓(xùn)練與單獨(dú)拆分訓(xùn)練比奕纫，一起訓(xùn)練大模型數(shù)據(jù)量更大署惯，variance更低又官，但是對(duì)局部而言bias更大不傅，數(shù)據(jù)有被少數(shù)重度用戶dominate的風(fēng)險(xiǎn)。
  而拆分訓(xùn)練赏胚，bias更小访娶，但如果特征維度，參數(shù)數(shù)量不變的話觉阅，會(huì)由于數(shù)據(jù)量減少會(huì)導(dǎo)致variance擴(kuò)大崖疤。

• 模型拆分維度訓(xùn)練：
  拆分的維度是需要考量的，因?yàn)椴鸱趾蟮溆拢Ｐ蛣t不能保障不同維度間的排序能力劫哼。
  1、拆分維度不影響排序
  比如推薦中分用戶拆分割笙，分新老客权烧，其實(shí)這種拆分影響最小，因?yàn)橥扑]中不同用戶的樣本不用混排伤溉，影響不大般码，類似的還有分廣告位，時(shí)段等context特征乱顾。
  2板祝、拆分維度部分影響排序
  比如分廣告主訓(xùn)練cvr模型。由于不同廣告主之間本身產(chǎn)品面向用戶差異較大走净，同時(shí)我們很在意特定廣告主的預(yù)估準(zhǔn)確性券时，對(duì)部分廣告主嚴(yán)重高估低估都可能導(dǎo)致平臺(tái)收入受損，廣告主流失等問(wèn)題伏伯，所以我們有時(shí)候也會(huì)分廣告主進(jìn)行模型訓(xùn)練橘洞。當(dāng)然，這里有很多別的問(wèn)題说搅，比如數(shù)據(jù)隱私問(wèn)題等炸枣。
  這里的業(yè)務(wù)整體介于混排和不充分混排之間（比如定向不同，或者分布差異大容易判定）蜓堕。
  3抛虏、拆分維度影響排序
  比如推薦中要分產(chǎn)品類型，這些產(chǎn)品在每次排序中可能都要進(jìn)行充分的混排套才，此時(shí)需要謹(jǐn)慎設(shè)計(jì)迂猴。如果上層有機(jī)制來(lái)代替直接排序，那么沒(méi)問(wèn)題背伴，而如果是混排沸毁，那么拆分導(dǎo)致不同維度間的排序能力不可控是很危險(xiǎn)的峰髓。

• MTL輔助拆分：
  由于拆分本身會(huì)極大程度影響數(shù)據(jù)量，拆分出來(lái)的部分由于數(shù)據(jù)量小很可能要suffering from large variance息尺。
  所以一種更好進(jìn)行trade off的框架就是多任務(wù)訓(xùn)練携兵，拆分任務(wù)并用share param，或者加入?yún)?shù)的L1L2距離懲罰搂誉，相當(dāng)于加上constraints徐紧，能縮減因?yàn)椴鸱謳?lái)的過(guò)大的variance。同時(shí)如果去掉不同場(chǎng)景下不必要的特征炭懊，也能稍微降低一些variance并级。這個(gè)對(duì)比完全share所有參數(shù)的訓(xùn)練方式來(lái)說(shuō)，相當(dāng)于一種更弱且可以調(diào)節(jié)的constriants侮腹。
  所以嘲碧，MTL其實(shí)某種程度就是更好地幫我們trade-off。通過(guò)調(diào)整不同任務(wù)的學(xué)習(xí)率父阻，share參數(shù)的數(shù)量愈涩，L2懲罰系數(shù)等，更好地優(yōu)化這個(gè)問(wèn)題加矛。

• 拆分與組合本質(zhì)的合理性是什么
  其實(shí)本質(zhì)來(lái)自于履婉，他們是否屬于同一分布。如果我們假設(shè)樣本從統(tǒng)一總體分布中采出荒椭，那么應(yīng)該組合起來(lái)一起統(tǒng)計(jì)谐鼎。如果我們認(rèn)為樣本并非從同一總體中采出，那么我們應(yīng)該拆分統(tǒng)計(jì)趣惠。而現(xiàn)實(shí)中的這樣的假設(shè)往往太強(qiáng)了，即同特征表述下是同分布的（即兩個(gè)特征相同的用戶決策的隨機(jī)性來(lái)自相同的底層分布）身害，錯(cuò)誤的假設(shè)導(dǎo)致樣本并非嚴(yán)格來(lái)自同一總體味悄，因此帶來(lái)了天然的bias。且就算假設(shè)成立塌鸯，由于我們無(wú)法收集所有特征（譬如此時(shí)用戶所處環(huán)境溫度影響了決策）侍瑟，仍會(huì)有很大的bias（omitted var bias）。
  通常丙猬，對(duì)于一些有明顯差異性的場(chǎng)景下涨颜，我們會(huì)自然而然地就會(huì)進(jìn)行拆分。而進(jìn)一步思考茧球，每一個(gè)人決策的底層系統(tǒng)都是不同的庭瑰，甚至每一次。所以拆分的合理性也來(lái)自于此抢埋。
  何處收斂弹灭？其實(shí)都是在bias與variance之間trade off而已督暂，最終收斂到泛化誤差最小的狀態(tài)。

校準(zhǔn)穷吮，分桶數(shù)量逻翁，分維度如何選擇？

其實(shí)也是bias 與variance的選擇捡鱼，因?yàn)樾?zhǔn)的指標(biāo)八回，最終也是看泛化能力。

• 如何評(píng)估泛化能力：
  一般來(lái)說(shuō)驾诈，比如隔日校準(zhǔn)辽社，拿今天的反饋數(shù)據(jù)校準(zhǔn)數(shù)值，然后評(píng)估明日數(shù)據(jù)集上的分段oe翘鸭。

• 影響泛化的參數(shù)：
  1滴铅、分桶數(shù)量，分桶太少導(dǎo)致跟真實(shí)的bias過(guò)大（這里是假設(shè)不同段的數(shù)據(jù)來(lái)自于不同總體就乓，多個(gè)段被分到一個(gè)桶就被當(dāng)作了同一個(gè)總體汉匙，自然帶來(lái)了bias），分太多導(dǎo)致在單區(qū)間內(nèi)不置信variance太大生蚁。
  1.1噩翠、分維度類似于分桶，分越多variance越大邦投。
  2伤锚、校準(zhǔn)函數(shù)形式與參數(shù)的選擇，表達(dá)能力太弱導(dǎo)致bias大志衣，太強(qiáng)導(dǎo)致variance大屯援。
  3、注意一些邊界點(diǎn)的處理念脯，對(duì)于少數(shù)outlier狞洋，可能會(huì)導(dǎo)致離譜的誤差。

• 分維度校準(zhǔn)有何影響：
  從直觀大的scope看绿店，分維度縮小了數(shù)量吉懊，variance上升，bias下降假勿。
  對(duì)于保序回歸借嗽，進(jìn)行分維度校準(zhǔn)，內(nèi)部保序不影響auc转培，但是不同維度之間是會(huì)影響的恶导。理論上，整體數(shù)據(jù)集應(yīng)該是負(fù)面影響堡距。（注意泛化性的標(biāo)準(zhǔn)甲锡，不能用測(cè)試集搜參數(shù)校準(zhǔn)）
  不過(guò)在實(shí)際場(chǎng)景中兆蕉，也可能并沒(méi)有負(fù)面影響，比如我們?cè)谀信脩羯戏謩e校準(zhǔn)缤沦，真實(shí)排序能力其實(shí)不受影響虎韵，因?yàn)槟信臉颖酒鋵?shí)本身就是分隔的。但是在商品維度上分別校準(zhǔn)缸废，就有影響了包蓝。
  其實(shí)分了維度后，某種程度上企量，也是降低了bias测萎，提升了vairance。