甚至到目前為止，向控制平面注入更復雜的算法仍然是網(wǎng)絡(luò)技術(shù)研究領(lǐng)域的主流方向嘱腥，只不過控制的基石從分布式控制切換到了集中控制，控制的載體從路由器轉(zhuǎn)移到了服務(wù)器，而控制的算法也無可避免地升級到了機器學習以及大模型嘿悬。
而物質(zhì)基礎(chǔ)決定網(wǎng)絡(luò)技術(shù)，現(xiàn)有網(wǎng)絡(luò)技術(shù)體系的物質(zhì)基礎(chǔ)誕生于上世紀后半葉水泉，成熟于上世紀90年代中后期善涨，并在2010年前后達到巔峰。而這一體系遭遇顛覆性挑戰(zhàn)的起點以及發(fā)展過程則與云計算的崛起幾乎同步草则，行至AI在全球形成規(guī)模钢拧，終于出現(xiàn)了幾個月前思科將網(wǎng)絡(luò)部門與其他部門重組的一幕，讓我們以為數(shù)通已經(jīng)開始衰落炕横。
其實無論是云計算還是AI的崛起源内，不僅沒有削減對網(wǎng)絡(luò)基礎(chǔ)設(shè)施的需求，反而通過大幅度增加數(shù)據(jù)產(chǎn)能帶動了網(wǎng)絡(luò)規(guī)模的快速增長份殿，但相映成趣的是膜钓，全球主要網(wǎng)絡(luò)設(shè)備制造商的營收和利潤率卻并沒有出現(xiàn)同步的增長塔鳍。與此同時，全球主要的互聯(lián)網(wǎng)公司開始投入巨大的人力物力進行網(wǎng)絡(luò)器件呻此、設(shè)備轮纫、操作系統(tǒng)、協(xié)議的自研開發(fā)焚鲜，其自研程度之徹底果決史無前例掌唾。這時候再討論網(wǎng)絡(luò)技術(shù)，就必須明確地區(qū)分為傳統(tǒng)電信運營商和設(shè)備制造商的網(wǎng)絡(luò)技術(shù)以及大型互聯(lián)網(wǎng)公司的網(wǎng)絡(luò)技術(shù)兩個門類忿磅。而且糯彬，后者仍然處在以各自為戰(zhàn)、按需研發(fā)的階段葱她，尚未形成全球統(tǒng)一的體系架構(gòu)撩扒。
盡管大型互聯(lián)網(wǎng)公司的網(wǎng)絡(luò)技術(shù)和產(chǎn)品自研在對外兼容TCP/IP技術(shù)體系方面都表現(xiàn)極佳，幾乎令電信運營商和友商無感吨些，但內(nèi)部的迭代演化速度卻遠遠超出了傳統(tǒng)網(wǎng)絡(luò)體系的想象搓谆。網(wǎng)絡(luò)技術(shù)革命，始于數(shù)據(jù)中心網(wǎng)絡(luò)豪墅，而數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)革命泉手，是一場典型的以自上而下驅(qū)動的自下而上技術(shù)變革。這場變革的驅(qū)動力之大偶器，已經(jīng)到達了非觸動底層不足以適應(yīng)應(yīng)用層需求的地步斩萌。
2019年，現(xiàn)代強化學習之父屏轰，加拿大阿爾伯塔大學教授Rich Sutton在“The Bitter Lesson”一文中寫道：
“過去70年人工智能研究領(lǐng)域最重要的一堂課是颊郎，只有通用計算方法最終是最有效的，而且優(yōu)勢巨大霎苗。根本原因是摩爾定律姆吭，更確切地說是，每個計算單元的成本持續(xù)呈指數(shù)下降叨粘。大多數(shù)人工智能研究都是假設(shè) Agent 可用的計算量是恒定的（在這種情況下猾编，利用人類知識將是提高性能的唯一方法之一）瘤睹，但是升敲，從較長的時間看，不可避免地會產(chǎn)生大量的計算量轰传。為了在短期內(nèi)獲得有所作為的改善驴党，研究人員試圖利用該領(lǐng)域內(nèi)的人類知識。但長遠來看获茬，唯一重要的是利用算力港庄。這兩者不必相互對立倔既，但在實踐中它們往往會相互對立。時間投入到一種方法上鹏氧，就沒辦法投入到另一種方法上渤涌，這是對投入一種或另一種方法的心理承諾。而人類知識往往很復雜把还，不太適合利用好通用算力实蓬。有很多的例子表明人工智能研究人員遲遲未能學習這個苦澀的教訓，回顧一些最突出的例子很有啟發(fā)性吊履“仓澹”
**https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf
Rich Sutton的觀點與AI領(lǐng)域關(guān)于Scaling Law的大討論相得益彰，其核心要義都是能用資源解決的問題勿要訴諸復雜技術(shù)艇炎，云計算的出現(xiàn)酌伊，要求網(wǎng)絡(luò)承載能力出現(xiàn)指數(shù)級增長，對控制平面的調(diào)度能力和調(diào)度效率都提出了全新的要求缀踪，于是SDN出現(xiàn)居砖。SDN通過集中控制簡化了分布式控制緩慢的收斂過程，但借助強大的算力以及大規(guī)模帶寬資源供給能力對沖掉了大部分導致控制失靈或網(wǎng)絡(luò)失能的風險驴娃，這本質(zhì)上是一種富裕仗的打法悯蝉，基本原則是能用資源供給對沖的問題絕不用復雜的技術(shù)去解決，能消滅在萌芽狀態(tài)的問題絕不等問題發(fā)生以后再去補救托慨，控制平面的邏輯越簡單鼻由，網(wǎng)絡(luò)系統(tǒng)越穩(wěn)定。
故善戰(zhàn)者之勝也厚棵，無智名蕉世，無勇功。
而傳統(tǒng)的網(wǎng)絡(luò)技術(shù)體系是在帶寬資源匱乏且昂貴的時代條件下的產(chǎn)物婆硬，既要開放系統(tǒng)互聯(lián)狠轻，又要保持穩(wěn)定的網(wǎng)絡(luò)服務(wù)能力，就只能將服務(wù)壓縮到最低限度的網(wǎng)絡(luò)連通性彬犯，至于連通之后能提供多大的帶寬向楼、多低的延遲，隨緣谐区。有趣的是湖蜕，當傳統(tǒng)網(wǎng)絡(luò)技術(shù)體系中的很多人與非傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)衍生出的SDN相遇之后，便碰撞出了巨無霸級別的控制器以及巨復雜的流量調(diào)度算法宋列。SDN及其在傳統(tǒng)網(wǎng)絡(luò)技術(shù)體系中的數(shù)字孿生并行不悖昭抒。
隨后出現(xiàn)的SDWAN要拜谷歌的B4所賜，但B4的核心仍是以網(wǎng)絡(luò)資源的超量供給對沖超大規(guī)模網(wǎng)絡(luò)系統(tǒng)中的風險，控制平面的算法聊勝于無灭返。但在傳統(tǒng)網(wǎng)絡(luò)領(lǐng)域盗迟，除了一部分先知先覺的跨境帶寬資源集成商以及隧道技術(shù)研發(fā)者名利雙收賺得一桶金之外，真正將真金白銀投入SDWAN控制系統(tǒng)研發(fā)領(lǐng)域的公司最終用自己的繩命為SDWAN畫上了技術(shù)的句號熙含。
在廣義的網(wǎng)絡(luò)技術(shù)領(lǐng)域罚缕，之所以會同時存在數(shù)據(jù)中心內(nèi)外兩套截然不同的技術(shù)體系且并行不悖，我認為是受算力和能源瓶頸所限怎静，數(shù)據(jù)中心內(nèi)部的網(wǎng)絡(luò)場景和需求尚不具備大規(guī)模溢出到廣域網(wǎng)的條件怕磨，即便是大模型應(yīng)用一片繁榮，用戶終端和數(shù)據(jù)中心之間的交互仍然與普通的網(wǎng)頁瀏覽或視頻觀看無異消约。
一旦算力和能源的瓶頸被突破肠鲫，則矛盾的焦點會迅速轉(zhuǎn)移到數(shù)據(jù)要素匱乏方面，即現(xiàn)有的互聯(lián)網(wǎng)并不具備大規(guī)模生產(chǎn)要素級別數(shù)據(jù)的能力或粮，而這種產(chǎn)能無論對于算力還是網(wǎng)絡(luò)承載能力的要求都遠遠超過目前業(yè)內(nèi)想象力的極限导饲。
這一時刻同時也是數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)技術(shù)體系向廣域網(wǎng)溢出和替代升級的過程，在數(shù)百倍甚至數(shù)千倍于現(xiàn)網(wǎng)數(shù)據(jù)流量壓力之下氯材，生于網(wǎng)絡(luò)資源匱乏時代的傳統(tǒng)網(wǎng)絡(luò)技術(shù)體系將被能夠適配超大規(guī)模供給能力的新型技術(shù)體系所取代渣锦，TCP/IP的哲學理念將會以另一種表現(xiàn)形態(tài)繼續(xù)存在，但依附于上一個時代的肉身可能會消失得無影無蹤氢哮。
很多大模型行業(yè)的從業(yè)者對于上述愿景嗤之以鼻袋毙，因為他們相信大模型訓練網(wǎng)絡(luò)所需的超大規(guī)模數(shù)據(jù)量和網(wǎng)絡(luò)帶寬僅存在于數(shù)據(jù)中心內(nèi)部以及大模型訓練階段，用戶請求和應(yīng)答行為不會產(chǎn)生如此巨大的帶寬需求冗尤。
這是一種刻舟求劍式的思維定式听盖，他們沒有意識到，當前AI產(chǎn)業(yè)面臨的顯性瓶頸雖然是GPU和電力裂七，但更深層的矛盾卻是可供訓練的數(shù)據(jù)產(chǎn)能嚴重不足皆看。數(shù)據(jù)若要成為生產(chǎn)要素，AI若要成為生產(chǎn)力背零，必須建立在數(shù)據(jù)產(chǎn)能提升若干個數(shù)量級的基礎(chǔ)上腰吟，其規(guī)模遠遠超過目前互聯(lián)網(wǎng)的數(shù)據(jù)生產(chǎn)速度，包括垃圾數(shù)據(jù)的生產(chǎn)速度徙瓶。在這樣一個數(shù)據(jù)生產(chǎn)毛雇、消費高速對流的網(wǎng)絡(luò)中，超大規(guī)模流量將無處不在侦镇，整個互聯(lián)網(wǎng)都將數(shù)據(jù)中心化，哪里是數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)虽缕，哪里是數(shù)據(jù)中心外部網(wǎng)絡(luò)始藕，這樣的界限將變得模糊序宦，而與之對應(yīng)的是數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)技術(shù)體系的外溢和替代效應(yīng)隘梨。
所有這一切令人眼花繚亂的愿景月褥，實際上都服務(wù)于一個極其簡單的目標懊缺，承載超大規(guī)模流量阁谆。
量變引起質(zhì)變昵观，但質(zhì)變的核心不是越來越復雜，而是越來越簡單啊犬。
簡單到傳統(tǒng)的網(wǎng)絡(luò)部門甚至無需作為一個獨立的部門存在。
但在這一過程之中觉至，無論是工業(yè)界還是學術(shù)界，都將持續(xù)付出高昂的學費语御，反復承受Bitter Lessons的教誨峻贮。因為互聯(lián)網(wǎng)作為一個復雜巨系統(tǒng)，要想積累出足夠引起質(zhì)變的量變应闯，需要等待的各種前提條件幾乎涉及到整個工業(yè)體系的方方面面纤控，這是一場社會性變革，而不是一場狹義的單一領(lǐng)域技術(shù)革命碉纺。達成革命的共識需要支付足夠高的試錯成本船万，經(jīng)歷足夠多次的失敗之后，才可能看到成功的曙光骨田。
本月的AWS Re:Invent CTO專場, Werner Vogels博士并沒有發(fā)布任何新的產(chǎn)品, 而是把他入職亞馬遜20年的寶貴的經(jīng)驗和教訓分享出來, 主旨是當復雜性是不可避免時, 大家擁抱簡單性(Simplexity), 這些經(jīng)驗在我們構(gòu)建新的AI云基礎(chǔ)設(shè)施時是尤為重要的唬涧。對于如何把復雜性(Complexity)變?yōu)镾implexity(簡單性), werner博士劇了一個很形象的例子: 自行車
獨輪車雖然組件最少, 看起來最簡單, 卻在實際操作運維中很困難, 需要很高的技術(shù)能力的團隊努力才能實現(xiàn). 而三輪車雖然組件多, 穩(wěn)定性更好, 但是靈活度上卻帶來的一定的限制, 例如轉(zhuǎn)彎不方便.
而普通兩輪的自行車介于兩者之間, 提供了最佳的平衡, 既靈活又易于控制. 其設(shè)計到到了功能和體驗的最佳平衡, 因此也成了最簡單易用的交通工具.
Nitro vs CX8的定位也是如此, 為什么要堅持使用Nitro接入AWS?
從彈性的角度, Nitro隱藏了基礎(chǔ)設(shè)施中的大量的復雜性, 讓所有的資源都能對等的接入到整個Fabric中, 無論是存儲/CPU/GPU等資源, 都可以按照用戶的需求進行組織和構(gòu)建. 這一點非常關(guān)鍵, 在第一天Peter的演講中也有詳細的講解,根據(jù)負載的動態(tài)可伸縮的架構(gòu)Nitro把中間的網(wǎng)絡(luò)/存儲的資源動態(tài)配置和物理拓撲的復雜性全部隱藏了, 也就是Werner博士講的, 將這些真正復雜的東西轉(zhuǎn)移到了基礎(chǔ)設(shè)施這一層, 讓用戶能夠更加專注于業(yè)務(wù), 并以業(yè)務(wù)的需求來使用資源.
從性能和穩(wěn)定性的角度, Nitro當前才200Gbps是CX8的1/4, 但是從穩(wěn)定的角度考慮, CX8單卡故障導致流量損失模型訓練中斷, 即便是采用2x400G的接口也會導致一半的流量中斷, 對整個集群的影響太大. 而如果采用4張200Gbps的Nitro, 并且拆分成2x100G的接口, 光模塊故障率普遍在0.3%左右, 即便是一個鏈路故障, 流量損失僅有1/8. 實際上這里有一個取舍.AWS針對AI云基礎(chǔ)設(shè)施的演講, 也有大量的可演進性的思考. 首先它并沒有因為這一波AIGC的熱潮而迅速的上線一個1.0的業(yè)務(wù), 讓過去的一年多大家普遍認為落后了.相反正是這一年多來業(yè)務(wù)的快速演進, 工業(yè)界在可靠性上遇到了大量的問題, 特別是訓練集群逐漸通過Prefill-Decode轉(zhuǎn)為訓推一體集群時, 很多原有的訓練集群架構(gòu)也存在一些局限性. 而在推理場景, 也存在早期的一些推理系統(tǒng)架構(gòu)的缺陷基本上就曇花一現(xiàn),然后就跟不上業(yè)務(wù)的節(jié)奏匆忙下線了.
Bitter Lessons of Network仍將繼續(xù)，盡管大多數(shù)人對于網(wǎng)絡(luò)傳輸技術(shù)以及網(wǎng)絡(luò)帶寬的增長無動于衷盛撑，但這一變化正在以不隨個人意志為轉(zhuǎn)移的速度發(fā)生碎节，直到所有人都被房間里的大象嚇得跳起來為止。
自古以來抵卫，網(wǎng)絡(luò)存在的價值在于帶寬資源供給能力狮荔，網(wǎng)絡(luò)技術(shù)存在的價值，要么是能夠直接提升數(shù)據(jù)傳輸速率介粘，要么是能夠通過擴張網(wǎng)絡(luò)規(guī)模形成麥卡夫效應(yīng)殖氏，間接提升網(wǎng)絡(luò)價值，除此以外的那些看起來很美姻采、能夠暫時用大幅度提高復雜性換取小幅度資源利用率提升的技術(shù)雅采，都難以久存。
因為世界不僅是物質(zhì)的，而且是發(fā)展的婚瓜。需求不會呆坐在原地任人擺布宝鼓，需求具有天然的擴張性，得寸進尺巴刻、得隴望蜀愚铡，一旦些許的需求得到滿足，需求便會迅速膨脹起來胡陪，對更大規(guī)模的資源提出剛性訴求沥寥。
而窮日子富過式的榨汁機技術(shù)，并沒有能力從殘渣中壓榨出更多的資源柠座，其設(shè)計的初衷邑雅，也幾乎沒有考慮過需求的這種無限擴張屬性。
在無限擴張的需求面前妈经，唯一的取勝之道只剩下大力出奇跡蒂阱。
而要大力出奇跡，就必須放棄那些看起來唾手可得的低垂的果實狂塘，把人力物力聚焦于突破網(wǎng)絡(luò)傳輸能力乃至基礎(chǔ)科學瓶頸上录煤。這些瓶頸一日不突破，大量的從業(yè)者就難以擺脫疲于奔命但又勞而無功的花式內(nèi)卷和PPT競爭荞胡，以及開員節(jié)流降本增效的恐懼。
取勝之道非常簡單泪漂，但正是因為過于簡單萝勤，才極其難于被遵守。
孫武在《孫子兵法.謀攻篇》中說：用兵之法慎式，十則圍之趟径，五則攻之，倍則分之掌眠，敵則能戰(zhàn)之蓝丙，少則能逃之，不若則能避之渺尘。
抗倭名將俞大猷《正氣堂集》有言，“海上之戰(zhàn)無他術(shù)掠兄，大船勝小船锌雀，大銃勝小銃腋逆，多船勝寡船侈贷，多銃勝寡銃，而已撑蚌〔迹”
在網(wǎng)絡(luò)技術(shù)領(lǐng)域辣恋，或者在更加廣義的工程技術(shù)領(lǐng)域中，在全局或局部形成壓倒性的資源優(yōu)勢都是技術(shù)進步的不二法門饮潦，但也同時是最常被違背的制勝法門携狭。
在大模型訓練網(wǎng)絡(luò)中逛腿，由于量變的速度遠遠超過傳統(tǒng)網(wǎng)絡(luò)，因此對資源制勝的理解更加透徹稻轨，變革的速度更快雕凹，試錯的成本也更低政冻。
所謂時勢造英雄明场，不過如此苦锨。