以下是截止GNTC大會的阿里進展
對IPv6的思考
阿里巴巴的相關決策夯秃,我們在2017年6月份就開始啟動IPv6項目,為什么在這個節(jié)點就決策我們進行IPv6投入挚歧,我們有以下幾方面的思考映挂。首先當時全球有5億以上的IPv6活躍用戶瓮孙,分布在印度、美國麸祷、日本澎怒、歐洲這些國家,甚至東南亞也開始了增長阶牍。截至現(xiàn)在我們中國截至今天喷面,我們移動端的IPv6終端已經(jīng)達到了5億,第二走孽,就是我們未來五年以內(nèi)將有500億的物聯(lián)網(wǎng)終端進入互聯(lián)網(wǎng)惧辈,如此大體量的數(shù)量是IPv4無法支撐的;第三個是5G磕瓷,正在快速普及盒齿,它有高帶寬、低時延困食、海量接入的特點边翁,無法繼續(xù)使用地址轉換、會話保持硕盹、單向訪問的技術符匾。我們擁抱下一代互聯(lián)網(wǎng),以上三點是我們大的思考瘩例。
進展和成果
先匯報一下我們的進展啊胶,今年雙十一芒澜,阿里巴巴的當天交易額總數(shù)是2135億,交易峰值49萬筆每秒创淡,淘寶背后有IPv6支撐全棧業(yè)務痴晦。IPv6我們帶來一個好處,過去我們從服務端來看我們的用戶琳彩,只能看到一個什么IP地址呢誊酌?家庭網(wǎng)關或者4G網(wǎng)關,進行i大數(shù)據(jù)分析的話也會缺少很多大數(shù)據(jù)露乏,采用IPv6繞過NAT碧浊,我們直接看到我們終端用戶,進行精準分析和服務瘟仿。
下面介紹一下我們的高德箱锐,導航能力非常專業(yè)準確,是DAU過億的應用劳较,這是我們雙十一之前抓IPv6用戶訪問圖驹止,一周數(shù)據(jù)每天早晚高峰服務非常平順,IPv6網(wǎng)絡體驗非常流暢观蜗。
優(yōu)酷也是日活過億的應用臊恋,世界杯期間就開始了IPv6直播,我們采用了IPv6的應用加速技術墓捻,讓用戶的觀看更加流暢抖仅,因為省去了NAT轉換流程,并且全國IPv6的網(wǎng)絡是非常通暢的砖第。
這些是我們一些進展和成果撤卢,我介紹一下整體方案,以及我們做這個落地遇到一些挑戰(zhàn)梧兼。主要有三個方面放吩,第一個就是基礎網(wǎng)絡方面,我們怎么進行網(wǎng)絡改造袱院,第二個應用網(wǎng)絡屎慢,怎么去做安全防護,異地容災忽洛,第三方面業(yè)務體驗我們怎么做服務質量的優(yōu)化腻惠。
架構與挑戰(zhàn)
首先總體介紹下我們的業(yè)務架構,IPv6總體業(yè)務架構是這樣的欲虚,分為接入層互聯(lián)網(wǎng)和應用集灌。接入層大多知名品牌終端支持了IPv6。移動端訪問運營商的互聯(lián)網(wǎng),然后進入我們數(shù)據(jù)中心欣喧。應用側包括三層腌零,網(wǎng)絡、云唆阿、應用益涧。基礎網(wǎng)絡包括接入網(wǎng)驯鳖、骨干網(wǎng)闲询、IDC網(wǎng)絡、網(wǎng)關浅辙、服務器扭弧;另外就是云平臺、云網(wǎng)絡包括我們一些安全系統(tǒng)记舆,CDN鸽捻、DNS、SLB等泽腮,這兩層之上是我們的應用御蒲,阿里改造的五大應用運行在云的平臺之上。這是我們一個總體架構盛正,下面說一下我們過去工作里面帶來一些挑戰(zhàn)删咱。
第一個是我們運營商對接比較復雜,因為我們在全國多個地域要開通IPv6豪筝,而我們在對接早期這個網(wǎng)絡對接網(wǎng)絡是不成熟的,做了很多的工作摘能,到目前為止還有一些問題正在排查解決優(yōu)化续崖,這些工作非常復雜,代價也非常高团搞。
第二個我們投資比較大严望,因為大量的網(wǎng)絡設備是過去的積累,這些設備包括核心路由器逻恐、交換器投資非常大像吻,我們阿里基礎設施有上百萬臺服務器,涉及到總的硬件投資大概有幾百億以上复隆。
另外我們工作量非常大拨匆,因為涉及到變更、替換挽拂、升級惭每,數(shù)百臺的設備,數(shù)千條鏈路割接亏栈,還有大量的運營工作台腥,給我們一個整體的挑戰(zhàn)宏赘。
另外我們再講一下我們網(wǎng)絡架構,我們阿里的網(wǎng)絡架構以及IPv6的一個方案黎侈。從外向內(nèi)有五層網(wǎng)絡察署,接入-廣域-城域-應用網(wǎng)絡-DCN網(wǎng)絡,內(nèi)網(wǎng)從雙棧向IPv6 only演進峻汉,這是我們的總體架構贴汪。我們有兩方面的挑戰(zhàn),第一個就是我們成本的挑戰(zhàn)俱济,還有一個穩(wěn)定性嘶是,我們在這個網(wǎng)絡的升級演進過程相當于開著飛機換引擎,這對我們來說挑戰(zhàn)非常大蛛碌,出了很多大的故障聂喇,也積累了一些方法經(jīng)驗。另外就是技術方面的挑戰(zhàn)蔚携,現(xiàn)在就會產(chǎn)生一些路由爆表希太、安全規(guī)則資源不足、管控適配這些問題酝蜒。這是我們物理網(wǎng)絡架構方面的工作誊辉。
下面再講一下電商的業(yè)務架構,首先我們移動端PC端都是采用統(tǒng)一接入亡脑,本來每個業(yè)務VIP進行分配接入堕澄,但采用統(tǒng)一接入方法的話,可以讓用戶體驗更好霉咨,一次連接可以訪問我們所有的模塊蛙紫,包括天貓超市、餓了么這些業(yè)務都可以一次接入途戒。但是IPv6演進也帶來一些業(yè)務風險坑傅,大概有600個以上的應用,這些應用的我們怎么去統(tǒng)一切到IPv6上去喷斋,我們用戶大概有5億以上的用戶唁毒,這些用戶我們怎么去逐步的切換?還是我們一下子切換星爪,風險怎么去解決浆西,另外一個挑戰(zhàn)就是我們面臨一些DDoS攻擊、薅羊毛的風險如何處理移必,這些我們的業(yè)務挑戰(zhàn)室谚。
下面講一下應用體驗的挑戰(zhàn)。因為我們IPv6網(wǎng)絡今年開始大規(guī)模的建設改造,包括運營商網(wǎng)絡和企業(yè)的網(wǎng)絡都是這樣秒赤,這個網(wǎng)絡是不成熟的猪瞬,也有大量的連接失敗率,比較高的網(wǎng)絡延時入篮,很多省份有這個問題我們怎么去解決陈瘦。IPv4和IPv6有一個Fallback問題,回落時間過長怎么去解決潮售,因為可能導致花21秒的時間去滑落痊项,還有我們IPv6包長增加了20個字節(jié),還有運營商老的網(wǎng)絡MTU可能比1500比較小酥诽,IPv6協(xié)議是規(guī)定鞍泉,中間網(wǎng)絡禁止分片,所以有大量的MTU導致的丟包問題怎么去解決肮帐,這對我們網(wǎng)絡和應用都是一個挑戰(zhàn)咖驮。
解決方案
下面講一下網(wǎng)絡優(yōu)化方案,分幾個方面训枢,第一個我們物理網(wǎng)絡的覆蓋托修,我們自研虛擬網(wǎng)絡平臺,第三方面我們的應用調(diào)度三個領域的方案恒界。
阿里物理網(wǎng)絡是全國覆蓋的睦刃,我們已經(jīng)在全國超過20個IDC已經(jīng)支持了IPv6,覆蓋是非常廣的十酣,第二個帶寬每個區(qū)域出口達到了2T以上的帶寬涩拙,北京、上海耸采、深圳等等出口都超過了2個T吃环。第三個覆蓋廣,我們在CDN在全國各地實現(xiàn)了IPv6的應用加速洋幻。可以保證我們業(yè)務體驗更加優(yōu)質翅娶,這是物理網(wǎng)絡文留。
范圍大了之后我們怎么去調(diào)度,怎么去發(fā)現(xiàn)問題竭沫,這是我們有一套活水IPv6互聯(lián)網(wǎng)燥翅,監(jiān)控系統(tǒng),實時監(jiān)控我們機房蜕提,全國各地我們部署了很多靶機森书,雙向探測我們機房的時延,抖動等等一些問題。經(jīng)過互聯(lián)網(wǎng)質量探測可以實時發(fā)現(xiàn)問題凛膏,對接后端調(diào)度系統(tǒng)杨名,用這個方案提升我們IPv6用戶質量。
完整方案是這樣的猖毫,首先我們是從剛才一些探測系統(tǒng)台谍、移動端APP感知用戶的質量問題,把這些質量數(shù)據(jù)問題送給網(wǎng)絡大腦--活水吁断,活水系統(tǒng)會把這些信息進行大數(shù)據(jù)分析趁蕊,分析之后會把處理的方案和結果告訴控制器,再進行網(wǎng)絡層調(diào)度和應用層的調(diào)度仔役,包括SRTE網(wǎng)絡調(diào)度掷伙、BGP路由調(diào)度,以及應用層DNS方案調(diào)度又兵,另外我們有多個運營商出口任柜,進行同城多出口的調(diào)度,也可以進行異地的調(diào)度寒波。
剛才講的是物理網(wǎng)絡調(diào)度技術乘盼,現(xiàn)在講一下虛擬網(wǎng)絡技術平臺。這個是阿里巴巴自研的一套網(wǎng)絡平臺俄烁,左邊主要是我們轉發(fā)層面業(yè)務绸栅,右邊是我們管控層面系統(tǒng),我說幾個重點跟IPv6支撐幾個技術页屠。首先是我們的Netframe轉發(fā)支撐平臺粹胯,擁有400G級IPv6的轉發(fā)能力,另外就是我們的AliBGP辰企,實現(xiàn)跨廠商路由協(xié)議對接风纠,解決了多廠商兼容性的問題;另外一個就是我們的AliGuard可以提供一個T能力的抗攻擊能力牢贸,有效的防御黑產(chǎn)的攻擊竹观,這是我們主要是在IPv6方面做的一些工作。
下面介紹一下我們的整個應用鏈路和網(wǎng)絡潜索。應用層大概分三步臭增,首先左側我們是APP端我們的移動端,
第一步進行DNS解析竹习,包括PC端方案和移動端的解析方案誊抛,后面會詳細介紹;
第二步整陌,地址解析到我們靜態(tài)加速一個域名拗窃,還可以進行靜態(tài)頁面或者圖片視頻加載瞎领,這就指向CDN服務。
第三個方向就是我們動態(tài)業(yè)務請求服務随夸,這個就指向我們的VIP九默,運行在云上SLB之上,實現(xiàn)負載均衡逃魄。
我們后端的業(yè)務需要客戶的原始IP怎么辦荤西? 采用TOA攜帶用戶原始的IP,流轉到我們的Proxy伍俘,把IP信息插入HttpHeader邪锌,攜帶原始IP傳遞給后端Nginx,可通過X-Forwarded-For方法獲取real-ip癌瘾,這是我們整體一個應用架構觅丰。
下面講一下應用調(diào)度能力,因為我們有大量了應用都是日活超過一億的妨退,所以我們不可能說一個億的用戶都一次性切換到IPv6妇萄,我們在初期肯定一步步切換換,有兩個方案咬荷,
PC端或者瀏覽器端的服務:
域名請求先走到本地的運營商一般是本省冠句,再向阿里云權威DNS。阿里云DNS有幾個特點幸乒,提供高達1T抗攻擊能力的DNS服務懦底,目前承載了全國1200萬域名服務系統(tǒng);而且我們在全球18個region部署了Anycast技術罕扎。
標準DNS也有兩個缺點聚唐,第一個我們調(diào)度剛才是按省份,一個省全切上去腔召,這樣風險比較大杆查,另生效比較慢,因為(英文)有五分鐘生效的問題臀蛛,發(fā)現(xiàn)有些問題往會倒換亲桦,這個速度是非常慢的。我們有另外一個服務
移動端HttpDNS服務:
這個技術需要在 終端的APP嵌入SDK浊仆,需要域名解析的時候烙肺,終端通過Http協(xié)議請求,這樣就繞過了傳統(tǒng)Local DNS解析過程氧卧。有兩個好處,第一個是域名精準調(diào)度氏堤,可以按照更細的百分比沙绝,而且還可以加灰度白名單搏明,控制測試用戶先上一些IPv6。第二個好處就是域名防劫持闪檬,以前的標準DNS走UDP協(xié)議很容易被劫持星著,HttpDNS很難被劫持或者是攻擊。第三個好處是域名變更比以前快了很多粗悯,過去是五分鐘生效虚循,現(xiàn)在是秒級生效。
總結
剛才介紹整個阿里巴巴五大應用和各種平臺样傍,都是構建在阿里的云這個平臺之上包括計算横缔、存儲、網(wǎng)絡衫哥、數(shù)據(jù)庫安全茎刚,阿里大體量的應用在一年不到的時間內(nèi)就可以實現(xiàn)上線的程度,原因是依賴了已經(jīng)構建好的阿里云平臺撤逢,云網(wǎng)絡膛锭。阿里云IPv6產(chǎn)品和方案已經(jīng)服務了200個行業(yè)的場景。
總結一下蚊荣,IPv6項目是一個冷啟動的項目初狰,今年在國家政策推動下加速,各個領域都沒有準備好互例,阿里之所以快了一點奢入,阿里早在去年就開始投入,比國家政策還要早敲霍。人類智慧發(fā)展之所以這么快俊马,是因為我們構建在別人的肩膀之上,應用的演進也是這樣的肩杈,我希望大家可以把自己的應用平臺柴我,構建在云計算的平臺之上,實現(xiàn)更快的升級迭代扩然,謝謝大家艘儒。