中國IPv6應用和云計算排頭兵--阿里巴巴

以下是截止GNTC大會的阿里進展

對IPv6的思考

阿里巴巴的相關決策夯秃,我們在2017年6月份就開始啟動IPv6項目,為什么在這個節(jié)點就決策我們進行IPv6投入挚歧,我們有以下幾方面的思考映挂。首先當時全球有5億以上的IPv6活躍用戶瓮孙,分布在印度、美國麸祷、日本澎怒、歐洲這些國家,甚至東南亞也開始了增長阶牍。截至現(xiàn)在我們中國截至今天喷面,我們移動端的IPv6終端已經(jīng)達到了5億,第二走孽,就是我們未來五年以內(nèi)將有500億的物聯(lián)網(wǎng)終端進入互聯(lián)網(wǎng)惧辈,如此大體量的數(shù)量是IPv4無法支撐的;第三個是5G磕瓷,正在快速普及盒齿,它有高帶寬、低時延困食、海量接入的特點边翁,無法繼續(xù)使用地址轉換、會話保持硕盹、單向訪問的技術符匾。我們擁抱下一代互聯(lián)網(wǎng),以上三點是我們大的思考瘩例。

進展和成果

先匯報一下我們的進展啊胶,今年雙十一芒澜,阿里巴巴的當天交易額總數(shù)是2135億,交易峰值49萬筆每秒创淡,淘寶背后有IPv6支撐全棧業(yè)務痴晦。IPv6我們帶來一個好處,過去我們從服務端來看我們的用戶琳彩,只能看到一個什么IP地址呢誊酌?家庭網(wǎng)關或者4G網(wǎng)關,進行i大數(shù)據(jù)分析的話也會缺少很多大數(shù)據(jù)露乏,采用IPv6繞過NAT碧浊,我們直接看到我們終端用戶,進行精準分析和服務瘟仿。

下面介紹一下我們的高德箱锐,導航能力非常專業(yè)準確,是DAU過億的應用劳较,這是我們雙十一之前抓IPv6用戶訪問圖驹止,一周數(shù)據(jù)每天早晚高峰服務非常平順,IPv6網(wǎng)絡體驗非常流暢观蜗。

優(yōu)酷也是日活過億的應用臊恋,世界杯期間就開始了IPv6直播,我們采用了IPv6的應用加速技術墓捻,讓用戶的觀看更加流暢抖仅,因為省去了NAT轉換流程,并且全國IPv6的網(wǎng)絡是非常通暢的砖第。

這些是我們一些進展和成果撤卢,我介紹一下整體方案,以及我們做這個落地遇到一些挑戰(zhàn)梧兼。主要有三個方面放吩,第一個就是基礎網(wǎng)絡方面,我們怎么進行網(wǎng)絡改造袱院,第二個應用網(wǎng)絡屎慢,怎么去做安全防護,異地容災忽洛,第三方面業(yè)務體驗我們怎么做服務質量的優(yōu)化腻惠。

架構與挑戰(zhàn)

首先總體介紹下我們的業(yè)務架構,IPv6總體業(yè)務架構是這樣的欲虚,分為接入層互聯(lián)網(wǎng)和應用集灌。接入層大多知名品牌終端支持了IPv6。移動端訪問運營商的互聯(lián)網(wǎng),然后進入我們數(shù)據(jù)中心欣喧。應用側包括三層腌零,網(wǎng)絡、云唆阿、應用益涧。基礎網(wǎng)絡包括接入網(wǎng)驯鳖、骨干網(wǎng)闲询、IDC網(wǎng)絡、網(wǎng)關浅辙、服務器扭弧;另外就是云平臺、云網(wǎng)絡包括我們一些安全系統(tǒng)记舆,CDN鸽捻、DNS、SLB等泽腮,這兩層之上是我們的應用御蒲,阿里改造的五大應用運行在云的平臺之上。這是我們一個總體架構盛正,下面說一下我們過去工作里面帶來一些挑戰(zhàn)删咱。

第一個是我們運營商對接比較復雜,因為我們在全國多個地域要開通IPv6豪筝,而我們在對接早期這個網(wǎng)絡對接網(wǎng)絡是不成熟的,做了很多的工作摘能,到目前為止還有一些問題正在排查解決優(yōu)化续崖,這些工作非常復雜,代價也非常高团搞。

第二個我們投資比較大严望,因為大量的網(wǎng)絡設備是過去的積累,這些設備包括核心路由器逻恐、交換器投資非常大像吻,我們阿里基礎設施有上百萬臺服務器,涉及到總的硬件投資大概有幾百億以上复隆。

另外我們工作量非常大拨匆,因為涉及到變更、替換挽拂、升級惭每,數(shù)百臺的設備,數(shù)千條鏈路割接亏栈,還有大量的運營工作台腥,給我們一個整體的挑戰(zhàn)宏赘。

另外我們再講一下我們網(wǎng)絡架構,我們阿里的網(wǎng)絡架構以及IPv6的一個方案黎侈。從外向內(nèi)有五層網(wǎng)絡察署,接入-廣域-城域-應用網(wǎng)絡-DCN網(wǎng)絡,內(nèi)網(wǎng)從雙棧向IPv6 only演進峻汉,這是我們的總體架構贴汪。我們有兩方面的挑戰(zhàn),第一個就是我們成本的挑戰(zhàn)俱济,還有一個穩(wěn)定性嘶是,我們在這個網(wǎng)絡的升級演進過程相當于開著飛機換引擎,這對我們來說挑戰(zhàn)非常大蛛碌,出了很多大的故障聂喇,也積累了一些方法經(jīng)驗。另外就是技術方面的挑戰(zhàn)蔚携,現(xiàn)在就會產(chǎn)生一些路由爆表希太、安全規(guī)則資源不足、管控適配這些問題酝蜒。這是我們物理網(wǎng)絡架構方面的工作誊辉。


下面再講一下電商的業(yè)務架構,首先我們移動端PC端都是采用統(tǒng)一接入亡脑,本來每個業(yè)務VIP進行分配接入堕澄,但采用統(tǒng)一接入方法的話,可以讓用戶體驗更好霉咨,一次連接可以訪問我們所有的模塊蛙紫,包括天貓超市、餓了么這些業(yè)務都可以一次接入途戒。但是IPv6演進也帶來一些業(yè)務風險坑傅,大概有600個以上的應用,這些應用的我們怎么去統(tǒng)一切到IPv6上去喷斋,我們用戶大概有5億以上的用戶唁毒,這些用戶我們怎么去逐步的切換?還是我們一下子切換星爪,風險怎么去解決浆西,另外一個挑戰(zhàn)就是我們面臨一些DDoS攻擊、薅羊毛的風險如何處理移必,這些我們的業(yè)務挑戰(zhàn)室谚。

下面講一下應用體驗的挑戰(zhàn)。因為我們IPv6網(wǎng)絡今年開始大規(guī)模的建設改造,包括運營商網(wǎng)絡和企業(yè)的網(wǎng)絡都是這樣秒赤,這個網(wǎng)絡是不成熟的猪瞬,也有大量的連接失敗率,比較高的網(wǎng)絡延時入篮,很多省份有這個問題我們怎么去解決陈瘦。IPv4和IPv6有一個Fallback問題,回落時間過長怎么去解決潮售,因為可能導致花21秒的時間去滑落痊项,還有我們IPv6包長增加了20個字節(jié),還有運營商老的網(wǎng)絡MTU可能比1500比較小酥诽,IPv6協(xié)議是規(guī)定鞍泉,中間網(wǎng)絡禁止分片,所以有大量的MTU導致的丟包問題怎么去解決肮帐,這對我們網(wǎng)絡和應用都是一個挑戰(zhàn)咖驮。

解決方案

下面講一下網(wǎng)絡優(yōu)化方案,分幾個方面训枢,第一個我們物理網(wǎng)絡的覆蓋托修,我們自研虛擬網(wǎng)絡平臺,第三方面我們的應用調(diào)度三個領域的方案恒界。

阿里物理網(wǎng)絡是全國覆蓋的睦刃,我們已經(jīng)在全國超過20個IDC已經(jīng)支持了IPv6,覆蓋是非常廣的十酣,第二個帶寬每個區(qū)域出口達到了2T以上的帶寬涩拙,北京、上海耸采、深圳等等出口都超過了2個T吃环。第三個覆蓋廣,我們在CDN在全國各地實現(xiàn)了IPv6的應用加速洋幻。可以保證我們業(yè)務體驗更加優(yōu)質翅娶,這是物理網(wǎng)絡文留。

范圍大了之后我們怎么去調(diào)度,怎么去發(fā)現(xiàn)問題竭沫,這是我們有一套活水IPv6互聯(lián)網(wǎng)燥翅,監(jiān)控系統(tǒng),實時監(jiān)控我們機房蜕提,全國各地我們部署了很多靶機森书,雙向探測我們機房的時延,抖動等等一些問題。經(jīng)過互聯(lián)網(wǎng)質量探測可以實時發(fā)現(xiàn)問題凛膏,對接后端調(diào)度系統(tǒng)杨名,用這個方案提升我們IPv6用戶質量。

完整方案是這樣的猖毫,首先我們是從剛才一些探測系統(tǒng)台谍、移動端APP感知用戶的質量問題,把這些質量數(shù)據(jù)問題送給網(wǎng)絡大腦--活水吁断,活水系統(tǒng)會把這些信息進行大數(shù)據(jù)分析趁蕊,分析之后會把處理的方案和結果告訴控制器,再進行網(wǎng)絡層調(diào)度和應用層的調(diào)度仔役,包括SRTE網(wǎng)絡調(diào)度掷伙、BGP路由調(diào)度,以及應用層DNS方案調(diào)度又兵,另外我們有多個運營商出口任柜,進行同城多出口的調(diào)度,也可以進行異地的調(diào)度寒波。

剛才講的是物理網(wǎng)絡調(diào)度技術乘盼,現(xiàn)在講一下虛擬網(wǎng)絡技術平臺。這個是阿里巴巴自研的一套網(wǎng)絡平臺俄烁,左邊主要是我們轉發(fā)層面業(yè)務绸栅,右邊是我們管控層面系統(tǒng),我說幾個重點跟IPv6支撐幾個技術页屠。首先是我們的Netframe轉發(fā)支撐平臺粹胯,擁有400G級IPv6的轉發(fā)能力,另外就是我們的AliBGP辰企,實現(xiàn)跨廠商路由協(xié)議對接风纠,解決了多廠商兼容性的問題;另外一個就是我們的AliGuard可以提供一個T能力的抗攻擊能力牢贸,有效的防御黑產(chǎn)的攻擊竹观,這是我們主要是在IPv6方面做的一些工作。

下面介紹一下我們的整個應用鏈路和網(wǎng)絡潜索。應用層大概分三步臭增,首先左側我們是APP端我們的移動端,

第一步進行DNS解析竹习,包括PC端方案和移動端的解析方案誊抛,后面會詳細介紹;

第二步整陌,地址解析到我們靜態(tài)加速一個域名拗窃,還可以進行靜態(tài)頁面或者圖片視頻加載瞎领,這就指向CDN服務。

第三個方向就是我們動態(tài)業(yè)務請求服務随夸,這個就指向我們的VIP九默,運行在云上SLB之上,實現(xiàn)負載均衡逃魄。

我們后端的業(yè)務需要客戶的原始IP怎么辦荤西? 采用TOA攜帶用戶原始的IP,流轉到我們的Proxy伍俘,把IP信息插入HttpHeader邪锌,攜帶原始IP傳遞給后端Nginx,可通過X-Forwarded-For方法獲取real-ip癌瘾,這是我們整體一個應用架構觅丰。

下面講一下應用調(diào)度能力,因為我們有大量了應用都是日活超過一億的妨退,所以我們不可能說一個億的用戶都一次性切換到IPv6妇萄,我們在初期肯定一步步切換換,有兩個方案咬荷,

PC端或者瀏覽器端的服務:

域名請求先走到本地的運營商一般是本省冠句,再向阿里云權威DNS。阿里云DNS有幾個特點幸乒,提供高達1T抗攻擊能力的DNS服務懦底,目前承載了全國1200萬域名服務系統(tǒng);而且我們在全球18個region部署了Anycast技術罕扎。

標準DNS也有兩個缺點聚唐,第一個我們調(diào)度剛才是按省份,一個省全切上去腔召,這樣風險比較大杆查,另生效比較慢,因為(英文)有五分鐘生效的問題臀蛛,發(fā)現(xiàn)有些問題往會倒換亲桦,這個速度是非常慢的。我們有另外一個服務

移動端HttpDNS服務:

這個技術需要在 終端的APP嵌入SDK浊仆,需要域名解析的時候烙肺,終端通過Http協(xié)議請求,這樣就繞過了傳統(tǒng)Local DNS解析過程氧卧。有兩個好處,第一個是域名精準調(diào)度氏堤,可以按照更細的百分比沙绝,而且還可以加灰度白名單搏明,控制測試用戶先上一些IPv6。第二個好處就是域名防劫持闪檬,以前的標準DNS走UDP協(xié)議很容易被劫持星著,HttpDNS很難被劫持或者是攻擊。第三個好處是域名變更比以前快了很多粗悯,過去是五分鐘生效虚循,現(xiàn)在是秒級生效。

總結

剛才介紹整個阿里巴巴五大應用和各種平臺样傍,都是構建在阿里的云這個平臺之上包括計算横缔、存儲、網(wǎng)絡衫哥、數(shù)據(jù)庫安全茎刚,阿里大體量的應用在一年不到的時間內(nèi)就可以實現(xiàn)上線的程度,原因是依賴了已經(jīng)構建好的阿里云平臺撤逢,云網(wǎng)絡膛锭。阿里云IPv6產(chǎn)品和方案已經(jīng)服務了200個行業(yè)的場景。

總結一下蚊荣,IPv6項目是一個冷啟動的項目初狰,今年在國家政策推動下加速,各個領域都沒有準備好互例,阿里之所以快了一點奢入,阿里早在去年就開始投入,比國家政策還要早敲霍。人類智慧發(fā)展之所以這么快俊马,是因為我們構建在別人的肩膀之上,應用的演進也是這樣的肩杈,我希望大家可以把自己的應用平臺柴我,構建在云計算的平臺之上,實現(xiàn)更快的升級迭代扩然,謝謝大家艘儒。

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市夫偶,隨后出現(xiàn)的幾起案子界睁,更是在濱河造成了極大的恐慌,老刑警劉巖兵拢,帶你破解...
    沈念sama閱讀 222,252評論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件翻斟,死亡現(xiàn)場離奇詭異,居然都是意外死亡说铃,警方通過查閱死者的電腦和手機访惜,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,886評論 3 399
  • 文/潘曉璐 我一進店門嘹履,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人债热,你說我怎么就攤上這事砾嫉。” “怎么了窒篱?”我有些...
    開封第一講書人閱讀 168,814評論 0 361
  • 文/不壞的土叔 我叫張陵焕刮,是天一觀的道長。 經(jīng)常有香客問我墙杯,道長配并,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,869評論 1 299
  • 正文 為了忘掉前任霍转,我火速辦了婚禮荐绝,結果婚禮上,老公的妹妹穿的比我還像新娘避消。我一直安慰自己低滩,他們只是感情好,可當我...
    茶點故事閱讀 68,888評論 6 398
  • 文/花漫 我一把揭開白布岩喷。 她就那樣靜靜地躺著恕沫,像睡著了一般。 火紅的嫁衣襯著肌膚如雪纱意。 梳的紋絲不亂的頭發(fā)上婶溯,一...
    開封第一講書人閱讀 52,475評論 1 312
  • 那天,我揣著相機與錄音偷霉,去河邊找鬼迄委。 笑死,一個胖子當著我的面吹牛类少,可吹牛的內(nèi)容都是我干的叙身。 我是一名探鬼主播,決...
    沈念sama閱讀 41,010評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼硫狞,長吁一口氣:“原來是場噩夢啊……” “哼信轿!你這毒婦竟也來了?” 一聲冷哼從身側響起残吩,我...
    開封第一講書人閱讀 39,924評論 0 277
  • 序言:老撾萬榮一對情侶失蹤财忽,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后泣侮,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體即彪,經(jīng)...
    沈念sama閱讀 46,469評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,552評論 3 342
  • 正文 我和宋清朗相戀三年活尊,在試婚紗的時候發(fā)現(xiàn)自己被綠了祖凫。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片琼蚯。...
    茶點故事閱讀 40,680評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖惠况,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情宁仔,我是刑警寧澤稠屠,帶...
    沈念sama閱讀 36,362評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站翎苫,受9級特大地震影響权埠,放射性物質發(fā)生泄漏。R本人自食惡果不足惜煎谍,卻給世界環(huán)境...
    茶點故事閱讀 42,037評論 3 335
  • 文/蒙蒙 一攘蔽、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧呐粘,春花似錦满俗、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,519評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至痘儡,卻和暖如春辕万,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背沉删。 一陣腳步聲響...
    開封第一講書人閱讀 33,621評論 1 274
  • 我被黑心中介騙來泰國打工渐尿, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人矾瑰。 一個月前我還...
    沈念sama閱讀 49,099評論 3 378
  • 正文 我出身青樓砖茸,卻偏偏與公主長得像,于是被迫代替她去往敵國和親脯倚。 傳聞我的和親對象是個殘疾皇子渔彰,可洞房花燭夜當晚...
    茶點故事閱讀 45,691評論 2 361

推薦閱讀更多精彩內(nèi)容