流量復(fù)制工具之TCPCopy

流量復(fù)制

把線上的真實(shí)流量引流到測(cè)試環(huán)境抖所,模擬線上用戶操作梨州,讓測(cè)試機(jī)和真實(shí)的用戶交互,讓測(cè)試環(huán)境在正式灰度前暴露問(wèn)題田轧,增加上線信心

流量復(fù)制的常見(jiàn)方案

一暴匠、基于應(yīng)用層的請(qǐng)求復(fù)制?

優(yōu)點(diǎn):實(shí)現(xiàn)簡(jiǎn)單

缺點(diǎn):

1. 請(qǐng)求復(fù)制從應(yīng)用層開始,要穿過(guò)整個(gè)協(xié)議棧傻粘,容易搶占應(yīng)用資源每窖,如連接資源

2.測(cè)試跟實(shí)際應(yīng)用耦合在一起帮掉,容易影響線上機(jī)器,也無(wú)法復(fù)制大量請(qǐng)求

3.?很難控制網(wǎng)絡(luò)延遲

二窒典、基于底層數(shù)據(jù)包的請(qǐng)求復(fù)制

? ?無(wú)需穿透整個(gè)協(xié)議棧蟆炊,可以從數(shù)據(jù)鏈路層或者網(wǎng)絡(luò)層做流量復(fù)制,不走tcp層瀑志,這樣對(duì)線上機(jī)器的影響就會(huì)少很多

流量復(fù)制的兩種類型:

1. 實(shí)時(shí)復(fù)制 涩搓,實(shí)時(shí)的把線上流量復(fù)制到測(cè)試機(jī)

2. 離線復(fù)制,先把流量復(fù)制下來(lái)劈猪,保存在PCAP抓包文件中昧甘,然后在測(cè)試機(jī)離線回放

使用場(chǎng)景:

壓力測(cè)試?

回歸測(cè)試

線上問(wèn)題重現(xiàn)

架構(gòu)及原理:


TCPCOPY包括三個(gè)部分:

1. tcpcopy :運(yùn)行在線上機(jī)器,捕獲線上請(qǐng)求

2. intercept: 運(yùn)行在輔助機(jī)器战得,負(fù)責(zé)向tcpcopy發(fā)送響應(yīng)信息充边。

3. 目標(biāo)機(jī)器:被測(cè)機(jī)器

tcpcopy默認(rèn)捕獲網(wǎng)絡(luò)層的包(也可以配置為捕獲數(shù)據(jù)鏈路層的包),然后做一些必要的處理常侦,將包發(fā)送給被測(cè)機(jī)器

tcpcopy拷貝一次流量訪問(wèn)的步驟如下:

① 一個(gè)客戶請(qǐng)求到達(dá)線上機(jī)器浇冰;

② 拷貝IP層(或者數(shù)據(jù)鏈路層)的包到tcpcopy進(jìn)程;

③ tcpcopy修改包的目的及源地址刮吧,發(fā)給目標(biāo)測(cè)試機(jī)湖饱;

④ 拷貝的包到達(dá)目標(biāo)測(cè)試機(jī);

⑤ 目標(biāo)測(cè)試機(jī)的應(yīng)用處理訪問(wèn)杀捻,并返回結(jié)果給輔助機(jī)井厌;

⑥ 返回結(jié)果在輔助機(jī)的數(shù)據(jù)鏈路層被截獲,drop響應(yīng)的body致讥,copy返回的ip header仅仆;

⑦ 輔助機(jī)將響應(yīng)header發(fā)送給線上機(jī)器的tcpcopy進(jìn)程。

使用方式:

一垢袱、 實(shí)時(shí)復(fù)制流量

1. 目標(biāo)機(jī)器配置路由 墓拜,將響應(yīng)包路由到輔助機(jī)

route add -net 1.1.1.0 netmask 255.255.255.0 gw 2.2.2.2

其中2.2.2.2 為輔助機(jī), 1.1.1.0 為客戶端地址

2. 輔助機(jī)捕獲目標(biāo)機(jī)器發(fā)來(lái)的響應(yīng)包 (和抓包命令類似)

./intercept -F <filter> -i <device,>

例子:./intercept -i eth0 -F 'tcp and src port 8080' -d

捕獲網(wǎng)卡 eth0 请契,端口8080 基于tcp的包

3. 線上機(jī)器捕獲包咳榜,并修改客戶端地址,并把包發(fā)送給目標(biāo)機(jī)器爽锥,等待輔助機(jī)發(fā)送響應(yīng)包

./tcpcopy -x localServerPort-targetServerIP:targetServerPort -s <intercept server,> [-c <ip range,>]

例子:

?./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0? -d? ? ? ? #全流量復(fù)制

./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -r 20 -d? #復(fù)制20%的流量

? ./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0? -n 2? -d? #復(fù)制2倍流量

二涌韩、離線復(fù)制流量

使用tcpdump抓包

?tcpdump?-i eth0?-w test.pcap?tcp?and?port?80?-c 100

流量回放

./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -i test.pcap

遇到的問(wèn)題:

編譯intercept程序時(shí)報(bào)錯(cuò) pcap.h can not found .需要安裝libpcap-dev包:

?apt-get install libpcap-dev


存在的問(wèn)題:

1.? 不支持加密協(xié)議https等 ,可以進(jìn)行二次開發(fā)氯夷,但是略復(fù)雜

2.? 可能會(huì)丟包:作者建議最好將三臺(tái)機(jī)器部署在同一個(gè)網(wǎng)段臣樱,或者使用代理,可以降低丟包率

參考:

https://github.com/session-replay-tools/tcpcopy

http://www.cnblogs.com/zhengyun_ustc/p/tcpcopy.html

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市雇毫,隨后出現(xiàn)的幾起案子玄捕,更是在濱河造成了極大的恐慌,老刑警劉巖棚放,帶你破解...
    沈念sama閱讀 218,546評(píng)論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件枚粘,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡席吴,警方通過(guò)查閱死者的電腦和手機(jī)赌结,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,224評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)孝冒,“玉大人柬姚,你說(shuō)我怎么就攤上這事∽校” “怎么了量承?”我有些...
    開封第一講書人閱讀 164,911評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)穴店。 經(jīng)常有香客問(wèn)我撕捍,道長(zhǎng),這世上最難降的妖魔是什么泣洞? 我笑而不...
    開封第一講書人閱讀 58,737評(píng)論 1 294
  • 正文 為了忘掉前任忧风,我火速辦了婚禮,結(jié)果婚禮上球凰,老公的妹妹穿的比我還像新娘狮腿。我一直安慰自己,他們只是感情好呕诉,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,753評(píng)論 6 392
  • 文/花漫 我一把揭開白布缘厢。 她就那樣靜靜地躺著,像睡著了一般甩挫。 火紅的嫁衣襯著肌膚如雪贴硫。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,598評(píng)論 1 305
  • 那天伊者,我揣著相機(jī)與錄音英遭,去河邊找鬼。 笑死亦渗,一個(gè)胖子當(dāng)著我的面吹牛挖诸,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播央碟,決...
    沈念sama閱讀 40,338評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了亿虽?” 一聲冷哼從身側(cè)響起菱涤,我...
    開封第一講書人閱讀 39,249評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎洛勉,沒(méi)想到半個(gè)月后粘秆,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,696評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡收毫,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,888評(píng)論 3 336
  • 正文 我和宋清朗相戀三年攻走,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片此再。...
    茶點(diǎn)故事閱讀 40,013評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡昔搂,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出输拇,到底是詐尸還是另有隱情摘符,我是刑警寧澤,帶...
    沈念sama閱讀 35,731評(píng)論 5 346
  • 正文 年R本政府宣布策吠,位于F島的核電站逛裤,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏猴抹。R本人自食惡果不足惜带族,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,348評(píng)論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望蟀给。 院中可真熱鬧蝙砌,春花似錦、人聲如沸坤溃。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,929評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)薪介。三九已至祠饺,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間汁政,已是汗流浹背道偷。 一陣腳步聲響...
    開封第一講書人閱讀 33,048評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留记劈,地道東北人勺鸦。 一個(gè)月前我還...
    沈念sama閱讀 48,203評(píng)論 3 370
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像目木,于是被迫代替她去往敵國(guó)和親换途。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,960評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • 關(guān)于Mongodb的全面總結(jié) MongoDB的內(nèi)部構(gòu)造《MongoDB The Definitive Guide》...
    中v中閱讀 31,938評(píng)論 2 89
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn)军拟,斷路器剃执,智...
    卡卡羅2017閱讀 134,657評(píng)論 18 139
  • 其實(shí)tuple只有兩個(gè)方法,count和index
    一盞省油的小燈閱讀 252評(píng)論 0 0
  • 剛剛忙完一天的事宜懈息,這才有功夫去寫今天的“路”肾档,路上我們會(huì)遇到很多很多的事情。比如:今天早上八點(diǎn)起床辫继,還想著找什...
    漢正閱讀 369評(píng)論 0 1
  • 綠松石如今逐漸成為文玩圈中的新寵姑宽,許多文玩愛(ài)好者都希望能收藏一件精美的綠松石雕件遣耍,去感受綠松石的樂(lè)趣。那么在魚龍混...
    五柳文玩華掌柜閱讀 394評(píng)論 0 0