大家可能都有這樣的經(jīng)驗,自個兒在家里很多功能很容易實現(xiàn)州疾,一下就做完了辜限,但是在做線上產(chǎn)品的時候,就變得無比復(fù)雜严蓖,需要花費很多的時間薄嫡。自己寫的程序在家跑,所有的業(yè)務(wù)都很正常颗胡,一旦發(fā)布到線上毫深,就會出現(xiàn)很多bug,而且很多bug在測試的時候很難重現(xiàn)毒姨,這是在互聯(lián)網(wǎng)開發(fā)的時候經(jīng)常遇到的現(xiàn)象哑蔫。
這些難以重現(xiàn)的bug,大部分是由于并發(fā)產(chǎn)生的手素,為了能讓大家充分的了解并發(fā)的問題鸳址,并且建立并發(fā)環(huán)境下的程序設(shè)計思維瘩蚪,我們?yōu)榇蠹覝蕚淞藥讉€小案例泉懦。
大家來看一下,這個網(wǎng)站典型的場景疹瘦,遇到內(nèi)容比較多的情況下崩哩,我們會使用分頁,如果是在移動端言沐,我們采用的是上拉刷新和下拉刷新邓嘹,比如手機微博。
分頁功能由來已久险胰,我們現(xiàn)在來看下常見的分頁有什么問題呢汹押?
大家看下我展示的這個項目是用thinkPHP來編寫的。很多流行的框架和開源項目都對分頁做了支持起便,那么大家來看我演示一個案例棚贾。
看到的現(xiàn)在的第一頁是最新的新聞窖维,如果我點擊下一頁,相對來說是老一點的新聞妙痹。
這個時候我們來做一件事情铸史,我們新打開一個瀏覽器窗口,剛剛的分頁頁面不要關(guān)閉怯伊,我們在后臺里面再發(fā)布5篇新聞琳轿。
假設(shè)我們在后臺發(fā)布新聞的同時,用戶還在瀏覽第二頁耿芹,當(dāng)發(fā)布完畢以后崭篡,用戶又點了下一頁,我們觀察到了奇特的現(xiàn)象吧秕。
我們看到第3頁和剛剛看到的第二頁完全一樣媚送,原本用戶點下一頁希望看到再早一些的新聞,結(jié)果看到了一樣的數(shù)據(jù)寇甸,是我們的分頁程序出問題了嗎塘偎?非也。
當(dāng)我們再點下一頁拿霉,程序又正常工作了吟秩。剛剛出現(xiàn)的奇怪的那一幕,其實就是由于并發(fā)產(chǎn)生的沖突绽淘。
在什么地方我們做了并發(fā)操作了呢涵防?其實就是在一個用戶瀏覽頁面的同時,還有人在往數(shù)據(jù)庫里面寫入數(shù)據(jù)沪铭。你會發(fā)現(xiàn)thinkPHP這樣的框架壮池,還是PHPCMS這樣的開源系統(tǒng),他們都存在這樣的bug杀怠。
并發(fā)產(chǎn)生的問題椰憋,往往難以捕捉,更難以重現(xiàn)赔退,而我們準備的這個案例橙依,算是并發(fā)案例沖突中相對容易重新的典型案例。
我們?nèi)绻{(diào)整一下剛剛操作的順序硕旗,我們會得到一些其他的結(jié)果窗骑。
比如說:我們分頁條目數(shù)是每頁5條,在用戶瀏覽某一頁的時候漆枚,后臺管理員發(fā)布了新的新聞创译,新聞的數(shù)量小于5條的情況下,我們點下一頁墙基,會看到有幾條重復(fù)的新聞软族,也有更早的新聞辛藻。
這樣影響用戶體驗,但畢竟我們點一下一的頁時候內(nèi)容還是能接的上的互订,用戶瀏覽某一頁的時候吱肌,后臺發(fā)布的新聞數(shù)量大于分頁條目數(shù)(5條)。
那么再點擊下一頁仰禽,其中會有若干條新聞被跳過去了氮墨,無論用戶點多少次下一頁,都看不到那些條目吐葵,這種產(chǎn)生的并發(fā)沖突后果是很嚴重的规揪,而且普遍存在。
他具有很好的隱蔽性温峭,在過去很多年幾乎不被察覺猛铅。
在大門戶網(wǎng)站時代,網(wǎng)站編輯并不會頻繁的發(fā)布新聞凤藏,而用戶也很少守著新聞列表去逐篇閱讀奸忽,然而在微博誕生以后,這種問題就暴露出來了揖庄。
由于社區(qū)類應(yīng)用信息的產(chǎn)生室友用戶產(chǎn)生的栗菜,不在是靠編輯在后臺發(fā)布的,就好像微博蹄梢,每時每分秒疙筹,都有很多用戶分享心得內(nèi)容。
這樣一來你在查看微博列表的同時禁炒,內(nèi)容就已經(jīng)更新 了 很多而咆,而且很多人打發(fā)無聊的時間,很多人也會去逐一查看幕袱,不停的上劃暴备,把所有遺漏的條目全部看一遍。
這是如果項目設(shè)計不合理凹蜂,產(chǎn)生并發(fā)事故馍驯,就會對用戶體驗造成極大的影響。
待會我會再講并發(fā)沖突解決方案的時候告訴大家如何解決這種問題玛痊。
現(xiàn)在我們來看一個更為常見的例子,大家可能還記得狂打,我們在微信群搞的抽獎的互動擂煞,我們的上百份禮品,瞬間就被秒殺光趴乡。
在做這類搶購與秒殺抽獎等應(yīng)用的時候对省,并發(fā)將導(dǎo)致更多的問題蝗拿。通常比較容易出現(xiàn)的bug有實際商品的訂單量大于庫存量。
通俗點來說就是蒿涎,明明已經(jīng)售完哀托,但還是有用戶買到了商品,庫存值變?yōu)樨摰摹?/p>
又或者明明秒殺到商品的用戶劳秋,訂單失敗仓手。
還有企業(yè)的項目,在商品秒殺期間玻淑,明明用戶數(shù)量不多嗽冒,卻導(dǎo)致服務(wù)器宕機。諸如此類的問題就不一一列舉了补履。
我們接下來來看一下用常規(guī)思維來梳理業(yè)務(wù)流程程序是怎樣編寫的添坊。
還是以商城秒殺業(yè)務(wù)為例。首先我們需要用產(chǎn)品庫存這樣的一個字段來記錄庫存信息箫锤,每當(dāng)有用戶購買商品的時候贬蛙,先查看庫存,判斷庫存大于0的時候谚攒,用戶才能購買速客。
當(dāng)用戶完成購買流程后,將庫存數(shù)量減一五鲫,直到所有商品賣完溺职,重復(fù)此過程,直到庫存賣完秒殺活動結(jié)束位喂。
如果按常規(guī)的思路來設(shè)計浪耘,這樣的流程是沒有問題的,商品畢竟是一件一件賣出的塑崖,但是七冲,在互聯(lián)網(wǎng)并發(fā)的情況下,就完全不是這樣的规婆。
要知道熱銷商品很有可能在同一時間澜躺,有多個用戶都在進行購買流程操作。
按照之前的業(yè)務(wù)設(shè)計抒蚜,假如有ABCD 4個用戶同時在秒殺某件商品時掘鄙,庫存僅剩2件,按照之前的業(yè)務(wù)流程設(shè)計嗡髓,查詢庫存大于0操漠,就可以繼續(xù)后面的購買操作并付款。
然而當(dāng)任意用戶購買成功后庫存即減一饿这,ABCD4個用戶都認為自己查詢時都有庫存浊伙,因此他們都可以完成購買流程撞秋,導(dǎo)致的結(jié)果就是庫存數(shù)為負數(shù)。
也就是說嚣鄙,商品實際銷售量大于活動的商品數(shù)量吻贿,這樣會導(dǎo)致公司的虧損。
有些公司為了解決這個問題哑子,采用了一種思路舅列,雖說4個人同時操作,但是交易成功的這次網(wǎng)絡(luò)請求到達服務(wù)器的時間總會有個先后順序赵抢。
那么可以將訂單支付成功之后的庫存減一之后的值也隨訂單保存剧蹂,如果這個值小于0,就證明有用戶購買了產(chǎn)品烦却,已經(jīng)是賣完的宠叼,于是標記訂單失敗。
這樣看上去避免公司造成額外的損失其爵,但卻會給用戶帶來極大的不滿冒冬,是一種極差的用戶體驗。它并沒有真正的解決我們的問題摩渺。
當(dāng)然還有些公司解決方案也不高明简烤,我們知道無論是數(shù)據(jù)庫還是文件都可以給他加鎖,在很早期的程序設(shè)計和軟件開發(fā)里面摇幻,鎖是解決并發(fā)問題的萬能靈藥横侦。
無論是c++,或java,提到多進程或多線程的時候绰姻,往往也會提到鎖這個字枉侧。那么作為最早期的通用解決方案,用到秒殺方案是否合適呢狂芋?
我們來看一下加鎖后的工作流程:還是ABCD 4個用戶同時秒殺榨馁,他們都去查詢庫存。當(dāng)某一個用戶帜矾,比如A的請求翼虫,優(yōu)先到達時,我們就將數(shù)據(jù)表鎖住屡萤,不讓其他的數(shù)據(jù)庫連接來動這張表珍剑,待用戶A完成購買流程,將庫存量減一后灭衷,把鎖打開次慢,其他的連接才可以再次操作這張表。
如此一來翔曲,可以保障一個用戶查看庫存以及庫存減一這段時間內(nèi)迫像,不可能還有其他用戶可以對表做出修改,這一并發(fā)沖突的問題就沒有了瞳遍。不過這樣的做法真的合適嗎闻妓?
要知道ABCD 4個用戶都是在同一時間段去秒殺的,由于A用戶在操作中鎖表掠械,導(dǎo)致其他用戶只能等待由缆,而且A完成整個業(yè)務(wù)需要消耗一段時間,只能等A完成以后其他用戶才能操作猾蒂。
這樣一來單位時間內(nèi)的業(yè)務(wù)處理量會大幅降低均唉,我們所看到的現(xiàn)象就是網(wǎng)站卡死,或者服務(wù)器宕機肚菠。
關(guān)于并發(fā)性能如何設(shè)計舔箭,我們可能需要單獨的一次或幾次課來為大家講解。不過鎖這種很原始的并發(fā)沖突解決方案蚊逢,我們可以看到他并不適合互聯(lián)網(wǎng)項目层扶。
之所以大家會有并發(fā)沖突的程序,是因為大部分程序員烙荷,思維模式都是線性的镜会。
作為程序邏輯思維來講,線性思維是沒有錯的终抽,因為計算機執(zhí)行指令的時候本身就是線性的戳表。然而如果把業(yè)務(wù)也看做是線性的,就會產(chǎn)生問題了昼伴。
任何一個程序操作匾旭,他都會消耗一定的時間,即便你的CPU速度再快亩码,也只是縮短了這個時間范圍而已季率,
如果只有一個用戶操作,比如我們在后臺發(fā)布文章描沟,看自己發(fā)布的新聞飒泻,我們是無法感知并發(fā)帶來的沖突的。這就對我們的程序員提出了更高的要求吏廉。
理論上來講泞遗,所有跨越時間段的操作過程中如果涉及到數(shù)據(jù)修改就會有可能產(chǎn)生并發(fā)沖突,因此我們在設(shè)計程序的時候席覆,要保障應(yīng)用程序的質(zhì)量史辙,就需要去做并發(fā)沖突處理,只是實現(xiàn)業(yè)務(wù)需求與實現(xiàn)業(yè)務(wù)的同時做好質(zhì)量需求,就是好程序員與壞程序員的差別聊倔。
那么分析了產(chǎn)生并發(fā)沖突的原因以后晦毙,就比較容易思考解決方案了。大體的思路有兩種:一種是將并發(fā)操作變?yōu)閱尉€操作耙蔑,另一種是讓所有跨越時間的段的操作不去更改數(shù)據(jù)见妒。
我們現(xiàn)在來看一下分頁,或者上拉或者下拉刷新的解決方法甸陌。我們剛剛提出的2種的解決思路须揣,哪一種比較合適呢?對于發(fā)布數(shù)據(jù)和瀏覽數(shù)據(jù)钱豁,比如微博耻卡,我們有可能把這種并發(fā)操作變?yōu)閱尉€操作嗎?好像不太容易牲尺。
那么我們能夠走得路就剩下第二條卵酪,也就是跨時間段的過程中不要改變數(shù)據(jù),我們剛剛產(chǎn)生的bug到底是什么數(shù)據(jù)改變導(dǎo)致了bug秸谢×菖欤回顧下我們的代碼實現(xiàn)的本質(zhì),就容易找到其中的緣由了估蹄。
通常我們在實現(xiàn)分頁的時候塑煎,首頁看到的是最新的數(shù)據(jù),那么從數(shù)據(jù)庫中取數(shù)據(jù)的sel語句是select * from news order by desc limt 0臭蚁,10最铁,這樣取到最新的數(shù)據(jù),如果點擊下一頁垮兑,查詢語句不變冷尉,只是分頁條目不在是第0-9,而是第10-19條系枪,如果在這個過程中有新的數(shù)據(jù)插入雀哨,我們會發(fā)現(xiàn)有一個東西變了,就是原有數(shù)據(jù)在數(shù)據(jù)庫的排序序號變了私爷,如果我新發(fā)布一條數(shù)據(jù)雾棺,原來的第一條最新的新聞就會變成第二條,原來的第10條會變成第11條衬浑。這就是一個時間段內(nèi)的操作過程中有數(shù)據(jù)發(fā)生了改變捌浩。
既然我們無法把這樣的并發(fā)操作變成單線操作,我們可以選擇不讓數(shù)據(jù)發(fā)生改變工秩,這樣并發(fā)bug就可以得到很好的解決了尸饺。
跨時間段的讓數(shù)據(jù)不改變不好走进统,那我們可以選擇第一種思路,讓并發(fā)操作變?yōu)閱尉€操作浪听,之前提到的加鎖是解決方案之一螟碎,但是對用戶體驗不好性能很差,基本上無法再互聯(lián)網(wǎng)項目中使用馋辈。如果不能加鎖抚芦,那么常用的解決方案是什么倍谜?
我們可以用隊列迈螟。如果我們將所有的用戶請求進行排隊,有一個服務(wù)來訂閱這個隊列尔崔,那么不管有多少用戶訪問答毫,最終到服務(wù)器端,處理服務(wù)的就只有一個進程季春。這樣就實現(xiàn)了一個由并發(fā)操作轉(zhuǎn)換成單線操作洗搂。