互聯(lián)網(wǎng)線上項目開發(fā)最大的坑-并發(fā)沖突處理
大家可能都有這樣的經(jīng)驗囚玫，自個兒在家里很多功能很容易實現(xiàn)坑雅，一下就做完了实檀，但是在做線上產(chǎn)品的時候惶洲， 就變得無比復(fù)雜按声，需要花費很多的時間。自己寫的程序在家跑恬吕，所有的業(yè)務(wù)都很正常签则，一旦發(fā)布到線上，就會出現(xiàn)很多bug铐料，而且很多bug在測試的時候很難重現(xiàn)渐裂，這是在互聯(lián)網(wǎng)開發(fā)的時候經(jīng)常遇到的現(xiàn)象。
這些難以重現(xiàn)的bug钠惩，大部分是由于并發(fā)產(chǎn)生的柒凉，為了能讓大家充分的了解并發(fā)的問題，并且建立并發(fā)環(huán)境下的程序設(shè)計思維篓跛，我們?yōu)榇蠹覝?zhǔn)備了幾個小案例大家來看一下膝捞，這個網(wǎng)站典型的場景，遇到內(nèi)容比較多的情況下愧沟，我們會使用分頁如果是在移動端蔬咬，我們采用的是上拉刷新和下拉刷新，比如手機微博分頁功能由來已久沐寺，我們現(xiàn)在來看下常見的分頁有什么問題呢林艘？
大家看下我展示的這個項目是用thinkPHP來編寫的。
1
很多流行的框架和開源項目都對分頁做了支持混坞，那么大家來看我演示一個案例北启。
- 看到的現(xiàn)在的第一頁是最新的新聞，如果我點擊下一頁拔第，相對來說是老一點的新聞。
- 這個時候我們來做一件事情场钉，我們新打開一個瀏覽器窗口蚊俺，剛剛的分頁頁面不要關(guān)閉，我們在后臺里面再發(fā)布5篇新聞
- 假設(shè)我們在后臺發(fā)布新聞的同時逛万，用戶還在瀏覽第二頁泳猬，當(dāng)發(fā)布完畢以后，用戶又點了下一頁宇植，我們觀察到了奇特的現(xiàn)象
- 我們看到第3頁和剛剛看到的第二頁完全一樣得封，原本用戶點下一頁希望看到再早一些的新聞，結(jié)果看到了一樣的數(shù)據(jù)指郁，是我們的分頁程序出問題了嗎忙上？非也。
-
當(dāng)我們再點下一頁闲坎，程序又正常工作了疫粥。剛剛出現(xiàn)的奇怪的那一幕茬斧，其實就是由于并發(fā)產(chǎn)生的沖突。
2
在什么地方我們做了并發(fā)操作了呢梗逮？其實就是在一個用戶瀏覽頁面的同時项秉，還有人在往數(shù)據(jù)庫里面寫入數(shù)據(jù)。
你會發(fā)現(xiàn)thinkPHP這樣的框架慷彤，還是PHPCMS這樣的開源系統(tǒng)娄蔼，他們都存在這樣的bug。
并發(fā)產(chǎn)生的問題底哗，往往難以捕捉岁诉，更難以重現(xiàn)，而我們準(zhǔn)備的這個案例艘虎，算是并發(fā)案例沖突中相對容易重新的典型案例
我們?nèi)绻{(diào)整一下剛剛操作的順序唉侄，我們會得到一些其他的結(jié)果。
比如說：我們分頁條目數(shù)是每頁5條野建，在用戶瀏覽某一頁的時候属划，后臺管理員發(fā)布了新的新聞，新聞的數(shù)量小于5條的情況下候生，我們點下一頁同眯，會看到有幾條重復(fù)的新聞，也有更早的新聞這樣影響用戶體驗唯鸭，但畢竟我們點一下一的頁時候內(nèi)容還是能接的上的须蜗，用戶瀏覽某一頁的時候，后臺發(fā)布的新聞數(shù)量大于分頁條目數(shù)（5條）那么再點擊下一頁目溉，其中會有若干條新聞被跳過去了明肮，無論用戶點多少次下一頁，都看不到那些條目缭付，這種產(chǎn)生的并發(fā)沖突后果是很嚴(yán)重的柿估，而且普遍存在。
他具有很好的隱蔽性陷猫，在過去很多年幾乎不被察覺在大門戶網(wǎng)站時代秫舌，網(wǎng)站編輯并不會頻繁的發(fā)布新聞，而用戶也很少守著新聞列表去逐篇閱讀绣檬，然而在微博誕生以后足陨，這種問題就暴露出來了。
由于社區(qū)類應(yīng)用信息的產(chǎn)生是由用戶產(chǎn)生的娇未，不在是靠編輯在后臺發(fā)布的墨缘，就好像微博，每時每分秒，都有很多用戶分享心得內(nèi)容,這樣一來你在查看微博列表的同時飒房，內(nèi)容就已經(jīng)更新了很多搁凸，而且很多人打發(fā)無聊的時間，很多人也會去逐一查看狠毯，不停的上劃护糖，把所有遺漏的條目全部看一遍這是如果項目設(shè)計不合理，產(chǎn)生并發(fā)事故嚼松，就會對用戶體驗造成極大的影響嫡良。
我們接下來來看一下用常規(guī)思維來梳理業(yè)務(wù)流程程序是怎樣編寫的
現(xiàn)在我們來看一個更為常見的例子，大家可能還記得献酗，我們在微信群搞的抽獎的互動寝受，我們的上百份禮品，瞬間就被秒殺光罕偎。
在做這類搶購與秒殺抽獎等應(yīng)用的時候很澄，并發(fā)將導(dǎo)致更多的問題。通常比較容易出現(xiàn)的bug有實際商品的訂單量大于庫存量颜及。
通俗點來說就是甩苛，明明已經(jīng)售完，但還是有用戶買到了商品俏站，庫存值變?yōu)樨?fù)的讯蒲。
又或者明明秒殺到商品的用戶，訂單失敗肄扎。
還有企業(yè)的項目墨林，在商品秒殺期間，明明用戶數(shù)量不多犯祠，卻導(dǎo)致服務(wù)器宕機旭等。諸如此類的問題就不一一列舉了。
我們接下來來看一下用常規(guī)思維來梳理業(yè)務(wù)流程程序是怎樣編寫的衡载。
還是以商城秒殺業(yè)務(wù)為例辆雾。首先我們需要用產(chǎn)品庫存這樣的一個字段來記錄庫存信息，每當(dāng)有用戶購買商品的時候月劈，先查看庫存，判斷庫存大于0的時候藤乙，用戶才能購買
當(dāng)用戶完成購買流程后猜揪，將庫存數(shù)量減一，直到所有商品賣完坛梁，重復(fù)此過程而姐，直到庫存賣完秒殺活動結(jié)束。
如果按常規(guī)的思路來設(shè)計划咐，這樣的流程是沒有問題的拴念，商品畢竟是一件一件賣出的钧萍，但是，在互聯(lián)網(wǎng)并發(fā)的情況下政鼠，就完全不是這樣的风瘦。
要知道熱銷商品很有可能在同一時間，有多個用戶都在進行購買流程操作
按照之前的業(yè)務(wù)設(shè)計公般，假如有ABCD 4個用戶同時在秒殺某件商品時万搔，庫存僅剩2件，按照之前的業(yè)務(wù)流程設(shè)計官帘，查詢庫存大于0瞬雹，就可以繼續(xù)后面的購買操作并付款
然而當(dāng)任意用戶購買成功后庫存即減一，ABCD4個用戶都認(rèn)為自己查詢時都有庫存刽虹，因此他們都可以完成購買流程酗捌，導(dǎo)致的結(jié)果就是庫存數(shù)為負(fù)數(shù)。
也就是說涌哲，商品實際銷售量大于活動的商品數(shù)量胖缤，這樣會導(dǎo)致公司的虧損。
有些公司為了解決這個問題膛虫，采用了一種思路草姻，雖說4個人同時操作，但是交易成功的這次網(wǎng)絡(luò)請求到達(dá)服務(wù)器的時間總會有個先后順序
那么可以將訂單支付成功之后的庫存減一之后的值也隨訂單保存稍刀，如果這個值小于0撩独，就證明有用戶購買了產(chǎn)品，已經(jīng)是賣完的账月，于是標(biāo)記訂單失敗综膀。
這樣看上去避免公司造成額外的損失，但卻會給用戶帶來極大的不滿局齿，是一種極差的用戶體驗剧劝。它并沒有真正的解決我們的問題。
當(dāng)然還有些公司解決方案也不高明抓歼，我們知道無論是數(shù)據(jù)庫還是文件都可以給他加鎖讥此，在很早期的程序設(shè)計和軟件開發(fā)里面，鎖是解決并發(fā)問題的萬能靈藥谣妻。
無論是c++,或java萄喳，提到多進程或多線程的時候，往往也會提到鎖這個字蹋半。那么作為最早期的通用解決方案他巨，用到秒殺方案是否合適呢？
我們來看一下加鎖后的工作流程：還是ABCD 4個用戶同時秒殺，他們都去查詢庫存染突。當(dāng)某一個用戶捻爷，比如A的請求，優(yōu)先到達(dá)時份企，我們就將數(shù)據(jù)表鎖住也榄，不讓其他的數(shù)據(jù)庫連接來動這張表，待用戶A完成購買流程薪棒，將庫存量減一后手蝎，把鎖打開，其他的連接才可以再次操作這張表俐芯。
如此一來棵介，可以保障一個用戶查看庫存以及庫存減一這段時間內(nèi)，不可能還有其他用戶可以對表做出修改吧史，這一并發(fā)沖突的問題就沒有了邮辽。不過這樣的做法真的合適嗎？
要知道ABCD 4個用戶都是在同一時間段去秒殺的贸营，由于A用戶在操作中鎖表吨述，導(dǎo)致其他用戶只能等待，而且A完成整個業(yè)務(wù)需要消耗一段時間钞脂，只能等A完成以后其他用戶才能操作
這樣一來單位時間內(nèi)的業(yè)務(wù)處理量會大幅降低揣云，我們所看到的現(xiàn)象就是網(wǎng)站卡死，或者服務(wù)器宕機
關(guān)于并發(fā)性能如何設(shè)計冰啃，我們可能需要單獨的一次或幾次課來為大家講解邓夕。不過鎖這種很原始的并發(fā)沖突解決方案，我們可以看到他并不適合互聯(lián)網(wǎng)項目阎毅。
之所以大家會有并發(fā)沖突的程序焚刚，是因為大部分程序員，思維模式都是線性的扇调。
作為程序邏輯思維來講矿咕，線性思維是沒有錯的，因為計算機執(zhí)行指令的時候本身就是線性的狼钮。然而如果把業(yè)務(wù)也看做是線性的碳柱，就會產(chǎn)生問題了。
任何一個程序操作熬芜，他都會消耗一定的時間莲镣，即便你的CPU速度再快，也只是縮短了這個時間范圍而已猛蔽，..
如果只有一個用戶操作，比如我們在后臺發(fā)布文章，看自己發(fā)布的新聞曼库，我們是無法感知并發(fā)帶來的沖突的区岗。這就對我們的程序員提出了更高的要求。
理論上來講毁枯，所有跨越時間段的操作過程中如果涉及到數(shù)據(jù)修改就會有可能產(chǎn)生并發(fā)沖突慈缔，因此我們在設(shè)計程序的時候，要保障應(yīng)用程序的質(zhì)量种玛，就需要去做并發(fā)沖突處理藐鹤，只是實現(xiàn)業(yè)務(wù)需求與實現(xiàn)業(yè)務(wù)的同時做好質(zhì)量需求，就是好程序員與壞程序員的差別赂韵。
那么分析了產(chǎn)生并發(fā)沖突的原因以后娱节，就比較容易思考解決方案了。大體的思路有兩種：一種是將并發(fā)操作變?yōu)閱尉€操作祭示，另一種是讓所有跨越時間的段的操作不去更改數(shù)據(jù)肄满。
解決方案
我們現(xiàn)在來看一下分頁，或者上拉或者下拉刷新的解決方法质涛。我們剛剛提出的2種的解決思路稠歉，哪一種比較合適呢？對于發(fā)布數(shù)據(jù)和瀏覽數(shù)據(jù)汇陆，比如微博怒炸，我們有可能把這種并發(fā)操作變?yōu)閱尉€操作嗎？好像不太容易毡代。
那么我們能夠走得路就剩下第二條阅羹，也就是跨時間段的過程中不要改變數(shù)據(jù)，我們剛剛產(chǎn)生的bug到底是什么數(shù)據(jù)改變導(dǎo)致了bug月趟〉坪回顧下我們的代碼實現(xiàn)的本質(zhì)，就容易找到其中的緣由了孝宗。
通常我們在實現(xiàn)分頁的時候穷躁，首頁看到的是最新的數(shù)據(jù)，那么從數(shù)據(jù)庫中取數(shù)據(jù)的sel語句是select * from news order by desc limt 0因妇，10问潭，這樣取到最新的數(shù)據(jù)，如果點擊下一頁婚被，查詢語句不變狡忙，只是分頁條目不在是第0-9，而是第10-19條址芯，如果在這個過程中有新的數(shù)據(jù)插入灾茁，我們會發(fā)現(xiàn)有一個東西變了窜觉，就是原有數(shù)據(jù)在數(shù)據(jù)庫的排序序號變了，如果我新發(fā)布一條數(shù)據(jù)北专，原來的第一條最新的新聞就會變成第二條禀挫，原來的第10條會變成第11條。這就是一個時間段內(nèi)的操作過程中有數(shù)據(jù)發(fā)生了改變拓颓。
既然我們無法把這樣的并發(fā)操作變成單線操作语婴，我們可以選擇不讓數(shù)據(jù)發(fā)生改變，這樣并發(fā)bug就可以得到很好的解決了驶睦。
跨時間段的讓數(shù)據(jù)不改變不好走砰左，那我們可以選擇第一種思路，讓并發(fā)操作變?yōu)閱尉€操作场航，之前提到的加鎖是解決方案之一缠导，但是對用戶體驗不好性能很差，基本上無法再互聯(lián)網(wǎng)項目中使用旗闽。如果不能加鎖酬核，那么常用的解決方案是什么？
我們可以用隊列适室。如果我們將所有的用戶請求進行排隊嫡意，有一個服務(wù)來訂閱這個隊列，那么不管有多少用戶訪問捣辆，最終到服務(wù)器端蔬螟，處理服務(wù)的就只有一個進程。這樣就實現(xiàn)了一個由并發(fā)操作轉(zhuǎn)換成單線操作汽畴。
