Redis實(shí)際應(yīng)用場(chǎng)景
Redis在很多方面與其他數(shù)據(jù)庫(kù)解決方案不同:它使用內(nèi)存提供主存儲(chǔ)支持控汉,而僅使用硬盤(pán)做持久性的存儲(chǔ);它的數(shù)據(jù)模型非常獨(dú)特,用的是單線程锨咙。另一個(gè)大區(qū)別在于,你可以在開(kāi)發(fā)環(huán)境中使用Redis的功能,但卻不需要轉(zhuǎn)到Redis钩骇。
轉(zhuǎn)向Redis當(dāng)然也是可取的,許多開(kāi)發(fā)者從一開(kāi)始就把Redis作為首選數(shù)據(jù)庫(kù);但設(shè)想如果你的開(kāi)發(fā)環(huán)境已經(jīng)搭建好铝量,應(yīng)用已經(jīng)在上面運(yùn)行了倘屹,那么更換數(shù)據(jù)庫(kù)框架顯然不那么容易。另外在一些需要大容量數(shù)據(jù)集的應(yīng)用慢叨,Redis也并不適合纽匙,因?yàn)樗臄?shù)據(jù)集不會(huì)超過(guò)系統(tǒng)可用的內(nèi)存。所以如果你有大數(shù)據(jù)應(yīng)用拍谐,而且主要是讀取訪問(wèn)模式烛缔,那么Redis并不是正確的選擇。
然而我喜歡Redis的一點(diǎn)就是你可以把它融入到你的系統(tǒng)中來(lái)轩拨,這就能夠解決很多問(wèn)題力穗,比如那些你現(xiàn)有的數(shù)據(jù)庫(kù)處理起來(lái)感到緩慢的任務(wù)。這些你就可以通過(guò) Redis來(lái)進(jìn)行優(yōu)化气嫁,或者為應(yīng)用創(chuàng)建些新的功能当窗。在本文中,我就想探討一些怎樣將Redis加入到現(xiàn)有的環(huán)境中寸宵,并利用它的原語(yǔ)命令等功能來(lái)解決 傳統(tǒng)環(huán)境中碰到的一些常見(jiàn)問(wèn)題崖面。在這些例子中元咙,Redis都不是作為首選數(shù)據(jù)庫(kù)。
1巫员、顯示最新的項(xiàng)目列表
下面這個(gè)語(yǔ)句常用來(lái)顯示最新項(xiàng)目庶香,隨著數(shù)據(jù)多了,查詢毫無(wú)疑問(wèn)會(huì)越來(lái)越慢简识。
SELECT * FROM foo WHERE … ORDER BY time DESC LIMIT 10
在Web應(yīng)用中赶掖,“列出最新的回復(fù)”之類的查詢非常普遍,這通常會(huì)帶來(lái)可擴(kuò)展性問(wèn)題七扰。這令人沮喪奢赂,因?yàn)轫?xiàng)目本來(lái)就是按這個(gè)順序被創(chuàng)建的,但要輸出這個(gè)順序卻不得不進(jìn)行排序操作颈走。
類似的問(wèn)題就可以用Redis來(lái)解決膳灶。比如說(shuō),我們的一個(gè)Web應(yīng)用想要列出用戶貼出的最新20條評(píng)論立由。在最新的評(píng)論邊上我們有一個(gè)“顯示全部”的鏈接轧钓,點(diǎn)擊后就可以獲得更多的評(píng)論。
我們假設(shè)數(shù)據(jù)庫(kù)中的每條評(píng)論都有一個(gè)唯一的遞增的ID字段锐膜。
我們可以使用分頁(yè)來(lái)制作主頁(yè)和評(píng)論頁(yè)毕箍,使用Redis的模板,每次新評(píng)論發(fā)表時(shí)道盏,我們會(huì)將它的ID添加到一個(gè)Redis列表:
LPUSH latest.comments
我們將列表裁剪為指定長(zhǎng)度而柑,因此Redis只需要保存最新的5000條評(píng)論:
LTRIM latest.comments 0 5000
每次我們需要獲取最新評(píng)論的項(xiàng)目范圍時(shí),我們調(diào)用一個(gè)函數(shù)來(lái)完成(使用偽代碼):
FUNCTION get_latest_comments(start捞奕, num_items):
id_list = redis.lrange(“l(fā)atest.comments”,start拄轻,start+num_items – 1)
IF id_list.length < num_items
id_list = SQL_DB(“SELECT … ORDER BY time LIMIT …”)
END
RETURN id_list
END
這里我們做的很簡(jiǎn)單颅围。在Redis中我們的最新ID使用了常駐緩存,這是一直更新的恨搓。但是我們做了限制不能超過(guò)5000個(gè)ID院促,因此我們的獲取ID函數(shù)會(huì)一直詢問(wèn)Redis。只有在start/count參數(shù)超出了這個(gè)范圍的時(shí)候斧抱,才需要去訪問(wèn)數(shù)據(jù)庫(kù)常拓。
我們的系統(tǒng)不會(huì)像傳統(tǒng)方式那樣“刷新”緩存,Redis實(shí)例中的信息永遠(yuǎn)是一致的辉浦。SQL數(shù)據(jù)庫(kù)(或是硬盤(pán)上的其他類型數(shù)據(jù)庫(kù))只是在用戶需要獲取“很遠(yuǎn)”的數(shù)據(jù)時(shí)才會(huì)被觸發(fā)弄抬,而主頁(yè)或第一個(gè)評(píng)論頁(yè)是不會(huì)麻煩到硬盤(pán)上的數(shù)據(jù)庫(kù)了。
2宪郊、刪除與過(guò)濾
我們可以使用LREM來(lái)刪除評(píng)論掂恕。如果刪除操作非常少拖陆,另一個(gè)選擇是直接跳過(guò)評(píng)論條目的入口,報(bào)告說(shuō)該評(píng)論已經(jīng)不存在懊亡。
有些時(shí)候你想要給不同的列表附加上不同的過(guò)濾器依啰。如果過(guò)濾器的數(shù)量受到限制,你可以簡(jiǎn)單的為每個(gè)不同的過(guò)濾器使用不同的Redis列表店枣。畢竟每個(gè)列表只有5000條項(xiàng)目速警,但Redis卻能夠使用非常少的內(nèi)存來(lái)處理幾百萬(wàn)條項(xiàng)目。
3鸯两、排行榜相關(guān)
另一個(gè)很普遍的需求是各種數(shù)據(jù)庫(kù)的數(shù)據(jù)并非存儲(chǔ)在內(nèi)存中闷旧,因此在按得分排序以及實(shí)時(shí)更新這些幾乎每秒鐘都需要更新的功能上數(shù)據(jù)庫(kù)的性能不夠理想。
典型的比如那些在線游戲的排行榜甩卓,比如一個(gè)Facebook的游戲鸠匀,根據(jù)得分你通常想要:
– 列出前100名高分選手
– 列出某用戶當(dāng)前的全球排名
這些操作對(duì)于Redis來(lái)說(shuō)小菜一碟,即使你有幾百萬(wàn)個(gè)用戶逾柿,每分鐘都會(huì)有幾百萬(wàn)個(gè)新的得分缀棍。
模式是這樣的,每次獲得新得分時(shí)机错,我們用這樣的代碼:
ZADD leaderboard
你可能用userID來(lái)取代username爬范,這取決于你是怎么設(shè)計(jì)的。
得到前100名高分用戶很簡(jiǎn)單:ZREVRANGE leaderboard 0 99弱匪。
用戶的全球排名也相似青瀑,只需要:ZRANK leaderboard 。
4萧诫、按照用戶投票和時(shí)間排序
排行榜的一種常見(jiàn)變體模式就像Reddit或Hacker News用的那樣斥难,新聞按照類似下面的公式根據(jù)得分來(lái)排序:
score = points / time^alpha
因此用戶的投票會(huì)相應(yīng)的把新聞挖出來(lái),但時(shí)間會(huì)按照一定的指數(shù)將新聞埋下去帘饶。下面是我們的模式哑诊,當(dāng)然算法由你決定。
模式是這樣的及刻,開(kāi)始時(shí)先觀察那些可能是最新的項(xiàng)目镀裤,例如首頁(yè)上的1000條新聞都是候選者,因此我們先忽視掉其他的缴饭,這實(shí)現(xiàn)起來(lái)很簡(jiǎn)單暑劝。
每次新的新聞貼上來(lái)后,我們將ID添加到列表中颗搂,使用LPUSH + LTRIM担猛,確保只取出最新的1000條項(xiàng)目。
有一項(xiàng)后臺(tái)任務(wù)獲取這個(gè)列表,并且持續(xù)的計(jì)算這1000條新聞中每條新聞的最終得分毁习。計(jì)算結(jié)果由ZADD命令按照新的順序填充生成列表智嚷,老新聞則被清除。這里的關(guān)鍵思路是排序工作是由后臺(tái)任務(wù)來(lái)完成的纺且。
5盏道、處理過(guò)期項(xiàng)目
另一種常用的項(xiàng)目排序是按照時(shí)間排序。我們使用unix時(shí)間作為得分即可载碌。
模式如下:
– 每次有新項(xiàng)目添加到我們的非Redis數(shù)據(jù)庫(kù)時(shí)猜嘱,我們把它加入到排序集合中。這時(shí)我們用的是時(shí)間屬性嫁艇,current_time和time_to_live朗伶。
– 另一項(xiàng)后臺(tái)任務(wù)使用ZRANGE…SCORES查詢排序集合,取出最新的10個(gè)項(xiàng)目步咪。如果發(fā)現(xiàn)unix時(shí)間已經(jīng)過(guò)期论皆,則在數(shù)據(jù)庫(kù)中刪除條目。
6猾漫、計(jì)數(shù)
Redis是一個(gè)很好的計(jì)數(shù)器点晴,這要感謝INCRBY和其他相似命令。
我相信你曾許多次想要給數(shù)據(jù)庫(kù)加上新的計(jì)數(shù)器悯周,用來(lái)獲取統(tǒng)計(jì)或顯示新信息粒督,但是最后卻由于寫(xiě)入敏感而不得不放棄它們。
好了禽翼,現(xiàn)在使用Redis就不需要再擔(dān)心了屠橄。有了原子遞增(atomic increment),你可以放心的加上各種計(jì)數(shù)闰挡,用GETSET重置锐墙,或者是讓它們過(guò)期。
例如這樣操作:
INCR user: EXPIRE
user: 60
你可以計(jì)算出最近用戶在頁(yè)面間停頓不超過(guò)60秒的頁(yè)面瀏覽量长酗,當(dāng)計(jì)數(shù)達(dá)到比如20時(shí)溪北,就可以顯示出某些條幅提示,或是其它你想顯示的東西花枫。
7刻盐、特定時(shí)間內(nèi)的特定項(xiàng)目
另一項(xiàng)對(duì)于其他數(shù)據(jù)庫(kù)很難掏膏,但Redis做起來(lái)卻輕而易舉的事就是統(tǒng)計(jì)在某段特點(diǎn)時(shí)間里有多少特定用戶訪問(wèn)了某個(gè)特定資源劳翰。比如我想要知道某些特定的注冊(cè)用戶或IP地址,他們到底有多少訪問(wèn)了某篇文章馒疹。
每次我獲得一次新的頁(yè)面瀏覽時(shí)我只需要這樣做:
SADD page:day1:
當(dāng)然你可能想用unix時(shí)間替換day1佳簸,比如time()-(time()%3600*24)等等。
想知道特定用戶的數(shù)量嗎?只需要使用SCARD page:day1: 生均。
需要測(cè)試某個(gè)特定用戶是否訪問(wèn)了這個(gè)頁(yè)面听想?SISMEMBER page:day1: 。
8马胧、實(shí)時(shí)分析正在發(fā)生的情況汉买,用于數(shù)據(jù)統(tǒng)計(jì)與防止垃圾郵件等
我們只做了幾個(gè)例子,但如果你研究Redis的命令集佩脊,并且組合一下蛙粘,就能獲得大量的實(shí)時(shí)分析方法,有效而且非常省力威彰。使用Redis原語(yǔ)命令出牧,更容易實(shí)施垃圾郵件過(guò)濾系統(tǒng)或其他實(shí)時(shí)跟蹤系統(tǒng)。
9歇盼、Pub/Sub
Redis的Pub/Sub非常非常簡(jiǎn)單舔痕,運(yùn)行穩(wěn)定并且快速。支持模式匹配豹缀,能夠?qū)崟r(shí)訂閱與取消頻道伯复。
10、隊(duì)列
你應(yīng)該已經(jīng)注意到像list push和list pop這樣的Redis命令能夠很方便的執(zhí)行隊(duì)列操作了耿眉,但能做的可不止這些:比如Redis還有l(wèi)ist pop的變體命令边翼,能夠在列表為空時(shí)阻塞隊(duì)列。
現(xiàn)代的互聯(lián)網(wǎng)應(yīng)用大量地使用了消息隊(duì)列(Messaging)鸣剪。消息隊(duì)列不僅被用于系統(tǒng)內(nèi)部組件之間的通信组底,同時(shí)也被用于系統(tǒng)跟其它服務(wù)之間的交互。消息隊(duì)列的使用可以增加系統(tǒng)的可擴(kuò)展性筐骇、靈活性和用戶體驗(yàn)债鸡。非基于消息隊(duì)列的系統(tǒng),其運(yùn)行速度取決于系統(tǒng)中最慢的組件的速度(注:短板效應(yīng))铛纬。而基于消息隊(duì)列可以將系統(tǒng)中各組件解除耦合厌均,這樣系統(tǒng)就不再受最慢組件的束縛,各組件可以異步運(yùn)行從而得以更快的速度完成各自的工作告唆。
此外棺弊,當(dāng)服務(wù)器處在高并發(fā)操作的時(shí)候,比如頻繁地寫(xiě)入日志文件擒悬∧K可以利用消息隊(duì)列實(shí)現(xiàn)異步處理。從而實(shí)現(xiàn)高性能的并發(fā)操作懂牧。
11侈净、緩存
Redis的緩存部分值得寫(xiě)一篇新文章,我這里只是簡(jiǎn)單的說(shuō)一下。Redis能夠替代memcached畜侦,讓你的緩存從只能存儲(chǔ)數(shù)據(jù)變得能夠更新數(shù)據(jù)元扔,因此你不再需要每次都重新生成數(shù)據(jù)了。