Instagram是一個在iPhone上基于社交網(wǎng)絡(luò)的圖片分享服務(wù)猫缭,創(chuàng)立之初的一年多時間就吸引了1400萬用戶歼培,目前已經(jīng)用戶達到3000萬毅往。截至到去年八月十艾,Instagram上總共有1.5億張圖片漾稀,所有的數(shù)據(jù)都建立在Amazon stack上模闲。
Instagram的團隊曾經(jīng)撰文《Instagram:數(shù)百的實例 大量的技術(shù)》披露了其架構(gòu)。
Instagram混雜了不同的技術(shù)和策略崭捍。團隊雖然很小围橡,但經(jīng)驗快速增長讓他們趕上了社交和移動互聯(lián)網(wǎng)大潮。他們采用了混合的SQL和NoSQL技術(shù)缕贡,這里有大量的開源項目翁授,并選擇了云服務(wù),Amazon的服務(wù)提供了很高的杠桿率晾咪,這比他們自己建設(shè)要高的多收擦,可靠性完全可用,按時間順序異步的將組件鏈接起來谍倦,系統(tǒng)包含了足夠多的服務(wù)塞赂,包括API和外部服務(wù),這些都不用工程師重新開發(fā)昼蛀。數(shù)據(jù)保存在內(nèi)存中和云端宴猾,多數(shù)代碼為動態(tài)語言,從新開發(fā)的后臺傳輸服務(wù)將所有服務(wù)鏈接在一起叼旋,代碼更新很快并保持簡短仇哆。一個非常現(xiàn)代的架構(gòu)夫植。
我們將Instagram的詳細架構(gòu)列在這里讹剔,總結(jié)很到位,很有價值详民。以下是所有要點:
Instagram告訴我們:1)保持簡單 2)利用現(xiàn)成的一切 3)采用被證明穩(wěn)定成熟的技術(shù)
3名工程師(最新的報道稱已經(jīng)增加到13名延欠,這只是暫時的數(shù)據(jù))
Amazon商店。他們采用了大量Amazon的服務(wù)沈跨。曾經(jīng)只有3名工程師由捎,你可以想象他們根本沒有時間照看服務(wù)器。
超過100個Amazon EC2實例饿凛,用于各種目的狞玛。
Ubuntu Linux 11.04(“敏捷獨角鯨”)邻奠。非常穩(wěn)定,其它版本的Ubuntu也包含在其中为居。
Amazon的Elastic Load Balancer路由請求服務(wù)以及背后的3個nginx接口
安全套接層在Elastic Load Balancer終止碌宴,可減少nginx占用的CPU資源
DNS采用Amazon Route53
超過25個Django應(yīng)用服務(wù)器,集成在高性能CPU和超大號的機器上
通信對CPU的要求比內(nèi)存的要求高蒙畴,因此高性能CPU的大型機器帶來更好的平衡
網(wǎng)關(guān)接口采用Gunicorn贰镣。Apache調(diào)試更困難而且對CPU要求更高。
Fabric用于輸入所有機器控制指令膳凝。部署任務(wù)只需要以秒計碑隆。
PostgreSQL(用于存儲用戶信息、圖片說明蹬音,tag以及其它)數(shù)據(jù)庫上煤,運行在12個四重超大內(nèi)存的機器上。
12個PostgreSQL的備份
PostgreSQL的主鏡像通過復(fù)制分發(fā)內(nèi)容著淆。Amazon EBS提供快照服務(wù)劫狠,并頻繁的備份。
Amazon EBS配置了軟件RAID永部。使用mdadm命令獲得適當?shù)腎/O
所有這些工作存儲在內(nèi)存中独泞。Amazon EBS不能提供足夠高的磁盤尋址服務(wù)。
Vmtouch命令(文件系統(tǒng)緩存診斷)用于內(nèi)存中的數(shù)據(jù)苔埋,特別是當數(shù)據(jù)從一臺機器傳輸?shù)搅硪慌_機器失敗的時候
采用XFS文件系統(tǒng)懦砂。保證快照的一致性。
Pgbouncer用于連接池鏈接到PostgreSQL
數(shù)TB的圖片存儲在Amazon S3上
CDN服務(wù)采用Amazon CloudFront
Redis提供feed组橄、進程和其它服務(wù)支持
Redis運行在幾個四重超大內(nèi)存機器上荞膘。
Redis運行在主鏡像上,副本不斷的存儲在磁盤上玉工。Amazon EBS備份數(shù)據(jù)庫傾倒的信息羽资。在主鏡像上備份十分困難。
Apache的Solr提供geo-search的API瓮栗。就像一個JSON的接口削罩。
6個內(nèi)存緩存實例,通過pylibmc和libmemcached鏈接费奸。Amazon Elastic Cache并不便宜。
Gearman用于:異步的將圖片分享到Twitter进陡、Facebook及其它網(wǎng)站愿阐;實時的發(fā)布訂閱者的新圖片;
200個Python工作分派任務(wù)進入Gearman的任務(wù)隊列
Pyapns(Apple通知服務(wù))控制上十億的通知發(fā)布趾疚,巖石般的穩(wěn)定缨历。
Munin繪制系統(tǒng)警報圖表以蕴,開發(fā)了許多定制插件用于Python-Munin繪圖,包括每秒的注冊數(shù)辛孵、每秒圖片發(fā)送數(shù)等等
Pingdom用于服務(wù)的外部監(jiān)控
PagerDuty控制通知和事件丛肮。
Sentry用于Python的錯誤報告
現(xiàn)在,你終于知道了10億美元買到了什么......