Tumblr：150億月瀏覽量背后的架構(gòu)挑戰(zhàn)

以下為譯文。（括號(hào)內(nèi)小號(hào)字為CSDN編輯所注）：

Tumblr每月頁(yè)面瀏覽量超過150億次，已經(jīng)成為火爆的博客社區(qū)。用戶也許喜歡它的簡(jiǎn)約、美麗，對(duì)用戶體驗(yàn)的強(qiáng)烈關(guān)注，或是友好而忙碌的溝通方式，總之，它深得人們的喜愛。

每月超過30%的增長(zhǎng)當(dāng)然不可能沒有挑戰(zhàn)，其中可靠性問題尤為艱巨。每天5億次瀏覽量，峰值每秒4萬(wàn)次請(qǐng)求，每天3TB新的數(shù)據(jù)存儲(chǔ)，并運(yùn)行于超過1000臺(tái)服務(wù)器上，所有這些幫助Tumblr實(shí)現(xiàn)巨大的經(jīng)營(yíng)規(guī)模。

創(chuàng)業(yè)公司邁向成功，都要邁過危險(xiǎn)的迅速發(fā)展期這道門檻。尋找人才，不斷改造基礎(chǔ)架構(gòu)，維護(hù)舊的架構(gòu)，同時(shí)要面對(duì)逐月大增的流量，而且曾經(jīng)只有4位工程師。這意味著必須艱難地選擇應(yīng)該做什么，不該做什么。這就是Tumblr的狀況。好在現(xiàn)在已經(jīng)有20位工程師了，可以有精力解決問題，并開發(fā)一些有意思的解決方案。

Tumblr最開始是非常典型的LAMP應(yīng)用。目前正在向分布式服務(wù)模型演進(jìn)，該模型基于Scala、HBase、Redis（著名開源K-V存儲(chǔ)方案）、Kafka（Apache項(xiàng)目，出自LinkedIn的分布式發(fā)布-訂閱消息系統(tǒng)）、Finagle（由Twitter開源的容錯(cuò)、協(xié)議中立的RPC系統(tǒng)），此外還有一個(gè)有趣的基于Cell的架構(gòu)，用來支持Dashboard（CSDN注：Tumblr富有特色的用戶界面，類似于微博的時(shí)間軸）。

Tumblr目前的最大問題是如何改造為一個(gè)大規(guī)模網(wǎng)站。系統(tǒng)架構(gòu)正在從LAMP演進(jìn)為最先進(jìn)的技術(shù)組合，同時(shí)團(tuán)隊(duì)也要從小的創(chuàng)業(yè)型發(fā)展為全副武裝、隨時(shí)待命的正規(guī)開發(fā)團(tuán)隊(duì)，不斷創(chuàng)造出新的功能和基礎(chǔ)設(shè)施。下面就是Blake Matheny對(duì)Tumblr系統(tǒng)架構(gòu)情況的介紹。 

網(wǎng)站地址

http://www.tumblr.com/ 

主要數(shù)據(jù)

每天5億次PV（頁(yè)面訪問量）

每月超過150億PV

約20名工程師

峰值請(qǐng)求每秒近4萬(wàn)次

每天超過1TB數(shù)據(jù)進(jìn)入Hadoop集群

MySQL/HBase/Redis/memcache每天生成若干TB數(shù)據(jù)

每月增長(zhǎng)30%

近1000硬件節(jié)點(diǎn)用于生產(chǎn)環(huán)境

平均每位工程師每月負(fù)責(zé)數(shù)以億計(jì)的頁(yè)面訪問

每天上傳大約50GB的文章，每天跟帖更新數(shù)據(jù)大約2.7TB。 

軟件環(huán)境

開發(fā)使用OS X，生產(chǎn)環(huán)境使用Linux（CentOS/Scientific）

Apache

PHP, Scala, Ruby

Redis, HBase, MySQL

Varnish, HAProxy, nginx

memcache, Gearman（支持多語(yǔ)言的任務(wù)分發(fā)應(yīng)用框架）, Kafka, Kestrel（Twitter開源的分布式消息隊(duì)列系統(tǒng)）, Finagle

Thrift, HTTP

Func——一個(gè)安全、支持腳本的遠(yuǎn)程控制框架和API

Git, Capistrano（多服務(wù)器腳本部署工具）, Puppet, Jenkins 

硬件環(huán)境

500臺(tái)Web服務(wù)器

200臺(tái)數(shù)據(jù)庫(kù)服務(wù)器（47 pool，20 shard）

30臺(tái)memcache服務(wù)器

22臺(tái)Redis服務(wù)器

15臺(tái)Varnish服務(wù)器

25臺(tái)HAproxy節(jié)點(diǎn)

8臺(tái)nginx服務(wù)器

14臺(tái)工作隊(duì)列服務(wù)器（Kestrel + Gearman） 

架構(gòu)

1. 相對(duì)其他社交網(wǎng)站而言，Tumblr有其獨(dú)特的使用模式：

每天有超過5千萬(wàn)篇文章更新，平均每篇文章的跟帖又?jǐn)?shù)以百計(jì)。用戶一般只有數(shù)百個(gè)粉絲。這與其他社會(huì)化網(wǎng)站里少數(shù)用戶有幾百萬(wàn)粉絲非常不同，使得Tumblr的擴(kuò)展性極具挑戰(zhàn)性。

按用戶使用時(shí)間衡量，Tumblr已經(jīng)是排名第二的社會(huì)化網(wǎng)站。內(nèi)容的吸引力很強(qiáng)，有很多圖片和視頻，文章往往不短，一般也不會(huì)太長(zhǎng)，但允許寫得很長(zhǎng)。文章內(nèi)容往往比較深入，用戶會(huì)花費(fèi)更長(zhǎng)的時(shí)間來閱讀。

用戶與其他用戶建立聯(lián)系后，可能會(huì)在Dashboard上往回翻幾百頁(yè)逐篇閱讀，這與其他網(wǎng)站基本上只是部分信息流不同。

用戶的數(shù)量龐大，用戶的平均到達(dá)范圍更廣，用戶較頻繁的發(fā)帖，這些都意味著有巨量的更新需要處理。

2. Tumblr目前運(yùn)行在一個(gè)托管數(shù)據(jù)中心中，已在考慮地域上的分布性。

3. Tumblr作為一個(gè)平臺(tái)，由兩個(gè)組件構(gòu)成：公共Tumblelogs和Dashboard

公共Tumblelogs與博客類似（此句請(qǐng)Tumblr用戶校正），并非動(dòng)態(tài)，易于緩存

Dashboard是類似于Twitter的時(shí)間軸,用戶由此可以看到自己關(guān)注的所有用戶的實(shí)時(shí)更新。與博客的擴(kuò)展性不同，緩存作用不大，因?yàn)槊看握?qǐng)求都不同，尤其是活躍的關(guān)注者。而且需要實(shí)時(shí)而且一致，文章每天僅更新50GB，跟帖每天更新2.7TB，所有的多媒體數(shù)據(jù)都存儲(chǔ)在S3上面。

大多數(shù)用戶以Tumblr作為內(nèi)容瀏覽工具，每天瀏覽超過5億個(gè)頁(yè)面，70%的瀏覽來自Dashboard。

Dashboard的可用性已經(jīng)不錯(cuò)，但Tumblelog一直不夠好，因?yàn)榛A(chǔ)設(shè)施是老的，而且很難遷移。由于人手不足，一時(shí)半會(huì)兒還顧不上。

服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]