Amazon云服務(wù)故障分析

上周四即6月14日，Amazon位于美國(guó)東部的數(shù)據(jù)中心出現(xiàn)故障，并影響了AWS多項(xiàng)云服務(wù)以及基于之上的Heroku、Quora等知名網(wǎng)站。16日，Amaozn公布了事故分析。事故是由公共電網(wǎng)故障引起，并引發(fā)了一系列連鎖故障。：

事情的起因是電纜故障影響了高壓配電系統(tǒng)。

6月14日20：44左右，一電纜發(fā)生故障，進(jìn)而影響了高壓配電系統(tǒng)。2個(gè)為可用區(qū)域提供電力的公用變電站出現(xiàn)故障，進(jìn)而使得整個(gè)供應(yīng)區(qū)供電不足。但這個(gè)情況是可以處理的，亞馬遜啟動(dòng)了備用發(fā)電機(jī)，保證了所有的EC2實(shí)例和EBS存儲(chǔ)成功轉(zhuǎn)移。

然而，20：53，1個(gè)備用發(fā)電機(jī)因其風(fēng)扇過(guò)熱造成了超負(fù)荷運(yùn)轉(zhuǎn)而斷電。所以采用備用發(fā)電機(jī)（由一個(gè)完全獨(dú)立的配電電路完成額外發(fā)電能力）的方案也宣告失敗。更不幸的是，在這套特定的后備電源分配電路中，一個(gè)斷路器被錯(cuò)誤配置為在低功率閾值時(shí)打開(kāi)，這樣，當(dāng)負(fù)載轉(zhuǎn)移到該電路時(shí)，錯(cuò)誤發(fā)生了，該斷路器斷路了。

20：57，當(dāng)該電路斷路器斷開(kāi)時(shí)，實(shí)例和存儲(chǔ)失去了主要備份電力或二次后備電源。受此影響客戶的實(shí)例和卷是運(yùn)行在多個(gè)可用區(qū)域的，只能在此環(huán)境中等到電力恢復(fù)才能正常運(yùn)行。

15日10：19，發(fā)電機(jī)風(fēng)扇被替換并安裝好，發(fā)電機(jī)開(kāi)始提供動(dòng)力。電力逐步恢復(fù)后，受影響的實(shí)例和存儲(chǔ)也開(kāi)始恢復(fù)。

10：50，絕大多數(shù)實(shí)例已經(jīng)恢復(fù)正常。但對(duì)于EBS存儲(chǔ)（含啟動(dòng)塊）而言，電力不足之時(shí)寫(xiě)入會(huì)有數(shù)據(jù)損失，也就是這些存儲(chǔ)可能存在不一致的狀況。這并非是潛在的不一致，因?yàn)榧词故谴鎯?chǔ)上I/O停頓，EBS也會(huì)在線直接反饋出受損狀態(tài)。用戶只能通過(guò)驗(yàn)證存儲(chǔ)上的一致性來(lái)恢復(fù)它。

最后，16日1：05，超過(guò)99%受影響的存儲(chǔ)才得以解決。

總的來(lái)看，EBS-related EC2 API的損失集中在20：57-22：40.具體來(lái)看，這段時(shí)間內(nèi)，可變系統(tǒng)調(diào)用（如創(chuàng)建，刪除）失敗，進(jìn)而直接影響到客戶發(fā)布新的EBS-backed EC2實(shí)例。EC2和EBS APIs實(shí)施在多個(gè)可用復(fù)制數(shù)據(jù)存儲(chǔ)區(qū)。EBS數(shù)據(jù)存儲(chǔ)被用來(lái)存儲(chǔ)元數(shù)據(jù)等資源的卷快照。一個(gè)主要的EBS數(shù)據(jù)存儲(chǔ)因?yàn)檫@個(gè)時(shí)間失去了動(dòng)力，使得系統(tǒng)無(wú)法將數(shù)據(jù)存儲(chǔ)的副本放到另外一個(gè)可用區(qū)。一般來(lái)看，為了保護(hù)數(shù)據(jù)存儲(chǔ)，系統(tǒng)會(huì)自動(dòng)翻轉(zhuǎn)為只讀模式，直到電力恢復(fù)可以啟動(dòng)可用區(qū)，進(jìn)而盡快恢復(fù)到一致?tīng)顟B(tài)，并返回到數(shù)據(jù)存儲(chǔ)讀寫(xiě)模式，使得啟用可變EBS調(diào)用成功。但這個(gè)事件中，這一保護(hù)方案沒(méi)有起到作用。

未來(lái)，為了保證數(shù)據(jù)存儲(chǔ)實(shí)現(xiàn)快速切換，亞馬遜將實(shí)施變革。高壓配電系統(tǒng)以及所有運(yùn)行實(shí)例和存儲(chǔ)將采用全冗余電源。此外，亞馬遜還完成了對(duì)所有備用配電的審計(jì)。在審計(jì)中，亞馬遜還發(fā)現(xiàn)了另一個(gè)設(shè)置有問(wèn)題的斷路器。至此，亞馬遜表示，已經(jīng)確定所有斷路器都是正確的配置了，并會(huì)進(jìn)行定期的測(cè)試和審計(jì)。

最后，亞馬遜對(duì)在這次事件中受到損失的企業(yè)表示了歉意。

CSDN觀點(diǎn)：從亞馬遜的解釋來(lái)看，頗有“屋漏偏逢連夜雨”之慨，但也從另一層面看出對(duì)于數(shù)據(jù)中心的任何一次事故而言，所需要提供的應(yīng)對(duì)方案應(yīng)是復(fù)雜的，連續(xù)的，方案之外，定期測(cè)試也是必須的。在該事件之后，有很多有價(jià)值的分析與評(píng)論，特選擇一些和大家共享。

ericabiz：（自2001-2007年一直經(jīng)營(yíng)一個(gè)專用服務(wù)器托管公司）

在托管實(shí)施設(shè)計(jì)中，電池要有足夠的力量來(lái)支持發(fā)電機(jī)。但這也會(huì)帶來(lái)一個(gè)巨大單點(diǎn)故障的可能性。一個(gè)更好的設(shè)計(jì)是通過(guò)飛輪產(chǎn)生足夠的電力。不過(guò)，對(duì)于一般數(shù)據(jù)中心而言，一年左右的時(shí)間內(nèi)總會(huì)遇到這些發(fā)電機(jī)故障。

亞馬遜有著好的設(shè)置，但是沒(méi)有進(jìn)行有效的測(cè)試。

順便說(shuō)一下，這也是問(wèn)你的數(shù)據(jù)中心供應(yīng)商的一個(gè)好問(wèn)題：是否擁有兩個(gè)完全冗余電源并包含PDU和發(fā)電機(jī)器的系統(tǒng)？多長(zhǎng)時(shí)間進(jìn)行一次測(cè)試？如果一個(gè)電路單元/發(fā)電機(jī)失敗，我如何設(shè)置服務(wù)器來(lái)保證應(yīng)用不失去動(dòng)力？

有一個(gè)正確的方法：多電源保證每一個(gè)服務(wù)器連接到2PDUs或連接到2個(gè)不同的發(fā)電機(jī)——但這是昂貴的，許多最低端的托管服務(wù)提供商是無(wú)法接受這個(gè)成本的。

rdl：

大型余熱發(fā)電設(shè)備（比如利用蒸汽、建筑、供熱設(shè)備產(chǎn)生的廢熱等）往往采用grid-backup模式。舉個(gè)例子，麻省理工學(xué)院的熱電廠（幾大天然氣渦輪機(jī)），也有很多大學(xué)利用蒸汽加熱，很多工業(yè)遺址也證明了這些。它歸結(jié)為成本和分區(qū)允許。顯然比起運(yùn)行一個(gè)24*7的發(fā)電機(jī)，其更容易獲得許可證。而從實(shí)際價(jià)格上看，利用余熱更能體現(xiàn)循環(huán)價(jià)值。

服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]