【RHCA翻譯計劃】EX436第一章：集群存儲概論2

1.11SAN存儲技術：

從存儲到億恩科技主機之間的網絡連接有多種不同的機制，包括DAS、SAN、NAS等，而針對大型應用，關鍵應用常常采用SAN存儲架構，其優點是高性能，易拓展，而缺點則是管理復雜、價格昂貴（特別是使用FC光纖網絡）。

如上圖，關鍵業務如web服務器、數據庫服務器等通過光纖連接到光纖交換上，光纖交換下是多套存儲形成的存儲網絡，這樣的架構性能相當強勁。企業級應用中，為防止單點故障，還會使用兩套光纖交換實現物理上的冗余，保證高可用性。

說到SAN就必須要提iSCSI，iSCSI（ipOverSCSI）業內也常叫作ipSAN，即是通過TCP/IP的網絡協議來傳輸磁盤的SCSI數據，隨著以太網技術的發展，千兆萬兆都將應用在企業中，而以iSCSI存儲的性價比，很多中小型企業會更加傾向于使用。

區分SCSI設備和FC光纖設備是相當重要的，FC光纖設備是在存儲虛擬化最底層模擬一個或多個SCSI設備的抽象設備，并沒有真實的SCSI設備，而是通過SCSI協議模擬的。

GNBD（GlobalNetworkBlockDevice）全局網絡塊設備類似于iSCSI的存儲架構，只是數據傳輸以數據塊為單位，C/S內核模塊提供了通過以太網塊級別（block-level）的存儲訪問。

1.12光纖通道：

現在企業級應用中，通信最佳選材當然是FC光纖了，光纖通信抗干擾、高速率，在企業中表現優秀，光纖通道的組建需要光纖線、HBA卡、光纖交換機，組成一個高性能高可用的光纖網絡。

由于光纖網絡的管理復雜性，且價格高昂，所以一般僅應用在最為關鍵的業務的關鍵部分，典型的應用就是光纖存儲網絡。

1.13HBA光纖接口卡：

說到HBA卡就要說說光纖通信的原理，光纖通信主要是一個光電轉換的過程，數字信號通過HBA卡轉換成光信號，光信號在光纖中高速傳輸，在另一端的HBA卡上轉換成電信號。HBA卡本身就有處理器對數據進行處理，不需要耗費CPU的處理時間，這也是光纖通信高效的原因之一。

HBA卡類似于SCSI卡，在計算機中被識別成SCSI設備。HBA卡使用SCSI命令，SCSI數據將被添加網絡包頭和包尾，轉換成FC光纖通道協議進行傳輸。一些HBA卡能提供一個以上的光纖物理路徑，就像多路徑一樣。

1.14光纖交換機：

光纖交換機是SAN光纖存儲網絡的重要部分，提供了良好的拓展性，也使得SAN存儲網絡連接幾乎不受距離的限制。光纖通道通信距離可以超過100km。

光纖交換的拓撲有以下三種：點對點；仲裁環路；交換式光纖網。點對點是兩個設備的簡單連接，仲裁環路是所有的設備都排列在一個環路連接中，交換式光纖網是所有的設備連接到一個或多個光纖交換機上，形成光纖交換網絡。企業中普遍使用的是交換式光纖網。

1.15iSCSI存儲：

iSCSI可以理解為ipOverSCSI，也可以理解為internetSCSI，即是指SCSI數據通過以太網絡進行傳輸，使用TCP/IP協議，默認使用3260端口。一些企業更樂于使用iSCSI，因為不像FC光纖網，iSCSI完全可以利用現有的交換網絡進行部署，且iSCSI以性價比著稱，對于中小型企業來說是最佳選擇。
 

1.16NPS網絡電源控制器：

NPS（NetworkPowerSwitch）網絡電源控制器，即電源Fence。在集群中，Fence設備是相當重要的，在Windows的集群中沒有Fence這個概念，他的服務切換是通過仲裁機制來實現；而Linux的集群既有仲裁機制，也有Fence機制。

Fence設備大體可以分為兩大類，一類是電源Fence，另一類則是電纜Fence�，F在的集群大部分只使用了電纜Fence。下面介紹一下Fence的工作原理：以雙機的HA集群為例，當空閑節點通過心跳線得知服務節點發生問題，如通信失敗等，空閑節點就會利用服務節點上的Fence卡將該節點關機或重啟，并將服務資源“搶”到本節點上。電源Fence則是檢測到集群節點斷電時則切換服務到另一節點。

下圖即為NPS，主要就是為每一個電源接口提供一個以太網口，以實時監控電源情況，目前國內很少使用，其實有了UPS和完善的機房管理體制，NPS也沒有什么必要。

1.17ACPI機制：

ACPI（AdvancedConfigurationandPowerinterface）機制主要是針對億恩科技主機電源管理的機制，對于管理電源消耗很有用處。各廠商也有相應的產品，如戴爾的遠程訪問接口卡DRAC，惠普的是iLo，英特爾的是IpmI等。

由于ACPI是基于軟件的機制，所以并不能完全依賴。例如，集群中一個節點由于內核恐慌（kernelpanic）而被逐出集群，這時該節點將不能處理必要的電源輪詢。

1.18網絡集群節點：

集群心跳也屬于集群通信傳輸的一部分，集群上的服務可以利用不同網卡上的子網分隔開來，集群間通信形成一個子網，集群中各節點對外提供服務的網卡連接到公網。

通常為防止單點故障，各通信接口都要利用兩塊以上的網卡做綁定，可以實現冗余和負載均衡的作用。

網絡設備必須支持組播，組播用于集群間各節點之間的通信，地址是集群創建之時自動生成的，但也可以手動地用其他地址覆蓋。必須確定所有的網絡硬件（路由、交換、集線器、網卡等）支持組播。交換機的默認配置有些是關閉了組播的，你可以通過ping組播地址測試一下，使用netstat-g查看已分配的組播地址。

1.19廣播與組播：

廣播的特點就是單對多，像DHCP服務那樣，利用廣播來發送自己DHCP的身份；組播則是數據包發送給指定的接收者。有一個形象的比喻，廣播就是告訴全公司的人一件事，組播則是只告訴一部分你想告訴的人。

組播比廣播更具效率，因為廣播是不管你需不需要這信息，通通都發一遍，而組播則是有針對性地發送，效率自然比較好。

不是所有的以太網卡都支持組播。

IPv6很依賴組播，因為IPv6取消了廣播，采用了更合理的組播。

1.20以太通道的綁定：

以太通道的綁定即是將多塊物理網卡在操作系統上綁定成一個邏輯設備，實現高可用性和負載均衡。在集群中，雙機之間的心跳線是集群的關鍵，但是如果心跳線的網卡發生故障，則整個集群就失去功能了，所以，心跳線網卡常常用兩塊網卡綁定起來，實現冗余，防止由于物理網卡故障而導致集群崩潰。
 

1.21以太通道綁定的配置：

配置以太網卡綁定相當簡單。

第一步是配置加載bonding內核模塊，使得支持綁定功能；

#vim/etc/modprobe.conf

aliasbond0bonding

optionsbond0mode=1miimon=100use_carrier=0

寫入上面兩行參數后保存退出；其中，mode=0/1，0表示提供容錯和負載均衡的功能，1表示只提供容錯的功能；miimon=100表示連接監控的頻度，單位為毫秒；use_carrier表示如何確定連接狀態；可以使用primary參數指定哪塊網卡作為主要優先的。

第二步是配置網卡配置文件：

#cd/etc/sysconfig/network-scripts/

假設要將eth0和eth1綁定成bond0，則作如下修改：

#vimifcfg-eth0

DEVICE=eth0

MASTER=bond0

SLAVE=yes

ONBOOT=yes

BOOTPROTO=static

#vimifcfg-eth1

DEVICE=eth1

MASTER=bond0

SLAVE=yes

ONBOOT=yes

BOOTPROTO=static

#vimifcfg-bond0

DEVICE=bond0

IPADDR=192.0.2.1

NETMASK=255.255.255.0

GATEWAY=192.0.2.254

ONBOOT=yes

BOOTPROTO=static

重啟網絡：

#/etc/init.d/networkrestart

1.22多路徑：

多路徑是用于訪問共享存儲的，可防止單點故障導致服務不可用。

設備映射多路徑允許節點通過多條路徑訪問存儲，多路徑支持FC、iSCSI、GNBD等存儲架構。

1.23安全：

集群間多有節點的通信默認都經過了加密，OpenAIS使用集群名作為密鑰，但這并不是徹底安全的策略。

防火墻必須允許集群和GFS相應端口的使用。以下端口必須開放：

5404,505 cman udp

11111 ricci tcp

14567 gnbd tcp

16851 modcluster tcp

21064 dlm tcp

50006,50008 ccsd tcp

50007 ccsd udp

服務器租用托管專員，億恩天使QQ530997 分享

服務器租用/服務器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質保障！--億恩科技[ENKJ.COM]