分布式存儲(chǔ)學(xué)習(xí)資料

1、VSAN 技術(shù)要點(diǎn)與最佳實(shí)踐,2016.03.13,黃釗,軟件定義的存儲(chǔ)：VSAN,2,,,VSAN的概述說(shuō)明,,軟件定義的存儲(chǔ),效益 控制力 敏捷性,VMware 軟件定義的存儲(chǔ),3,為存儲(chǔ)帶來(lái)計(jì)算的運(yùn)營(yíng)模式,抽象化與池化基礎(chǔ)架構(gòu)集成新的存儲(chǔ)層,以虛擬機(jī)為中心的數(shù)據(jù)服務(wù)第三方服務(wù)集成,基于通用策略的自動(dòng)化和編排,,LUN,LUN,LUN,LUN,LU

2、N,LUN,x86 服務(wù)器,聚合了虛擬化管理程序的存儲(chǔ)池,對(duì)象存儲(chǔ)池,云對(duì)象存儲(chǔ),無(wú)超額配置資源減少，時(shí)間也相應(yīng)減少易于改變,,今天,5.從預(yù)分配的容器中取用4.選擇適當(dāng)?shù)娜萜?.公開(kāi)預(yù)分配的容器2.預(yù)分配靜態(tài)容器1.預(yù)定義存儲(chǔ)的配置,,1.定義存儲(chǔ)策略2.在虛擬機(jī)創(chuàng)建時(shí)應(yīng)用策略,VSAN,VSAN 共享數(shù)據(jù)存儲(chǔ),資源和數(shù)據(jù)服務(wù)自動(dòng)進(jìn)行調(diào)配和維護(hù),超額配置（防患于未然?。├速M(fèi)資源，浪費(fèi)時(shí)間頻繁的數(shù)據(jù)遷移,Virtu

3、al SAN 讓?xiě)?yīng)用做主,通過(guò)以應(yīng)用為中心的方法實(shí)現(xiàn)更簡(jiǎn)單的自動(dòng)存儲(chǔ)管理,4,,VSAN 共享數(shù)據(jù)存儲(chǔ),,可簡(jiǎn)化并自動(dòng)執(zhí)行存儲(chǔ)管理,5,從單個(gè)自調(diào)節(jié)的數(shù)據(jù)存儲(chǔ)滿(mǎn)足每虛擬機(jī)的存儲(chǔ)服務(wù)級(jí)別要求,容量,性能,可用性,按虛擬機(jī)設(shè)置的存儲(chǔ)策略,基于應(yīng)用需求的策略集,vSphere + VSAN,,SLA,軟件自動(dòng)控制服務(wù)級(jí)別,不再需要 LUN！,6,管理集群,,使用情形,軟件定義的存儲(chǔ)：VSAN,7,,,,軟件定義的存儲(chǔ),效益

4、 控制力 敏捷性,硬件要求,8,基于 VMware 的任意服務(wù)器兼容性指南,,至少 3 臺(tái) ESXi 5.5 主機(jī)，最多主機(jī)數(shù)“我將在稍后告訴您...”,網(wǎng)絡(luò),支持 1 GB/10 GB帶確保服務(wù)質(zhì)量的 NIOC 的 10 GB 共享網(wǎng)絡(luò)將支持大多數(shù)環(huán)境如果是 1 GB 網(wǎng)絡(luò)，則建議對(duì) Virtual SAN 使用專(zhuān)用鏈路巨型幀將提供標(biāo)稱(chēng)的性能提升針對(duì)全新部署啟

5、用Virtual SAN 同時(shí)支持 VSS 和 VDSNIOC 需要使用 VDSNexus 1000v – 應(yīng)該能用，但尚未進(jìn)行全面測(cè)試網(wǎng)絡(luò)帶寬性能對(duì)主機(jī)撤出、重建時(shí)間的影響高于對(duì)工作負(fù)載性能的影響,9,VSAN HCL,http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsan,CONFIDENTIAL,10,,,多級(jí)單元固態(tài)磁盤(pán)

6、或（最好是）PCIe 固態(tài)磁盤(pán),SAS/NL-SAS 硬盤(pán)選擇 SATA 硬盤(pán),,,vSphere 硬件兼容性列表上的 任何 服務(wù)器,* 注意：有關(guān)其他詳細(xì)信息，請(qǐng)參閱“Virtual SAN VMware 兼容性指南”頁(yè)面,,,6 GB 企業(yè)級(jí) HBA/RAID 控制器,1,2,構(gòu)建您自己的節(jié)點(diǎn),VSAN 就緒的節(jié)點(diǎn),...正式發(fā)布時(shí)將提供由多家第三方供應(yīng)商組成的 10 種不同選項(xiàng),,能夠使用 VSAN 的預(yù)配置服務(wù)器..

7、.,...使用 VSAN 兼容性指南*,選擇各個(gè)組件...,兩種構(gòu)建 Virtual SAN 節(jié)點(diǎn)的方法,聚合了虛擬化管理程序的極其簡(jiǎn)單的存儲(chǔ),Virtual SAN 實(shí)施要求,Virtual SAN 需要：采用集群配置，至少 3 臺(tái)主機(jī)3 臺(tái)主機(jī)都必須提供存儲(chǔ)vSphere 5.5 U1 或更高版本本地連接的磁盤(pán)磁盤(pán)（硬盤(pán)）基于閃存的設(shè)備（固態(tài)磁盤(pán)）網(wǎng)絡(luò)連接1 GB 以太網(wǎng)10 GB 以太網(wǎng)（首選）,12,,es

8、xi-01,本地存儲(chǔ),本地存儲(chǔ),本地存儲(chǔ),vSphere 5.5 U1 集群,esxi-02,esxi-03,,集群,HDD,HDD,HDD,Virtual SAN 構(gòu)造和項(xiàng)目,全新的 Virtual SAN 構(gòu)造、項(xiàng)目和術(shù)語(yǔ)：磁盤(pán)組VSAN 數(shù)據(jù)存儲(chǔ)對(duì)象組件Virtual SAN 網(wǎng)絡(luò),13,Virtual SAN 磁盤(pán)組,Virtual SAN 使用磁盤(pán)組這一概念將閃存設(shè)備和磁盤(pán)池化為一個(gè)管理構(gòu)造。磁盤(pán)組至少包含 1

9、個(gè)閃存設(shè)備和 1 個(gè)磁盤(pán)。閃存設(shè)備用于提供性能（讀緩存 + 寫(xiě)緩沖區(qū)）。磁盤(pán)用于提供存儲(chǔ)容量。不能在沒(méi)有閃存設(shè)備的情況下創(chuàng)建磁盤(pán)組。,14,HDD,HDD,HDD,HDD,HDD,Virtual SAN 數(shù)據(jù)存儲(chǔ),Virtual SAN 是一種以文件系統(tǒng)的形式呈現(xiàn)給 vSphere 的對(duì)象存儲(chǔ)解決方案。該對(duì)象存儲(chǔ)裝載著集群中所有主機(jī)的 VMFS 卷，并將它們呈現(xiàn)為一個(gè)共享數(shù)據(jù)存儲(chǔ)。僅限該集群的成員才能訪(fǎng)問(wèn) Virtual S

10、AN 數(shù)據(jù)存儲(chǔ)。并非所有主機(jī)都需要提供存儲(chǔ)，但是建議提供存儲(chǔ)。,15,,,,,磁盤(pán)組,磁盤(pán)組,磁盤(pán)組,磁盤(pán)組,每臺(tái)主機(jī)：最多 5 個(gè)磁盤(pán)組。每個(gè)磁盤(pán)組：1 個(gè) SSD + 1 至 7 個(gè) HDD,磁盤(pán)組,VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),HDD,HDD,HDD,HDD,HDD,Virtual SAN 對(duì)象,Virtual SAN 通過(guò)名為對(duì)象的靈活數(shù)據(jù)容器的形式管理數(shù)據(jù)。虛擬機(jī)文件即稱(chēng)為

11、對(duì)象。虛擬機(jī)文件稱(chēng)為對(duì)象。存在四種不同類(lèi)型的虛擬機(jī)對(duì)象：虛擬機(jī)主目錄虛擬機(jī)交換文件VMDK快照虛擬機(jī)對(duì)象基于虛擬機(jī)存儲(chǔ)配置文件中定義的性能和可用性要求劃分為多個(gè)組件。,16,,,,,磁盤(pán)組,磁盤(pán)組,磁盤(pán)組,磁盤(pán)組,每臺(tái)主機(jī)：最多 5 個(gè)磁盤(pán)組。每個(gè)磁盤(pán)組：1 個(gè) SSD + 1 至 7 個(gè) HDD,磁盤(pán)組,VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),HDD,HDD,HDD,HDD,H

12、DD,對(duì)象和組件布局,,17,,,,,VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),,,,Virtual SAN 存儲(chǔ)對(duì)象,R1,R0,R0,R0,,,,,,,可用性定義為副本數(shù)量,低級(jí)存儲(chǔ)對(duì)象將駐留在不同的主機(jī)上,,VMFS,,VMFS,,VMFS,rolo2.vmdk,虛擬機(jī)主目錄對(duì)象格式化為 VMFS，以便在此對(duì)象上存儲(chǔ)虛擬機(jī)的配置文件。,性能可能會(huì)包括條帶寬度,,VMFS,,rolo1.vmd

13、k,rolo.vmx、.log 等,/vmfs/volumes/vsanDatastore/rolo/rolo.vmdk,,Virtual SAN 組件,Virtual SAN 組件是對(duì)象區(qū)塊，這些對(duì)象區(qū)塊跨集群中的多臺(tái)主機(jī)分布，以便容許同時(shí)發(fā)生多個(gè)故障并滿(mǎn)足性能要求。Virtual SAN 利用分布式 RAID 體系結(jié)構(gòu)將數(shù)據(jù)分發(fā)到整個(gè)集群中。組件的分布主要采用兩種技術(shù)：條帶化 (RAID0)鏡像 (RAID1)創(chuàng)建多少

14、組件副本將基于對(duì)象策略定義決定。,18,,,,,磁盤(pán)組,磁盤(pán)組,磁盤(pán)組,磁盤(pán)組,磁盤(pán)組,VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 數(shù)據(jù)存儲(chǔ),副本 1,副本 2,RAID1,HDD,HDD,HDD,HDD,HDD,,,,,,,,,Virtual SAN 可擴(kuò)展體系結(jié)構(gòu),19,縱向擴(kuò)展和橫向擴(kuò)展體系結(jié)構(gòu) – 精確的線(xiàn)性存儲(chǔ)、性能和計(jì)算擴(kuò)展能力按磁盤(pán) – 擴(kuò)展容量按基于閃存的設(shè)備 – 擴(kuò)展

15、性能按磁盤(pán)組 – 擴(kuò)展性能和容量按節(jié)點(diǎn) – 擴(kuò)展計(jì)算容量,,,,,磁盤(pán)組,磁盤(pán)組,磁盤(pán)組,VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 網(wǎng)絡(luò),VSAN 數(shù)據(jù)存儲(chǔ),HDD,HDD,HDD,軟件定義的存儲(chǔ)：VSAN,20,,,VSAN的安裝配置,,軟件定義的存儲(chǔ),效益 控制力 敏捷性,配置 VMware Virtual SAN,極其簡(jiǎn)單的配置過(guò)程,21,技術(shù)特征

16、,Virtual SAN 是集群級(jí)別的功能，類(lèi)似于：vSphere DRSvSphere HAVirtual SAN通過(guò) vSphere Web Client 從 vCenter 中進(jìn)行部署、配置和管理（絕無(wú)僅有?。?。極其簡(jiǎn)單為 Virtual SAN 配置 VMkernel 接口通過(guò)單擊“Turn On”（打開(kāi)）啟用 Virtual SAN,22,,啟用 Virtual SAN,一鍵搞定！

17、Virtual SAN 配置為“Automatic”（自動(dòng)）模式時(shí)，Virtual SAN 會(huì)申領(lǐng)所有空的本地磁盤(pán)以便創(chuàng)建分布式 VSAN 數(shù)據(jù)存儲(chǔ)。Virtual SAN 配置為“Manual”（手動(dòng)）模式時(shí)，管理員必須通過(guò)手動(dòng)選擇磁盤(pán)創(chuàng)建磁盤(pán)組來(lái)添加分布式 VSAN 數(shù)據(jù)存儲(chǔ)。,23,磁盤(pán)管理,集群中的每個(gè)主機(jī)創(chuàng)建一個(gè)或多個(gè)磁盤(pán)組，其中同時(shí)包含硬盤(pán)和固態(tài)磁盤(pán)。,24,容許的故障數(shù)量,容許的故障數(shù)量定義存儲(chǔ)對(duì)象能容許的主機(jī)、磁盤(pán)

18、或網(wǎng)絡(luò)故障的數(shù)量。若要容許“n”個(gè)故障，則要?jiǎng)?chuàng)建“n+1”個(gè)對(duì)象副本，并且需要“2n+1”臺(tái)主機(jī)提供存儲(chǔ)。,25,每個(gè)對(duì)象的磁盤(pán)條帶數(shù),每個(gè)對(duì)象的磁盤(pán)條帶數(shù)存儲(chǔ)對(duì)象的每個(gè)副本所跨的硬盤(pán)數(shù)。值越高，性能就越好。,26,Virtual SAN I/O 流 – 寫(xiě)入確認(rèn),,VSAN 網(wǎng)絡(luò),vmdk,vmdk,esxi-01,esxi-02,esxi-03,esxi-04,VSAN 會(huì)將寫(xiě)入 IO 鏡像到所有的活動(dòng)鏡像，并在這些寫(xiě)入命中閃存

19、緩沖區(qū)時(shí)確認(rèn)寫(xiě)入操作！,見(jiàn)證,降級(jí)為硬盤(pán)的操作在各主機(jī)中獨(dú)立執(zhí)行。,raid-1,Virtual SAN I/O 流 – 1 MB 增量的條帶化,,VSAN 網(wǎng)絡(luò),見(jiàn)證,esxi-01,esxi-02,esxi-03,esxi-04,條帶 1b,條帶 1a,1 MB(1),raid-0,raid-0,VSAN 默認(rèn)實(shí)施精簡(jiǎn)配置，條帶以 1MB 的增量增長(zhǎng),raid-1,1 MB(3),1 MB(5),1 MB(2),1 MB(4),(

20、x) 表明條帶所在的段。,針對(duì)存儲(chǔ)功能的建議做法,29,虛擬機(jī)調(diào)配操作,所有虛擬機(jī)調(diào)配操作都需訪(fǎng)問(wèn)虛擬機(jī)存儲(chǔ)策略,30,虛擬機(jī)調(diào)配操作,如果 Virtual SAN 數(shù)據(jù)存儲(chǔ)了解虛擬機(jī)存儲(chǔ)策略中的功能，則會(huì)將其顯示為匹配的資源。,31,虛擬機(jī)調(diào)配操作,如果 VSAN 數(shù)據(jù)存儲(chǔ)能夠滿(mǎn)足虛擬機(jī)存儲(chǔ)策略要求，則“VM Summary”（虛擬機(jī)摘要）選項(xiàng)卡會(huì)將虛擬機(jī)顯示為合規(guī)。,如果由于故障或強(qiáng)制調(diào)配功能而不能滿(mǎn)足策略要求，則會(huì)顯示為不

21、合規(guī)。,32,,,虛擬機(jī)策略管理,修改虛擬機(jī)性能、容量和可用性要求而不停機(jī)。,33,VMware Virtual SAN,恢復(fù)能力和故障場(chǎng)景,了解故障事件,Virtual SAN 可識(shí)別兩種不同類(lèi)型的硬件設(shè)備事件以便定義故障場(chǎng)景的類(lèi)型：缺失降級(jí)缺失事件會(huì)觸發(fā) 60 分鐘的恢復(fù)操作。Virtual SAN 會(huì)在開(kāi)始恢復(fù)對(duì)象和組件之前等待 60 分鐘60 分鐘是所有缺失事件的默認(rèn)設(shè)置此值可通過(guò)主機(jī)高級(jí)設(shè)置來(lái)配置,35,了解故

22、障事件,降級(jí)事件會(huì)立即觸發(fā)恢復(fù)操作。立即觸發(fā)對(duì)象和組件的恢復(fù)操作不可配置如檢測(cè)到的以下任何 I/O 錯(cuò)誤始終會(huì)被視為降級(jí)：磁盤(pán)故障基于閃存的設(shè)備故障存儲(chǔ)控制器故障如檢測(cè)到的以下任何 I/O 錯(cuò)誤始終會(huì)被視為缺失：網(wǎng)絡(luò)故障網(wǎng)卡 (NIC)主機(jī)故障,36,故障處理原理,傳統(tǒng) SAN需要更換故障物理驅(qū)動(dòng)器才能恢復(fù)完全冗余預(yù)設(shè)有熱備盤(pán)以便立即接管故障磁盤(pán)的工作上述這兩種情況：均按 1:1 的比例更換磁盤(pán)Virt

23、ual SAN整個(gè)集群就是一個(gè)“熱備盤(pán)”，隨時(shí)都可恢復(fù)完全冗余當(dāng)某個(gè)磁盤(pán)發(fā)生故障時(shí)，許多小組件（對(duì)象的條帶或鏡像）就會(huì)發(fā)生故障這些組件的新副本可分布在集群各處以實(shí)現(xiàn)平衡更換物理磁盤(pán)只是增添了后備資源,管理故障場(chǎng)景,通過(guò)制定策略，Virtual SAN 上的虛擬機(jī)可以容許多種故障磁盤(pán)故障 – 降級(jí)事件固態(tài)磁盤(pán)故障 – 降級(jí)事件控制器故障 – 降級(jí)事件網(wǎng)絡(luò)故障 – 缺失事件服務(wù)器故障 – 缺失事件虛擬機(jī)可繼續(xù)運(yùn)行 并行

24、重建可最大限度減少性能影響固態(tài)磁盤(pán)故障 – 立即硬盤(pán)故障 – 立即控制器故障 – 立即網(wǎng)絡(luò)故障 – 60 分鐘主機(jī)故障 – 60 分鐘,38,磁盤(pán)故障 – 即時(shí)鏡像副本,降級(jí) – 故障磁盤(pán)上所有受影響的組件都將立即在其他磁盤(pán)、磁盤(pán)組或主機(jī)上創(chuàng)建。,主機(jī)故障 – 60 分鐘延遲,缺失 – 在其他磁盤(pán)、磁盤(pán)組或主機(jī)上啟動(dòng)對(duì)象和組件的副本之前，將按默認(rèn)設(shè)置等待 60 分鐘。對(duì)集群總體計(jì)算和存儲(chǔ)容量的影響較大。,X,網(wǎng)絡(luò)故障 –

25、 60 分鐘延遲,缺失 – 在其他磁盤(pán)、磁盤(pán)組或主機(jī)上啟動(dòng)對(duì)象和組件的副本之前，將按默認(rèn)設(shè)置等待 60 分鐘。網(wǎng)卡故障、物理網(wǎng)絡(luò)故障可能導(dǎo)致網(wǎng)絡(luò)分區(qū)。可能會(huì)影響集群中的多臺(tái)主機(jī)。,X,Virtual SAN 訪(fǎng)問(wèn)規(guī)則,組件訪(fǎng)問(wèn)規(guī)則至少有一個(gè)鏡像備份是完整的所有條帶化必須都是完整的大于50%的組件必須是可用的包含witnesses,,1 Mirror Copy,,All stripes available,,> 50%

26、components and witnesses,,Power on Operation,Logic is implemented per object,Virtual SAN 1 臺(tái)主機(jī)被隔離 – HA 重啟,,VSAN 網(wǎng)絡(luò),vmdk,vmdk,見(jiàn)證,esxi-01,esxi-02,esxi-03,esxi-04,隔離！,HA 重啟,raid-1,vSphere HA 重啟虛擬機(jī),Virtual SAN 2 臺(tái)主機(jī)被隔離 – HA

27、重啟,,VSAN 網(wǎng)絡(luò),vmdk,vmdk,見(jiàn)證,esxi-01,esxi-02,esxi-03,esxi-04,隔離！,隔離！,HA 重啟,raid-1,vSphere HA 在 ESXi-02/ESXi-03 上重啟虛擬機(jī)，這些主機(jī)擁有超過(guò) 50% 的組件！,Virtual SAN 分區(qū) – 含 HA 重啟,,VSAN 網(wǎng)絡(luò),vmdk,vmdk,見(jiàn)證,esxi-01,esxi-02,esxi-03,esxi-04,分區(qū) 1,分區(qū) 2

28、,HA 重啟,vSphere HA 在分區(qū) 2 上重啟虛擬機(jī)，該分區(qū)擁有超過(guò) 50% 的組件！,raid-1,技術(shù)互操作性,Virtual SAN 與許多 VMware 存儲(chǔ)和 vSphere 可用性企業(yè)級(jí)功能全面集成。,46,軟件定義的存儲(chǔ)：VSAN,47,,,,軟件定義的存儲(chǔ),效益 控制力 敏捷性,Virtual SAN Datastore,分布式的d

29、atastore容量取決于 在vSphere Cluster中多臺(tái)主機(jī)上集合的可用磁盤(pán)組以及磁盤(pán)大小. 只有磁盤(pán)上的有效容量可以作為Virtual SAN datastore的使用容量. Flash設(shè)備容量專(zhuān)門(mén)作為Virtual SAN的cache容量.,,,,,,disk group,disk group,disk group,disk group,Each host: 5 disk groups max. Each disk g

30、roup: 1 SSD + 1 to 7 HDDs,disk group,VSAN network,VSAN network,VSAN network,VSAN network,VSAN network,HDD,HDD,HDD,HDD,HDD,磁盤(pán)組（Disk Groups）,由一個(gè)Flash設(shè)備(SAS/SATA/PCIe SSD)和一個(gè)或多個(gè)磁盤(pán)(SAS/SATA HDD)組成. Disk Groups 構(gòu)成了分布式的flash層

31、和VSAN Datastore的存儲(chǔ)容量層. Formatted with a modified on-disk file system (VMFS-L) and are then mounted onto the Object Store File System datastore as a single datastore VMFS-L on-disk file system formatting consumes a tota

32、l of 750 megabytes of capacity per disk.,Disk Group 規(guī)劃設(shè)計(jì),每個(gè)Disk Group一個(gè)Flash 設(shè)備多個(gè)flash設(shè)備, 多個(gè)disk groups 可以用來(lái)建立多個(gè)flash層Flash設(shè)備和磁盤(pán)比率越高，cache就越大. 定義和減少存儲(chǔ)故障范圍.,Flash 容量規(guī)劃與設(shè)計(jì),一般推薦：在考慮Number of Failures To Tolerate之后，Virtua

33、l SAN‘s flash容量為預(yù)期消耗存儲(chǔ)容量的10%. 總的Flash容量百分比應(yīng)該根據(jù)具體的使用場(chǎng)景及相應(yīng)的容量和性能要求而定. 10% 是一般推薦, 可以調(diào)整.,目標(biāo)（Objects）,獨(dú)立的SCSI兼容的存儲(chǔ)塊設(shè)備.每一個(gè)Virtual SAN datastore中的目標(biāo)石油多個(gè)組件（component）構(gòu)成.目標(biāo)（Object）通過(guò)VM Storage Profiles 均被設(shè)定了存儲(chǔ)性能和可用性相關(guān)的服

34、務(wù)指標(biāo).,,組件（Components）,目標(biāo)（Objects）由分布在一個(gè)vSphere Cluster中的主機(jī)上的組件 （components ）構(gòu)成. Virtual SAN 5.5 當(dāng)前支持最大每臺(tái)主機(jī)3000 components. 大于255 gigabytes的目標(biāo) （object）會(huì)自動(dòng)地分成多個(gè)組件（components）.每個(gè)組件（component）會(huì)為Metedate消耗2 megabytes 磁盤(pán)空間.,

35、,見(jiàn)證（Witness）,見(jiàn)證組件（Witness components）是每個(gè)存儲(chǔ)目標(biāo)的一部分. 只包含object metadata. 作為一個(gè)附加屬性存在：為避免分割，在一個(gè)Virtual SAN cluster內(nèi)設(shè)定好可用性測(cè)略后. 每個(gè)Virtual SAN witness component同樣會(huì)消耗 2 megabytes 存儲(chǔ)容量.,Virtual SAN Datastore大小考慮因素,很重要的一點(diǎn)：了解存儲(chǔ)容量

36、的消耗對(duì)可用性和性能方面的影響. Number of Failures to TolerateNumber of Disk Stripes per ObjectFlash Read Cache ReservationObject Space Reservation,,,,允許的故障次數(shù)（Number of Failures to Tolerate）,在Virtual SAN中，存儲(chǔ)容量消耗的最大影響. 根據(jù)虛擬機(jī)的可用性要求,

37、 VM Storage Policy的相關(guān)設(shè)定會(huì)導(dǎo)致最高4倍虛擬機(jī)存儲(chǔ)容量的消耗,2 full copies of data + 1 witness,沒(méi)給目標(biāo)磁盤(pán)條帶化數(shù)量（Number of Disk Stripes Per Object）,如果每個(gè)Object的磁盤(pán)條帶化數(shù)量按默認(rèn)的“1”進(jìn)行增長(zhǎng)，每個(gè)條帶會(huì)被當(dāng)作一個(gè)獨(dú)立的組件（component）.這是每臺(tái)主機(jī)支持的最大數(shù)量的組件情況的影響數(shù)據(jù).,內(nèi)存和CPU,Virtual

38、SAN的內(nèi)存要求一般取決于有Hypervisor管理的磁盤(pán)組和磁盤(pán)數(shù)量. 只要vSphere hosts內(nèi)存大于, 就可以支持VirtualSAN所能支持的最大磁盤(pán)組和磁盤(pán)配置.Virtual SAN 本身設(shè)計(jì)為不會(huì)消耗每臺(tái)主機(jī)CPU資源的10%的負(fù)載. 因此，可以在高整合比，及CPU密集型應(yīng)用的場(chǎng)景使用Virtual SAN.,網(wǎng)絡(luò),Virtual SAN 網(wǎng)絡(luò)活動(dòng)，尤其是在進(jìn)行重構(gòu)或同步操作時(shí)可能會(huì)對(duì)1GbE 的網(wǎng)絡(luò)形成極大

39、的壓力. 在有網(wǎng)絡(luò)資源緊張的場(chǎng)景下，通過(guò)不同的VLAN，隔離不同的網(wǎng)絡(luò)流量 (Management, vMotion, Virtual Machine, Virtual SAN) ，或者采用QoS服務(wù)保證性能. Virtual SAN需要在2層支持 IP多播（multicast）一時(shí)鮮Virtual SAN 通信,VSAN測(cè)試最佳實(shí)踐,CONFIDENTIAL,60,IOMeter測(cè)試,61,最新版本下載： http://so

40、urceforge.net/projects/iometer/Iometer.org 已過(guò)時(shí)。注意測(cè)試壓力測(cè)試文件并發(fā)壓力壓力IO數(shù),測(cè)試文件,二個(gè)關(guān)鍵參數(shù) (Maximum Disk Size and Starting disk sector) 決定測(cè)試文件大小 (iobw.tst)。e.g: If both “Starting disk sector” and “Maximum Disk Size” are 10000

41、00, as each disk sector has 512B (0.5KB) capacity, a (1000000*2*0.5 KB) 1GB test file is generated. 大文件的100%隨機(jī)訪(fǎng)問(wèn)需要更多的訪(fǎng)問(wèn)時(shí)間。Experiment ( block size: 4Kb, run time 20 minutes, file size: 1GB / 10GB / 50GB),62,并發(fā)壓力,In IOMe

42、ter : thread = worker增加Worker數(shù)量增加大壓力每個(gè)VM上多Worker數(shù)多 VMExperiment ( block size: 4Kb, run time 20 minutes, 50% Read, 50% Random),63,壓力IO,每個(gè)Worker 的異步IO數(shù)。默認(rèn)為1值太小，可根據(jù)硬件性能進(jìn)行調(diào)整注意調(diào)整值，太高會(huì)使Windows掛起或死機(jī)。,64,VSphere/VSAN 配置推薦

43、,65,PVSCSI 控制器,默認(rèn)的LSI logic SAS性能不如PVSCSI。更好的傳輸性與更低的CPU利用率。LSI logic SAS 在大負(fù)載的情況性能下降。PVSCSI 有更好的表現(xiàn)。,66,Component 分布,盡可能認(rèn)負(fù)載分布在多個(gè)SSD/HDD上。影響因素: FTT (容錯(cuò)數(shù)) / Stripe Width條帶化 / Disk capacity 磁盤(pán)容量在不同的磁盤(pán)組上虛擬磁盤(pán)上增加負(fù)載可獲得更好的性能,

44、67,Storage Policy (Stripe width),VSAN的存儲(chǔ)策略 (default 1, max 12)?？筛淖兘M件的分布。對(duì)SSD 到HDD的寫(xiě)入性能有顯著提高。Experiment ( a 4-node cluster, 4 disk groups) :,68,網(wǎng)絡(luò)帶寬,VSAN中, 小于256GB的虛擬磁盤(pán)有二個(gè)拷貝和1個(gè)見(jiàn)證。1個(gè)拷貝在主機(jī)1 ( Host 1). 另1 個(gè)拷貝在主機(jī) ( Host

45、 2). 主機(jī)上Host 3 上是見(jiàn)證。網(wǎng)絡(luò)數(shù)據(jù)流:Read : IOPS * block size / 2 ≈ bandwidth.Write : IOPS * block size ≈ bandwidth.,69,,,Read : Remote -> LocalWrite : Local -> Remote,軟件定義的存儲(chǔ)：VSAN,70,,,,軟件定義的存儲(chǔ),效益

46、 控制力 敏捷性,,VSAN6.2的新功能介紹,IT 基礎(chǔ)架構(gòu)邁向Server SAN和超融合架構(gòu),71,Source: IDC Hyperconverged Systems 2015-2019 Forecast,1 Wikibon Server SAN Research Project 2014,,Enterprise Server SAN CAGR1: 44.2%,60%

47、CAGR,,,,,最廣泛的部署選項(xiàng),72,基于業(yè)界領(lǐng)先的 VMware 超融合軟件 (HCS) 而構(gòu)建,經(jīng)認(rèn)證的解決方案,精心打造的設(shè)備,,Virtual SAN 就緒節(jié)點(diǎn),EVO SDDC 集成系統(tǒng),經(jīng)認(rèn)證的合作伙伴硬件,NSX,vRealize,EMC 聯(lián)盟 HCI 設(shè)備,VMware HCSVirtual SAN + vSphere + vCenter,VMware HCSVirtual SAN + vSphere + vC

48、enter,VMware HCSVirtual SAN + vSphere + vCenter,EVO SDDC Manager,EVO SDDC 軟件,已更新,僅部分地區(qū)供應(yīng),設(shè)備軟件,即將推出,更多客戶(hù)愿意借助 VMware HCS而不是競(jìng)爭(zhēng)產(chǎn)品來(lái)部署 HCI,,3000+,超過(guò)3000多客戶(hù)選擇VMware HCS,,,,,,,,,,,,,74,極簡(jiǎn)的數(shù)據(jù)中心基礎(chǔ)架構(gòu),極其簡(jiǎn)單,,,>100,經(jīng)過(guò)預(yù)先認(rèn)證的就緒節(jié)點(diǎn),

49、1 個(gè),集成軟件體系,,<1ms,全閃存系統(tǒng)延遲,>100K,每個(gè)節(jié)點(diǎn)的 IOPS,,14 倍,Virtual SAN 總存儲(chǔ)使用率提高,50%,TCO 更低,,1 個(gè),適合關(guān)鍵業(yè)務(wù)應(yīng)用、Openstack 和容器的平臺(tái),>7M,每個(gè)集群的 IOPS,最高的性能,,最低的成本,任何應(yīng)用、任何規(guī)模,,為何這些選擇 VMware HCS – VSAN ？,14倍,,,,《ZDNet-至頂網(wǎng)》VMware Virtua

50、l SAN 6.1評(píng)獲2015年存儲(chǔ)虛擬化解決方案VMware Virtual SAN 6.1 Wins "Best Shared Storage Solution in 2015" Award,《中國(guó)信息發(fā)展研究院》VMware Virtual SAN 6.1榮膺中國(guó)軟件和信息服務(wù)虛擬化領(lǐng)域最佳產(chǎn)品獎(jiǎng)VMware Virtual SAN 6.1 Awarded "China’s Best Vi

51、rtualization Product",《中小企業(yè)IT采購(gòu)》雜志VMware Virtual SAN 榮膺2015最受中小企業(yè)信賴(lài)的品牌和產(chǎn)品VMware Virtual SAN Wins "The Most Trusted Brand by SMEs in 2015" Award,2015年VSAN在中國(guó)榮獲多項(xiàng)大獎(jiǎng),VMware VSAN簡(jiǎn)介,76,77,. . .,,軟件定義的存儲(chǔ)針對(duì)虛擬機(jī)進(jìn)

52、行了優(yōu)化超融合體系架構(gòu)（分布式，橫向和縱向擴(kuò)展）可在任何標(biāo)準(zhǔn)x86服務(wù)器上運(yùn)行將HDD/SSD池化為共享數(shù)據(jù)存儲(chǔ)提供企業(yè)級(jí)的高可用性、可擴(kuò)展性和性能基于策略的自動(dòng)化，滿(mǎn)足SLA，可按虛機(jī)甚至vmdk級(jí)別的顆粒度設(shè)置存儲(chǔ)策略與VMware產(chǎn)品體系深度集成,Overview,Virtual SAN Datastore,vSphere + Virtual SAN,,,,,,,,,,. . .,VMware VSAN,專(zhuān)為虛擬化環(huán)境

53、設(shè)計(jì)的超融合軟件（HCS）,,VMware VSAN 可隨時(shí)用于所有 vSphere 工作負(fù)載,VMware vSphere + Virtual SAN,,ROBO,,生產(chǎn)前調(diào)試,,管理,,DMZ,,,,,,,適用于虛擬機(jī)的最佳存儲(chǔ),,針對(duì) vSphere 優(yōu)化,,企業(yè)級(jí)恢復(fù)能力,,關(guān)鍵業(yè)務(wù)應(yīng)用就緒,VSAN 6.2 九大特性,79,VSAN 6.2的九大特性,80,第 4 代 Virtual SAN 具有重要的新功能特性,特性一和特性

54、二：去重和壓縮（提高空間效率）,僅支持全閃存按照磁盤(pán)組的級(jí)別，實(shí)現(xiàn)近線(xiàn)的去重和壓縮 提高空間效率磁盤(pán)組越大，去重比率越高去重和壓縮在集群級(jí)別激活當(dāng)數(shù)據(jù)從緩存層De-staging（刷新）到持久化層時(shí)實(shí)現(xiàn)去重，在去重后實(shí)現(xiàn)壓縮去重在緩存寫(xiě)確認(rèn)后執(zhí)行固定大小的塊去重 (4KB 數(shù)據(jù)塊)在VSAN Stretched Cluster和ROBO方式下也支持去重和壓縮,81,Beta,,esxi-01,esxi-02,esxi-0

55、3,vmdk,vmdk,,,,vSphere & Virtual SAN,vmdk,,,,,,,,,All Flash Only,去重（ Deduplication )原理， 壓縮(Compression)注意問(wèn)題,82,壓縮(Compression) 4KB is the block size for deduplication. For each unique 4k block compression would be

56、 performed and if the output block size is less than or equal to 2KB, a compressed block would be saved in place of the 4K block. If the output block size is greater than 2KB, the block would be written uncompressed and

57、tracked as such. The reason is to avoid block alignment issues, as well as reduce the CPU hit for decompressing the data which is greater than compression for data with low compression ratios. All of this data reduction

58、 is after the write acknowledgement. 15% at most less than 5% greater resource usage.,去重（ Deduplication ),特性三 糾刪碼： RAID-5 Erasure Coding,“FTT=1” 高可用性 ? RAID-53+1 (最少4臺(tái)主機(jī)，并非4的倍數(shù)，而是4臺(tái)或更多即可)1.33倍的開(kāi)銷(xiāo)，以往的開(kāi)銷(xiāo)是兩倍以往20GB數(shù)據(jù)消耗40G

59、B空間, 現(xiàn)在約為27GB可以實(shí)現(xiàn)在vmdk的顆粒度上，在VMware SPBM（基于存儲(chǔ)策略的管理）里設(shè)置不支持VSAN Stretched Cluster,83,RAID-5,,All Flash Only,特性三 糾刪碼： RAID-6 Erasure Coding,“FTT=2” 的高可用性 ? RAID-64+2 (最少6臺(tái)主機(jī))1.5倍的開(kāi)銷(xiāo)，以往的開(kāi)銷(xiāo)是3倍以往20GB數(shù)據(jù)消耗60GB空間, 現(xiàn)在約為30GB可

60、以實(shí)現(xiàn)在vmdk的顆粒度上，在SPBM里設(shè)置不支持VSAN Stretched Cluster,84,,All Flash Only,RAID-6,Erasure Coding (糾刪碼),85,K 是數(shù)據(jù)， M是糾碼。 K+M= 節(jié)點(diǎn)（磁盤(pán)數(shù)）,,Raid6,86,D+P+Q,87,特性三： VMware 存儲(chǔ)策略 里可按vmdk設(shè)置Erasure Coding,空間效率,88,顯著提高空間效率: 14倍！,89,,50%,與混合競(jìng)

61、爭(zhēng)產(chǎn)品相比，全閃存每 GB 成本減少,2 倍,14 倍,,14 倍,存儲(chǔ)效率，無(wú)折中,* 通過(guò)重復(fù)數(shù)據(jù)消除和壓縮而實(shí)現(xiàn)的改進(jìn)會(huì)因工作負(fù)載不同而異。 VDI 完整克隆測(cè)試的結(jié)果。,,特性四：IOPS限制（QoS）,90,New in 6.2,基于每個(gè)虛機(jī)或每個(gè)vmdk，能以可視化的圖形界面來(lái)設(shè)置IOPS的限制值一鍵即可設(shè)置消除noisy neighbor（相鄰干擾）的不利影響可以在vmdk的顆粒度上滿(mǎn)足性能的服務(wù)等級(jí)協(xié)議（SLA）

62、，在SPBM里設(shè)置在一個(gè)集群/存儲(chǔ)池，可以為不同虛機(jī)/vmdk，提供不同的性能，將原本可能相互影響的負(fù)載區(qū)分開(kāi)來(lái)用戶(hù)在圖形界面中，可以看到每個(gè)vmdk的IOPS值，并通過(guò)顏色(綠色,黃色,紅色)判斷實(shí)際IOPS與IOPS限制值的關(guān)系計(jì)算IOPS時(shí)，包括vmdk及其快照的讀寫(xiě)操作,,,,,,,,…,vSphere + Virtual SAN,vSphere & Virtual SAN,91,特性四： VMware 存儲(chǔ)策略

63、里可按vmdk設(shè)置IOPS Limit,注意：默認(rèn)IO塊大小是32K, 所以當(dāng)設(shè)置為500IOPS時(shí)，實(shí)際對(duì)說(shuō)64K塊來(lái)說(shuō)，只有250 IOPS,性能服務(wù)-提供圖形方式觀察,92,特性五： 支持純IPv6網(wǎng)絡(luò),概覽在僅有IPv6的模式下運(yùn)行。所有網(wǎng)絡(luò)通信都通過(guò)IPv6網(wǎng)絡(luò)通過(guò)圖形界面設(shè)置VSAN支持L2或L3組播通過(guò)HealthUI進(jìn)行管理/監(jiān)控支持IPv4 & IPv6 混合模式的升級(jí)好處滿(mǎn)足那些想遷往IPv6的

64、客戶(hù)需求 (例如，政府, 服務(wù)提供商)配合vSphere支持IPv6,VSAN network,VSAN network,VSAN network,支持純IPv4網(wǎng)絡(luò)或IPv6網(wǎng)絡(luò),New in 6.2,,,,vSphere & Virtual SAN,,Virtual SAN Datastore,New in 6.2,特性六： Software Checksum（軟件校驗(yàn)和）,94,概覽數(shù)據(jù)的端到端校驗(yàn)，檢測(cè)并解決靜默磁盤(pán)

65、錯(cuò)誤軟件校驗(yàn)和在集群級(jí)別默認(rèn)是開(kāi)啟的，可以通過(guò)存儲(chǔ)策略在vmdk級(jí)別關(guān)閉在后臺(tái)執(zhí)行磁盤(pán)掃描（Disk Scrubbing）如果通過(guò)校驗(yàn)和驗(yàn)證發(fā)現(xiàn)了錯(cuò)誤，則重建數(shù)據(jù)基于4K的塊大小采用CRC32算法（CPU開(kāi)銷(xiāo)?。┖锰幪峁└叩臄?shù)據(jù)完整性自動(dòng)檢測(cè)和解決靜默磁盤(pán)錯(cuò)誤（silent disk errors）,Virtual SAN,,95,特性六： VMware 存儲(chǔ)策略 里可按vmdk設(shè)置Software Checksum,

66、特性七：詳細(xì)的性能監(jiān)控集成到vSphere Web Client里,性能監(jiān)控,容量監(jiān)控,96,New in 6.2,性能無(wú)縫集成在vSphere Web Client里，提供歷史和實(shí)時(shí)的圖表，并且可設(shè)置時(shí)間范圍過(guò)濾的圖表。性能監(jiān)控允許從vCenter監(jiān)控現(xiàn)有的工作負(fù)載，包括宏觀視圖：集群延時(shí)、帶寬和IOPS）；以及細(xì)顆粒度的視圖：每個(gè)磁盤(pán)，每個(gè)磁盤(pán)組，每個(gè)物理盤(pán)（包括緩存層和持久化層），每個(gè)虛機(jī)，每個(gè)vmdk；以及緩存命中率。性能監(jiān)控

67、的數(shù)據(jù)，以分布式方式存放在VSAN上。,VSAN Performance Monitoring - Cluster wide Performance (IOPS, latency, Throughput),,VSAN Performance monitoring: Individual VSAN Host,,VSAN Performance Monitoring: Individual Disk,,Q1 2016 Roadmap,VSA

68、N Performance Monitoring: Individual Disk Group,,VSAN Performance Monitoring: Individual Virtual Machine,,Q1 2016 Roadmap,VSAN Performance Monitoring: Individual Virtual Disk,,特性八：健康檢查（Health Check）集成到vSphere Web Client內(nèi)