ps:標題 紅色
? ? 命令? ? ? 粉色? ? ? ? ? ? ?
? ? 備注解釋? 藍色? ?
? ? 案例重點? 紅字黃底
第16章 Linux磁盤管理體系
16.7企業(yè)生產(chǎn)環(huán)境主流磁盤的相關信息對比
16.8.4 SSD固態(tài)磁盤與傳統(tǒng)機械磁盤優(yōu)劣勢對比
16.8.5 生產(chǎn)環(huán)境磁盤的選型和應用案例
16.8.5.2 企業(yè)生產(chǎn)工作中磁盤的類型
前言:思想
十大需求
1.生理需求:吃(食物)喝(水)拉撒性鲤孵,這是生活必備需求膘茎。
2.金錢需求:錢(物質(zhì)、禮品析藕、股東冀膝、汽車、房產(chǎn)等等)矿卑。
3.安全需求:人身安全(環(huán)境、食品安全)沃饶、健康保障(運動母廷、健身)。
4.情感需求:愛情糊肤、親親琴昆、友情、同窗情轩褐、哥們椎咧、戰(zhàn)友玖详、閨蜜(愛與被愛的需求)把介。
例如:技術小白如何搞定IT高手勤讽?搞定他的基本需求,就是你請教問題拗踢,他樂意給你解答脚牍。如果做到這個問題,你就必須要知道IT高手有什么需求巢墅?你滿足他們這些需求就OK诸狭。IT高手一般都是優(yōu)秀的行業(yè)人才,他們大多數(shù)的共性需求是:
(1)喜歡做事專業(yè)君纫、規(guī)范的人驯遇,哪怕他是技術小白。
? ? 不管是小白還是其他蓄髓,只要給人感受做事專業(yè)規(guī)范叉庐,就會有人愿意幫助你。
(2)喜歡做事有態(tài)度会喝、懂得感恩的人陡叠,哪怕他是技術小白。
(3)喜歡人品好肢执,做事踏實有責任心的人枉阵,哪怕他是技術小白。
(4)喜歡出手(發(fā)紅包预茄、請客兴溜、送禮物等等)相對大方的人,哪怕他是技術小白耻陕。
(5)喜歡漂亮美麗的女孩昵慌,哪怕他是技術小白。
5.重要需求:認知和格局中沒有色素質(zhì)淮蜈、禮貌斋攀、信念導致別人不會對你有這樣的需求,所以要滿足別人的重要性的需求特別重要梧田。
6.贊美和鼓勵:一般可以在大神寫的文章下面淳蔼、發(fā)的朋友圈下面多點贊和評論贊美,和同級以及下級的人交往中多鼓勵裁眯,多對人肯定鹉梨,將你真棒時常掛在嘴邊!
備注:把“但是”換成“同時”穿稳,鼓勵比埋怨更容易改進錯誤存皂。
你最不想改變的,往往是你最需要改變的。
7.成長需求:
8.美得需求:
9.自由需求:
10.好奇需求:
16. 磁盤
16.0重點:
1.磁盤接口類型旦袋。
2.常用的磁盤類型骤菠。
3.根據(jù)業(yè)務場景的磁盤選型(熱數(shù)據(jù)分層存儲)
16.1 什么是磁盤及磁盤的知識結構體系
磁盤:永久存放數(shù)據(jù)的
說明:硬盤和磁盤是對磁盤存儲系統(tǒng)同一個稱呼
圖解:
第一層次:Linux系統(tǒng)硬件層次(磁盤的內(nèi)外部結構以及機械磁盤的工作原理和讀寫原理)
第二層次:Raid和LVM邏輯層次(Raid及LVM知識,企業(yè)中的應用區(qū)別)
第三層次:分區(qū)層次(Linux下磁盤分區(qū)知識)
第四層次:文件系統(tǒng)層次(文件系統(tǒng)及格式化系統(tǒng)相關知識)
第五層次:掛載層次(被格式化后磁盤如何被應用)
第六層次:Linux系統(tǒng)下磁盤文件系統(tǒng)的等日常管理維護知識和實踐
16.2磁盤的歷史介紹(了解)
從1956年9月IBM像世界展示了第一臺磁盤存儲系統(tǒng)IBM 350 RAMAC 至今疤孕,磁盤存儲系統(tǒng)已經(jīng)歷了近半個世紀的發(fā)展商乎。經(jīng)歷了這么多年,磁盤的變化非常巨大祭阀。雖然最早的RAMAC容量只有5MB鹉戚,然而卻需要使用50個直徑為24英寸的磁盤。而我們現(xiàn)在的一塊容量高達1000GB的磁盤专控,僅僅只需要3張磁盤片(還是一塊3.5寸盤)即可抹凳。
16.2 磁盤的作用及特點
用途:儲存我們平時工作、學習伦腐、生活中的數(shù)據(jù)却桶。例如:照片、視頻蔗牡、工作文檔等颖系。
備注:數(shù)據(jù)是計算機的核心,工作數(shù)據(jù)不能丟失辩越,需要了解磁盤方方面面知識嘁扼,才能確保我們及客戶的數(shù)據(jù)完整。
16.3磁盤內(nèi)部相關名詞知識及詳細記憶要點
詳細記憶要點:
(1)一塊磁盤有2-14個盤面黔攒,每個盤面有兩個面趁啸,每個面對應一個讀寫磁頭,用磁頭號來區(qū)分盤面督惰,即盤面書就是磁頭數(shù)不傅,盤片數(shù)*2=磁頭數(shù)(盤面數(shù))。
(2)不同盤面的磁道被劃分為多個扇形區(qū)域赏胚,每個區(qū)域就是一個扇區(qū)(Sector)
(3)同一個盤面访娶,以盤片中心為圓心,每個不同半徑的圓形軌跡就是一個磁道(Track)
(4)不同盤面相同半徑的磁道組成一個圓柱面就是柱面(Cylinder)
(5)一個柱面包括多個磁道(這些磁道的半徑相同)觉阅,一個磁道包括多個扇區(qū)崖疤。
(6) 數(shù)據(jù)信息記錄可表示為:某磁頭成榜,某磁道(柱面)纠亚,某扇區(qū)。
16.4 磁盤內(nèi)部結構圖解
16.5磁盤接口類型
磁盤接口:磁盤與主機系統(tǒng)間的連接部件样眠。
作用:在磁盤緩存和主機內(nèi)存之間傳輸數(shù)據(jù)割笙。(決定性作用权烧,影響讀取效率)
分類:IDE(早期家用、部分服務器)、SATA般码、SCSI妻率、光纖FC通道(高端服務器,價格昂貴)
備注:家用市場和服務器市場SATA侈询、SAS串口磁盤舌涨,當前PC機磁盤的主流糯耍。
16.5.1 SAS磁盤與接口
SAS 磁盤與SAS接口:? SAS是新一代的scsi 技術扔字,和現(xiàn)在流行的SATA磁盤相同,都是采用串行技術已獲得更高的速度温技,并通過縮短鏈接接線?改善內(nèi)部空間革为。
SAS技術的優(yōu)勢:? 降低成本 、 傳輸性能更高舵鳞、 擴展性能更好 震檩、安裝更簡單、兼容性更好
16.5.2 SCSI磁盤與SCSI
SCSI(小型計算機系統(tǒng)接口)蜓堕,和IDE(ATA)是完全不同的接口抛虏,IDE接口是早期普通PC的標準接口,而SCSI并不是專門為磁盤設計的接口套才,是一種廣泛應用于小型機上的高速數(shù)據(jù)傳輸技術迂猴。
SCSI優(yōu)點:范圍廣、多任務背伴、帶寬大沸毁、CPU占用率低,以及熱插拔等有點傻寂,因較高的價格使得它很難如IDE磁盤般普及息尺。
? SCSI接口模擬圖
16.7企業(yè)生產(chǎn)環(huán)境主流磁盤的相關信息對比
企業(yè)生產(chǎn)環(huán)境主流磁盤的相關信息對比:
企業(yè)生產(chǎn)場景普及程度:SAS>SSD>SATA
單位容量對比性能和價格:SSD>SAS>SATA(一塊SSD和一塊SATA)
單位價格購買磁盤容量:SATA>SAS>SSD
16.7光纖通道
光纖通道(Fibre Channel),和SCSI接口一樣最初不是為磁盤設計開發(fā)的接口技術,是專門為網(wǎng)絡系統(tǒng)設計的疾掰,后因儲存系統(tǒng)對速度的需求搂誉,才逐漸應用到磁盤系統(tǒng)中。
來歷:為提高多次盤存儲系統(tǒng)的速度和靈活性才開發(fā)的静檬,它的出現(xiàn)提高了多磁盤系統(tǒng)的通信速度勒葱。
特性:熱插拔、高速帶寬巴柿、遠程連接凛虽、連接設備數(shù)量大等。
光纖通道是為在像服務器這樣的多次盤系統(tǒng)環(huán)境而設計广恢,能滿足高端工作站凯旋、服務器、海量存儲子網(wǎng)絡、外設間通過集線器至非、交換機和點對點連接進行雙向钠署、串行數(shù)據(jù)通訊等系統(tǒng)對搞數(shù)據(jù)傳輸率的要求。
16.8 SSD固態(tài)磁盤
固態(tài)磁盤是由控制單元和存儲單位
16.8.1固態(tài)磁盤的分類
存儲介質(zhì):
(1)采用閃存(FLASH芯片)作為存儲介質(zhì)
(2)采用DRAM作為存儲介質(zhì)
詳解:
(1)基于閃存(FLASH芯片)的固態(tài)磁盤荒椭,采用閃存(FLASH芯片)作為存儲介質(zhì)谐鼎,也就是我們常說的SSD。外觀:筆記本磁盤趣惠、為磁盤狸棍、存儲卡、U盤等樣式味悄。
優(yōu)點:可移動草戈、數(shù)據(jù)保護不受電源控制,能適應與各種環(huán)境
缺點:使用年限不高侍瑟,適合于個人用戶使用
(2)基于DRAM的固態(tài)硬盤唐片,采用DRAM作為存儲介質(zhì),目前應用范圍較窄涨颜。它仿效傳統(tǒng)磁盤的設計费韭、可被絕大部分操作新系統(tǒng)的文件系統(tǒng)工具進行卷設置和管理,并提供工業(yè)標準的PCI和FC接口用于連接主機和服務器庭瑰。
應用方式:SSD磁盤和SSD磁盤陣列
優(yōu)點:高性能存儲器星持,使用壽命長
缺點:需獨立電源來保護數(shù)據(jù)安全
16.8.2 SSD固態(tài)磁盤主流接口類型
16.8.3 SSD固態(tài)硬盤的優(yōu)缺點
數(shù)據(jù)備份是運維的第一要務
16.8.4 SSD固態(tài)磁盤與傳統(tǒng)機械磁盤優(yōu)劣勢對比
SSD相比傳統(tǒng)機械磁盤:
重要優(yōu)勢:隨機存取速度、功耗见擦、防震钉汗、重量方面優(yōu)勢很大,特別是存取性能鲤屡。
重要缺點:容量损痰、價格、寫入壽命酒来、數(shù)據(jù)恢復難卢未。
詳細看下表:
16.8.5 生產(chǎn)環(huán)境磁盤的選型和應用案例
16.8.5.1 生產(chǎn)工作中服務器的選型
? ? DELL,HP,IBM等,其中DELL,HP是互聯(lián)網(wǎng)公司的主流服務器堰汉,這兩個品牌的服務器綜合的性價比比較高辽社。百度很多用IBM的服務器。
16.8.5.2 企業(yè)生產(chǎn)工作中磁盤的類型
磁盤:
當前服務器市場:主流磁盤為SAS翘鸭、SATA、SSD硬盤。
(1)企業(yè)級SAS硬盤(默認):
企業(yè)里常見的SAS硬盤是15000轉/分(這里就是主軸的轉數(shù))。當前主流300G、600G、1000G和二,從具體的業(yè)務需求及性價比考慮废登,老師在工作中多用146G、300-600G的SAS硬盤,一般選6*300G,6*600G亡电,單盤容量不要太大,除非純備份!
滿足容量的基礎上盡量保持4快磁盤以上。
用途:用于提高生產(chǎn)線上的普通對外提供服務的業(yè)務服務器:
例如:生產(chǎn)線上的數(shù)據(jù)庫業(yè)務煌集、存儲業(yè)務喊废、圖片業(yè)務及相關高并發(fā)業(yè)務(web http,cache服務)栗弟,總的來說污筷,如果沒有特殊業(yè)務需求,SAS磁盤是生產(chǎn)環(huán)境首選的磁盤配置乍赫。
給客戶用瓣蛀,用SAS盤。
(2)企業(yè)級SATA硬盤:
企業(yè)級SATA硬盤雷厂,7200-10000轉/分惋增,常見的容量為1T、2T罗侯、4T器腋、6T。
優(yōu)點:容量性價比高钩杰,一般2T的SATA磁盤較佳纫塌。
從具體的業(yè)務需求及性價比考慮,老師工作中多用SATA磁盤做線下不提供服務的數(shù)據(jù)存儲或者并發(fā)業(yè)務訪問不是很大的業(yè)務應用讲弄,比如站點程序及數(shù)據(jù)庫措左、圖片的線下備份等。
選擇SATA理由:1.沒錢避除。2.數(shù)據(jù)量少怎披,數(shù)據(jù)不需要給用戶提供服務胸嘁。3.用于備份。
(3)SSD固態(tài)電子盤:
特點:容量小凉逛,價格貴性宏,速度快。
一般用于數(shù)據(jù)量小并且有超大規(guī)模高并發(fā)的業(yè)務(這不是唯一的辦法状飞,還可以通過磁盤加內(nèi)存緩存的技術方式解決這個大規(guī)模并發(fā)的問題)毫胜。
百度、騰訊诬辈、360核心業(yè)務都會采用SSD磁盤酵使,應用層也必須做各種緩存。
大公司如taobao焙糟,某些業(yè)務可能會根據(jù)數(shù)據(jù)的熱度來綜合使用分層存儲口渔,以達到性價比最佳的情況。80G SSD+500GSATA
16.8.5.3磁盤選購小結:
(1)線上的業(yè)務穿撮,用SAS磁盤缺脉。
(2)線下的業(yè)務,用SATA磁盤混巧,磁帶庫枪向。
(3)線上高并發(fā)勤揩、小容量的業(yè)務咧党,SSD磁盤。
(4)成本思想:根據(jù)數(shù)據(jù)的訪問熱度陨亡,智能分析分層存儲傍衡。SATA+SSD.
16.8.5.4 老男孩企業(yè)故障案例:
不要用SATA磁盤來做在線高并發(fā)服務的數(shù)據(jù)存儲或數(shù)據(jù)庫業(yè)務,這是血的教訓负蠕。
某公司采用SATA做數(shù)據(jù)庫的存儲盤蛙埂,結果導致數(shù)據(jù)庫連續(xù)宕機一個月。
5臺SATA盤RAID5
解決:重新買5臺遮糖,把磁盤從SATA(RAID5)換成SAS(RAID10)绣的。6個月沒事。
數(shù)據(jù)庫集群欲账,主庫選擇用SAS RAID10屡江,從庫SAS Raid0。當數(shù)據(jù)庫使用的引擎是MyISAM引擎赛不,改成Innodb引擎惩嘉。
備注:至少10-20個企業(yè)案例? ? ? 查主從數(shù)據(jù)庫
16.9不同類型磁盤的價格容量普及度對比(圖為15年,僅供參考)
16.7淘寶CDN緩存對象分級存儲策略案例
提出問題:
在存儲數(shù)據(jù)中踢故,18KB一下的對象數(shù)量占總數(shù)量的80%文黎,而其存儲量占總量不到40%惹苗;同時80%經(jīng)常被訪問的對象所占用的存儲空間不到總量的20%。
分析問題:
以上的問題意味著“熱點數(shù)據(jù)”(即訪問頻次高的內(nèi)容)需要更快的性能耸峭,而占的空間并不大桩蓉,而“冷數(shù)據(jù)”(訪問頻次低的內(nèi)容)所需存儲量很大,對性能要求不需要高劳闹。
解決問題:
因此触机,服務器引入分層存儲機制,單臺服務器(實際會多臺)的磁盤可由一塊80GB的SSD磁盤和兩塊500GB的SATA盤組成玷或。然后把“熱數(shù)據(jù)”存放在SSD盤上儡首,“冷數(shù)據(jù)”存放在SATA盤上,冷熱數(shù)據(jù)可以動態(tài)調(diào)整偏友,從而兼顧性能蔬胯、容量與成本。另:分層存儲調(diào)度軟件有淘寶開發(fā)位他。
上面的策略是高效氛濒,低成本方案,這是我們運維工作需要重視的鹅髓,實際工作中不可能不考慮成本舞竿,而無限制的去提升性能。
參考與http://server.51.com/News-318584.htm
16.7 網(wǎng)站架構不同角色服務器磁盤選型策略
例如:web server 如何配置磁盤容量和個數(shù)窿冯,負載均衡器如何配置容量和個數(shù)骗奖,存儲服務器,數(shù)據(jù)庫服務器醒串,監(jiān)控服務器等等执桌。
16.8 各大結構圖
16.2.1磁盤及盤片結構圖
16.2.2磁盤的磁頭結構圖
fdisk -l 查看磁盤以及對應的分區(qū)
[root@keyan~]#fdisk -l
Disk /dev/sda: 21.5 GB, 21474836480 bytes, 41943040 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk label type: dos
Disk identifier: 0x0000350b
? Device Boot? ? ? Start? ? ? ? End? ? ? Blocks? Id? System
/dev/sda1? *? ? ? ? 2048? ? ? 411647? ? ? 204800? 83? Linux
/dev/sda2? ? ? ? ? 411648? ? 2050047? ? ? 819200? 82? Linux swap / Solaris
/dev/sda3? ? ? ? 2050048? ? 41943039? ? 19946496? 83? Linux
C6
[root@oldboy?~]#fdisk?-l
Disk?/dev/sda:?21.5?GB,?21474836480?bytes
255?heads,?63?sectors/track,?2610?cylinders
Units?=?cylinders?of?16065?*?512?=?8225280?bytes
Sector?size?(logical/physical):?512?bytes?/?512?bytes
I/O?size?(minimum/optimal):?512?bytes?/?512?bytes
Disk?identifier:?0x000349ee
???Device?Boot??????Start?????????End??????Blocks???Id??System
/dev/sda1???*???????????1??????????26??????204800???83??Linux
Partition?1?does?not?end?on?cylinder?boundary.
/dev/sda2??????????????26?????????124??????786432???82??Linux?swap?/?Solaris
Partition?2?does?not?end?on?cylinder?boundary.
/dev/sda3?????????????124????????2611????19979264???83??Linux
[root@oldboy ~]# echo 512*63*2610*255|bc? (算磁盤容量? 備注:bc計算器)
21467980800
[root@oldboy?~]#?echo?512*63*2610*255/1000/1000
512*63*2610*255/1000/1000
[root@oldboy?~]#?echo?512*63*2610*255/1000/1000|bc
21467
[root@oldboy?~]#echo?512*63*2610*255/1000/1000/1000|bc
21
[root@oldboy?~]#echo?512?63?2610?255|awk?'{print?$1*$2*$3*$4/1000000000}'
13.3磁盤讀寫流程
磁盤的讀寫是按柱面讀寫的
尋道:從一個磁道到另一個磁道(磁盤原理是避免尋道,尋道效率低)
磁頭讀寫是電子信號