raid
指尖二进制 • 1 年前 • 563 次点击 •
RAID概念:
磁盘阵列(Redundant Arrays of Independent Disks,RAID),有“独立磁盘构成的具有冗余能力的阵列”之意。 磁盘阵列是由很多价格较便宜的磁盘,以硬件(RAID卡)或软件(MDADM)形式组合成一个容量巨大的磁盘组,利用多个磁盘组合在一起,提升整个磁盘系统效能。利用这项技术,将数据切割成许多区段,分别存放在各个硬盘上。 磁盘阵列还能利用同位检查(Parity Check)的观念,在数组中任意一个硬盘故障时,仍可读出数据,在数据重构时,将数据经计算后重新置入新硬盘中。
注:RAID可以预防数据丢失,但是它并不能完全保证你的数据不会丢失,所以大家使用RAID的同时还是注意备份重要的数据
RAID的创建有两种方式:软RAID(通过操作系统软件来实现)和硬RAID(使用硬件阵列卡);在企业中用的最多的是:raid1、raid5和raid10。不过随着云的高速发展,供应商一般可以把硬件问题解决掉。
RAID基本思想:把好几块硬盘通过一定组合方式把它组合起来,成为一个新的硬盘阵列组,从而使它能够达到高性能硬盘的要求
RAID有三个关键技术:
镜像:提供了数据的安全性
chunk条带:(块大小也可以说是条带的粒度),它的存在的就是为了提高I/O,提供了数据并发性
数据的校验:提供了数据的安全
Raid相对于单个磁盘优点:
容量:计算机发展初期,大容量硬盘价格非常高,而需要存储的数据量越来越大。
性能:CPU运算速度飞速提高,数据读写不应该成为计算机系统处理的瓶颈。
可靠性:信息时间,数据对企业和个人的中亚行越来越大,数据存储安全更需要保障
RAID-0工作原理
条带 (strping),也是我们最早出现的RAID模式
需磁盘数量:2块以上(大小最好相同),是组建磁盘阵列中最简单的一种形式,只需要2块以上的硬盘即可。
特点:成本低,可以提高整个磁盘的性能和吞吐量。RAID 0没有提供冗余或错误修复能力,速度快。
任何一个磁盘的损坏将损坏全部数据;磁盘利用率为100%。
RAID-1工作原理
mirroring(镜像卷),需要磁盘两块以上
原理:是把一个磁盘的数据镜像到另一个磁盘上,也就是说数据在写入一块磁盘的同时,会在另一块闲置的磁盘上生成镜像文件,(同步)
RAID 1 mirroring(镜像卷),至少需要两块硬盘,raid大小等于两个raid分区中最小的容量(最好将分区大小分为一样),数据有冗余,在存储时同时写入两块硬盘,实现了数据备份;
磁盘利用率为50%,即2块100G的磁盘构成RAID1只能提供100G的可用空间。
RAID-5工作原理
需要三块或以上硬盘,可以提供热备盘实现故障的恢复;只损坏一块,没有问题。但如果同时损坏两块磁盘,则数据将都会损坏。 空间利用率: (n-1)/n 2/3 如下图所示
奇偶校验信息的作用:
当RAID5的一个磁盘数据发生损坏后,利用剩下的数据和相应的奇偶校验信息去恢复被损坏的数据。
扩展:异或运算
是用相对简单的异或逻辑运算(相同为0,相异为1)
A值 | B值 | Xor结果 |
---|---|---|
0 | 0 | 0 |
1 | 0 | 1 |
0 | 1 | 1 |
1 | 1 | 0 |
嵌套RAID级别
RAID-10镜像+条带:工作原理
RAID 10是将镜像和条带进行两级组合的RAID级别,第一级是RAID1镜像对,第二级为RAID 0。比如我们有8块盘,它是先两两做镜像,形成了新的4块盘,然后对这4块盘做RAID0;当RAID10有一个硬盘受损其余硬盘会继续工作,这个时候受影响的硬盘只有2块
RAID硬盘失效处理
一般两种处理方法:热备和热插拔
热备:HotSpare
定义:当冗余的RAID组中某个硬盘失效时,在不干扰当前RAID系统的正常使用的情况下,用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘,及时保证RAID系统的冗余性
全局式:备用硬盘为系统中所有的冗余RAID组共享
专用式:备用硬盘为系统中某一组冗余RAID组专用
如下图所示:是一个全局热备的示例,该热备盘由系统中两个RAID组共享,可自动顶替任何一个RAID中的一个失效硬盘
热插拔:HotSwap
定义:在不影响系统正常运转的情况下,用正常的物理硬盘替换RAID系统中失效硬盘。
RAID-0-1-5-10搭建及使用-删除RAID及注意事项
RAID的实现方式
做硬件RAID,是在装系统前还是之后?
答:先做阵列才装系统,一般服务器启动时,有显示进入配置Riad的提示,比如:按下CTRL+L/H/M进入配置raid界面
硬RAID:需要RAID卡,我们的磁盘是接在RAID卡的,由它统一管理和控制。数据也由它来进行分配和维护;它有自己的cpu,处理速度快
软RAID:通过操作系统实现
Linux内核中有一个md(multiple devices)模块在底层管理RAID设备,它会在应用层给我们提供一个应用程序的工具mdadm,mdadm是linux下用于创建和管理软件RAID的命令。
raid5需要3块硬盘。那么使用4块硬盘,也可以做raid5。
实验环境:新添加11块硬盘,每块磁盘的作用如下:
磁盘达到sdz以后,名字为sdaa、sdab。
[root@localhost ~]# ls /dev/sd*
/dev/sda /dev/sda2 /dev/sdb /dev/sdd /dev/sdf /dev/sdh /dev/sdj /dev/sdl
/dev/sda1 /dev/sda3 /dev/sdc /dev/sde /dev/sdg /dev/sdi /dev/sdk
实验环境
raid种类 | 磁盘 | 热备盘 |
---|---|---|
raid0 | sdb、sdc | 0 |
raid1 | sdd、sde | sdf |
raid5 | sdg、sdh、sdi | sdj |
raid10 | 分区:sdk1、sdk2、sdk3、sdk4 | 0 |
注:工作中正常做raid全部是使用独立的磁盘来做的。为了节约资源,raid10以一块磁盘上多个分区来代替多个独立的磁盘做raid,但是这样做出来的raid没有备份数据的作用,因为一块磁盘坏了,这个磁盘上所做的raid也就都坏了。
创建raid0:实验环境
raid种类 | 磁盘 | 热备盘 |
---|---|---|
raid0 | sdb、sdc | 0 |
1:创建raid0
[root@localhost ~]# mdadm -C -v /dev/md0 -l 0 -n 2 /dev/sdb /dev/sdc
mdadm: chunk size defaults to 512K
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.
2:阵列信息
[root@localhost ~]# mdadm -Ds
ARRAY /dev/md0 metadata=1.2 name=foolcloud.cn:0 UUID=926f6a86:eaf29da3:14f2277f:a6db54c2
[root@localhost ~]# mdadm -D /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Fri Nov 2 09:14:20 2018
Raid Level : raid0
Array Size : 41910272 (39.97 GiB 42.92 GB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent
Update Time : Fri Nov 2 09:14:20 2018
State : clean
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Chunk Size : 512K #chunk是raid中最小的存储单位
Consistency Policy : none
Name : foolcloud.cn:0 (local to host foolcloud.cn)
UUID : 926f6a86:eaf29da3:14f2277f:a6db54c2
Events : 0
Number Major Minor RaidDevice State
0 8 16 0 active sync /dev/sdb
1 8 32 1 active sync /dev/sdc
3:生成配置文件
[root@localhost ~]# mdadm -Ds > /etc/mdadm.conf
4:对创建的RAID0进行文件系统格式化并挂载和测试能否写入文件
[root@localhost ~]# mkfs.xfs /dev/md0
meta-data=/dev/md0 isize=512 agcount=16, agsize=654720 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=10475520, imaxpct=25
= sunit=128 swidth=256 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=5120, version=2
= sectsz=512 sunit=8 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
[root@localhost ~]# mkdir /raid0
[root@localhost ~]# mount /dev/md0 /raid0/
[root@localhost ~]# df -Th /raid0/
文件系统 类型 容量 已用 可用 已用% 挂载点
/dev/md0 xfs 40G 33M 40G 1% /raid0
[root@localhost ~]# echo 123 > /raid0/a.txt
[root@localhost ~]# ll /raid0/a.txt
-rw-r--r--. 1 root root 4 11月 2 09:17 /raid0/a.txt
[root@localhost ~]# cat /raid0/a.txt
123
5:开机自动挂载
[root@localhost ~]# blkid /dev/md0
/dev/md0: UUID="4997e0a4-15cc-4b19-a663-bd86ab805211" TYPE="xfs"
[root@localhost ~]# echo "UUID=4997e0a4-15cc-4b19-a663-bd86ab805211 /raid0 xfs defaults 0 0" >> /etc/fstab
创建raid1:实验环境
raid种类 | 磁盘 | 热备盘 |
---|---|---|
raid1 | sdd、sde | sdf |
1)创建RAID1
2)添加1个热备盘
3)模拟磁盘故障,自动顶替故障盘
4)从raid1中移出故障盘
1:创建raid1
[root@localhost ~]# mdadm -C -v /dev/md1 -l 1 -n 2 -x 1 /dev/sdd /dev/sde /dev/sdf
mdadm: Note: this array has metadata at the start and
may not be suitable as a boot device. If you plan to
store '/boot' on this device please ensure that
your boot-loader understands md/v1.x metadata, or use
--metadata=0.90
mdadm: size set to 20955136K
Continue creating array? y #按y确认
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md1 started.
2:将raid信息保存到配置文件
[root@localhost ~]# mdadm -Dsv > /etc/mdadm.conf
3:查看raid阵列信息
[root@localhost ~]# mdadm -D /dev/md1
/dev/md1:
Version : 1.2
Creation Time : Fri Nov 2 10:49:44 2018
Raid Level : raid1
Array Size : 20955136 (19.98 GiB 21.46 GB)
Used Dev Size : 20955136 (19.98 GiB 21.46 GB)
Raid Devices : 2
Total Devices : 3
Persistence : Superblock is persistent
Update Time : Fri Nov 2 10:50:24 2018
State : clean, resyncing
Active Devices : 2
Working Devices : 3
Failed Devices : 0
Spare Devices : 1
Consistency Policy : resync
Resync Status : 41% complete
Name : foolcloud.cn:1 (local to host foolcloud.cn)
UUID : 61b5f251:9288d35f:abfcdbd6:91d29c5b
Events : 6
Number Major Minor RaidDevice State
0 8 48 0 active sync /dev/sdd
1 8 64 1 active sync /dev/sde
2 8 80 - spare /dev/sdf
4:在RAID设备上进行格式化:挂载:测试
[root@localhost ~]# mkfs.xfs /dev/md1
meta-data=/dev/md1 isize=512 agcount=4, agsize=1309696 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=5238784, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=2560, version=2
= sectsz=512 sunit=0 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
[root@localhost ~]# mkdir /raid1
[root@localhost ~]# mount /dev/md1 /raid1/
[root@localhost ~]# cp /etc/passwd /raid1/
[root@localhost ~]# ll /raid1/
总用量 4
-rw-r--r--. 1 root root 2107 11月 2 10:53 passwd
模拟损坏
下面模拟RAID1中数据盘/dev/sde出现故障,观察/dev/sdf备用盘能否自动顶替故障盘
[root@localhost ~]# mdadm /dev/md1 -f /dev/sde
mdadm: set /dev/sde faulty in /dev/md1
查看一下阵列状态信息
[root@localhost ~]# mdadm -D /dev/md1
/dev/md1:
Version : 1.2
Creation Time : Fri Nov 2 10:49:44 2018
Raid Level : raid1
Array Size : 20955136 (19.98 GiB 21.46 GB)
Used Dev Size : 20955136 (19.98 GiB 21.46 GB)
Raid Devices : 2
Total Devices : 3
Persistence : Superblock is persistent
Update Time : Fri Nov 2 10:55:57 2018
State : active, degraded, recovering
Active Devices : 1
Working Devices : 2
Failed Devices : 1
Spare Devices : 1
Consistency Policy : resync
Rebuild Status : 16% complete
Name : foolcloud.cn:1 (local to host foolcloud.cn)
UUID : 61b5f251:9288d35f:abfcdbd6:91d29c5b
Events : 22
Number Major Minor RaidDevice State
0 8 48 0 active sync /dev/sdd
2 8 80 1 spare rebuilding /dev/sdf #热备盘已经在同步数据,同步的过程有点慢,耐心等待。
1 8 64 - faulty /dev/sde
更新配置文件
[root@localhost ~]# mdadm -Dsv > /etc/mdadm.conf
查看数据是否丢失
[root@localhost ~]# ll /raid1/ #数据正常,没有丢失
重要的数据如:数据库:系统盘 (把系统安装到raid1的md1设备上,可以对md1做分区)
移除损坏的设备:
[root@localhost ~]# mdadm -r /dev/md1 /dev/sde
mdadm: hot removed /dev/sde from /dev/md1
[root@localhost ~]# mdadm -D /dev/md1
/dev/md1:
Version : 1.2
Creation Time : Fri Nov 2 10:49:44 2018
Raid Level : raid1
Array Size : 20955136 (19.98 GiB 21.46 GB)
Used Dev Size : 20955136 (19.98 GiB 21.46 GB)
Raid Devices : 2
Total Devices : 2
Persistence : Superblock is persistent
Update Time : Fri Nov 2 11:01:34 2018
State : active
Active Devices : 2
Working Devices : 2
Failed Devices : 0
Spare Devices : 0
Consistency Policy : resync
Name : foolcloud.cn:1 (local to host foolcloud.cn)
UUID : 61b5f251:9288d35f:abfcdbd6:91d29c5b
Events : 38
Number Major Minor RaidDevice State
0 8 48 0 active sync /dev/sdd
2 8 80 1 active sync /dev/sdf #已经没有热备盘了
添加一块新热备盘
[root@localhost ~]# mdadm -a /dev/md1 /dev/sde
mdadm: added /dev/sde
[root@localhost ~]# mdadm -D /dev/md1
/dev/md1:
Version : 1.2
Creation Time : Fri Nov 2 10:49:44 2018
Raid Level : raid1
Array Size : 20955136 (19.98 GiB 21.46 GB)
Used Dev Size : 20955136 (19.98 GiB 21.46 GB)
Raid Devices : 2
Total Devices : 3
Persistence : Superblock is persistent
Update Time : Fri Nov 2 11:02:40 2018
State : active
Active Devices : 2
Working Devices : 3
Failed Devices : 0
Spare Devices : 1
Consistency Policy : resync
Name : foolcloud.cn:1 (local to host foolcloud.cn)
UUID : 61b5f251:9288d35f:abfcdbd6:91d29c5b
Events : 39
Number Major Minor RaidDevice State
0 8 48 0 active sync /dev/sdd
2 8 80 1 active sync /dev/sdf
3 8 64 - spare /dev/sde
创建raid5:实验环境
raid种类 | 磁盘 | 热备盘 |
---|---|---|
raid5 | sdg、sdh、sdi | sdj |
1)创建RAID5, 添加1个热备盘,指定chunk大小为32K
-x或--spare-devicds= 指定阵列中备用盘的数量
-c或--chunk= 设定阵列的块chunk块大小 ,单位为KB
2)停止阵列,重新激活阵列
3)使用热备盘,扩展阵列容量,从3个磁盘扩展到4个
1:创建raid5
[root@localhost ~]# mdadm -C /dev/md5 -l 5 -n 3 -x 1 -c32 /dev/sdg /dev/sdh /dev/sdi /dev/sdj
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md5 started.
2:查看状态
[root@localhost ~]# mdadm -D /dev/md5
/dev/md5:
Version : 1.2
Creation Time : Fri Nov 2 14:04:41 2018
Raid Level : raid5
Array Size : 41910272 (39.97 GiB 42.92 GB)
Used Dev Size : 20955136 (19.98 GiB 21.46 GB)
Raid Devices : 3
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Fri Nov 2 14:04:48 2018
State : clean, degraded, recovering
Active Devices : 2
Working Devices : 4
Failed Devices : 0
Spare Devices : 2
Layout : left-symmetric
Chunk Size : 32K
Consistency Policy : resync
Rebuild Status : 8% complete
Name : foolcloud.cn:5 (local to host foolcloud.cn)
UUID : 5207b379:891901b1:6fd93b47:b1e71043
Events : 2
Number Major Minor RaidDevice State
0 8 96 0 active sync /dev/sdg
1 8 112 1 active sync /dev/sdh
4 8 128 2 spare rebuilding /dev/sdi
3 8 144 - spare /dev/sdj #热备盘
3:停止MD5阵列
[root@localhost ~]# mdadm -Dsv > /etc/mdadm.conf #停止前,一定要先保存配置文件
[root@localhost ~]# mdadm -D /dev/md5 #停止前,请确认数据已经同步完
Consistency Policy : resync #数据已经同步完
[root@localhost ~]# mdadm -S /dev/md5
mdadm: stopped /dev/md5
4:激活MD5阵列
[root@localhost ~]# mdadm -As
mdadm: /dev/md5 has been started with 3 drives and 1 spare.
5:扩展RAID5磁盘阵列
将热备盘增加到md5中,使用md5中可以使用的磁盘数量为4块
[root@localhost ~]# mdadm -G /dev/md5 -n 4 -c 32 #-G或--grow 改变阵列大小或形态
[root@localhost ~]# mdadm -Dsv > /etc/mdadm.conf #保存配置文件
备注:阵列只有在正常状态下,才能扩容,降级及重构时不允许扩容。对于raid5来说,只能增加成员盘,不能减少。而对于raid1来说,可以增加成员盘,也可以减少。
6:查看状态
[root@localhost ~]# mdadm -D /dev/md5
/dev/md5:
Version : 1.2
Creation Time : Fri Nov 2 14:04:41 2018
Raid Level : raid5
Array Size : 41910272 (39.97 GiB 42.92 GB) #发现新增加硬盘后空间没有变大,为什么?因为正在同步呢。
Used Dev Size : 20955136 (19.98 GiB 21.46 GB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Fri Nov 2 14:09:46 2018
State : clean, reshaping
Active Devices : 4
Working Devices : 4
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 32K
Consistency Policy : resync #一致性策略:再同步,表示已经同步完
Reshape Status : 17% complete #重塑状态:17%完成 ,等到100%,数据才同步完,同步完后会变
Delta Devices : 1, (3->4)
Name : foolcloud.cn:5 (local to host foolcloud.cn)
UUID : 5207b379:891901b1:6fd93b47:b1e71043
Events : 48
Number Major Minor RaidDevice State
0 8 96 0 active sync /dev/sdg
1 8 112 1 active sync /dev/sdh
4 8 128 2 active sync /dev/sdi
3 8 144 3 active sync /dev/sdj
Reshape Status : 3% complete #重塑状态:3%完成,等到100%, 数据才同步完,同步完后会变成:Consistency Policy : resync(一致性策略:再同步,表示已经同步完)
7:等一会,等所有数据同步完成后,查看md5空间大小:
[root@localhost ~]# mdadm -D /dev/md5
Array Size : 62865408 (59.95 GiB 64.37 GB)
Used Dev Size : 20955136 (19.98 GiB 21.46 GB)
创建RAID10:实验环境
raid种类 | 磁盘 | 热备盘 |
---|---|---|
raid10 | 分区:sdk1、sdk2、sdk3、sdk4 | 0 |
1:查看环境
[root@localhost ~]# ls /dev/sdb /dev/sdc /dev/sdd /dev/sde
/dev/sdb /dev/sdc /dev/sdd /dev/sde
2:创建RAID10
[root@localhost ~]# mdadm -Cv /dev/md10 -n 4 -l 10 -a yes /dev/sdb /dev/sdc /dev/sdd /dev/sde
mdadm: layout defaults to n2
mdadm: layout defaults to n2
mdadm: chunk size defaults to 512K
mdadm: size set to 20955136K
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md10 started.
3:对创建的RAID10进行文件系统格式化并挂载和测试能否写入文件
meta-data=/dev/md10 isize=512 agcount=16, agsize=654720 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0, sparse=0
data = bsize=4096 blocks=10475520, imaxpct=25
= sunit=128 swidth=256 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=5120, version=2
= sectsz=512 sunit=8 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
[root@localhost ~]# mkdir /raid10
[root@localhost ~]# mount /dev/md10 /raid10/
[root@localhost ~]# echo 123 > /raid10/a.txt
[root@localhost ~]# ls /raid10/
a.txt
[root@localhost ~]# cat /raid10/a.txt
123
4:自动挂载
[root@localhost ~]# echo "/dev/md10 /raid10 xfs defaults 0 0" >> /etc/fstab
5:查看属性。查看是否是40G。4块20G硬盘做成raid10空间为40G
[root@localhost ~]# mdadm -D /dev/md10
/dev/md10:
Version : 1.2
Creation Time : Fri Nov 2 16:33:32 2018
Raid Level : raid10
Array Size : 41910272 (39.97 GiB 42.92 GB)
Used Dev Size : 20955136 (19.98 GiB 21.46 GB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Fri Nov 2 17:15:13 2018
State : active
Active Devices : 4
Working Devices : 4
Failed Devices : 0
Spare Devices : 0
Layout : near=2
Chunk Size : 512K
Consistency Policy : resync
Name : foolcloud.cn:10 (local to host foolcloud.cn)
UUID : 407416c4:de1d6a63:83d48512:30cfc653
Events : 18
Number Major Minor RaidDevice State
0 8 16 0 active sync set-A /dev/sdb
1 8 32 1 active sync set-B /dev/sdc
2 8 48 2 active sync set-A /dev/sdd
3 8 64 3 active sync set-B /dev/sde
[root@localhost ~]# df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/sda3 10G 3.3G 6.8G 33% /
devtmpfs 474M 0 474M 0% /dev
tmpfs 489M 0 489M 0% /dev/shm
tmpfs 489M 7.2M 481M 2% /run
tmpfs 489M 0 489M 0% /sys/fs/cgroup
/dev/sda1 1014M 158M 857M 16% /boot
tmpfs 98M 12K 98M 1% /run/user/42
tmpfs 98M 0 98M 0% /run/user/0
/dev/md10 40G 33M 40G 1% /raid10
删除RAID所有信息及注意事项
[root@localhost ~]# umount /raid0 #如果你已经挂载raid,就先卸载。
[root@localhost ~]# mdadm -Ss #停止raid设备
[root@localhost ~]# rm -rf /etc/mdadm.conf #删除raid配置文件
[root@localhost ~]# mdadm --zero-superblock /dev/sdb #清除物理磁盘中的raid标识
[root@localhost ~]# mdadm --zero-superblock /dev/sdc #清除物理磁盘中的raid标识
参数:--zero-superblock : erase the MD superblock from a device. #擦除设备中的MD超级块