【ceph】Ceph集群与backup集群的互传配置
介绍,目前已经创建一个名为ceph的Ceph集群,和一个backup(单节点)Ceph集群,是的这两个集群的数据可以同步,做备份恢复功能
一、配置集群的相互访问
【资料图】
1.1 安装rbd mirror
rbd-mirror是一个新的守护进程,负责将一个镜像从一个集群同步到另一个集群
如果是单向同步,则只需要在备份集群上安装
如果是双向同步,则需要在两个集群上都安装
rbd-mirror需要连接本地和远程集群
每个集群只需要运行一个rbd-mirror进程,必须手动按章
[root@ceph5 ceph]# yum install rbd-mirror
1.2 互传配置文件
Ceph集群----->backu盘集群
[root@ceph2 ceph]# scp /etc/ceph/ceph.conf /etc/ceph/ceph.client.admin.keyring ceph5:/etc/ceph/
[root@ceph5 ceph]# ll -h
[root@ceph5 ceph]# chown ceph.ceph -R ./[root@ceph5 ceph]# ll
[root@ceph5 ceph]# ceph -s --cluster ceph
cluster: id: 35a91e48-8244-4e96-a7ee-980ab989d20d health: HEALTH_OK services: mon: 3 daemons, quorum ceph2,ceph3,ceph4 mgr: ceph4(active), standbys: ceph2, ceph3 osd: 9 osds: 9 up, 9 in data: pools: 2 pools, 192 pgs objects: 119 objects, 177 MB usage: 1500 MB used, 133 GB / 134 GB avail pgs: 192 active+clean
1.3 把配置文件从从端传到主端
[root@ceph5 ceph]# scp /etc/ceph/backup.conf /etc/ceph/backup.client.admin.keyring ceph2:/etc/ceph/
[root@ceph2 ceph]# ll
[root@ceph2 ceph]# chown -R ceph.ceph /etc/ceph/
[root@ceph2 ceph]# ll
[root@ceph2 ceph]# ceph -s --cluster backup
cluster: id: 51dda18c-7545-4edb-8ba9-27330ead81a7 health: HEALTH_OK services: mon: 1 daemons, quorum ceph5 mgr: ceph5(active) osd: 3 osds: 3 up, 3 in data: pools: 1 pools, 64 pgs objects: 5 objects, 133 bytes usage: 5443 MB used, 40603 MB / 46046 MB avail pgs: 64 active+clean
二、 配置镜像为池模式
如果是单向同步,则只需要在主集群修改,如果是双向同步,需要在两个集群上都修改,(如果只启用单向备份,则不需要在备份集群上开启镜像模式)
rbd_default_features = 125
也可不修改配置文件,而在创建镜像时指定需要启用的功能
2.1 创建镜像池
[root@ceph2 ceph]# ceph osd pool create rbdmirror 32 32
[root@ceph5 ceph]# ceph osd pool create rbdmirror 32 32
[root@ceph2 ceph]# yum -y install rbd-mirror
[root@ceph2 ceph]# rbd mirror pool enable rbdmirror pool --cluster ceph
[root@ceph2 ceph]# rbd mirror pool enable rbdmirror pool --cluster backup
2.2 增加同伴集群
需要将ceph和backup两个集群设置为同伴,这是为了让rbd-mirror进程找到它peer的集群的存储池
[root@ceph2 ceph]# rbd mirror pool peer add rbdmirror client.admin@ceph --cluster backup
[root@ceph2 ceph]# rbd mirror pool peer add rbdmirror client.admin@backup --cluster ceph
[root@ceph2 ceph]# rbd mirror pool info --pool=rbdmirror --cluster backup
[root@ceph2 ceph]# rbd mirror pool info --pool=rbdmirror --cluster ceph
[root@ceph2 ceph]# rbd mirror pool status rbdmirror
[root@ceph2 ceph]# rbd mirror pool status rbdmirror --cluster backup
2.3 创建RBD并开启journaling
在rbdmirror池中创建一个test镜像
[root@ceph2 ceph]# rbd create --size 1G rbdmirror/test
[root@ceph2 ceph]# rbd ls rbdmirror
在从端查看,为空并没有同步,是因为没有开启journing功能,从端没有开启mirror
[root@ceph2 ceph]# rbd ls rbdmirror --cluster backup
[root@ceph2 ceph]# rbd info rbdmirror/test
rbd image "test": size 1024 MB in 256 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.fbcd643c9869 format: 2 features: layering, exclusive-lock, object-map, fast-diff, deep-flatten flags: create_timestamp: Mon Mar 18 21:06:48 2019
[root@ceph2 ceph]# rbd feature enable rbdmirror/test journaling
[root@ceph2 ceph]# rbd info rbdmirror/test
rbd image "test": size 1024 MB in 256 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.fbcd643c9869 format: 2 features: layering, exclusive-lock, object-map, fast-diff, deep-flatten, journaling flags: create_timestamp: Mon Mar 18 21:06:48 2019 journal: fbcd643c9869 mirroring state: enabled mirroring global id: 0f6993f2-8c34-4c49-a546-61fcb452ff40 mirroring primary: true #主是true
2.4 从端开启mirror进程
[root@ceph2 ceph]# rbd mirror pool status rbdmirror
2.5 前台手动启动调试
[root@ceph5 ceph]# rbd-mirror -d --setuser ceph --setgroup ceph --cluster backup -i admin
2019-03-18 21:12:39.521126 7f3a7f7c5340 0 set uid:gid to 1001:1001 (ceph:ceph)2019-03-18 21:12:39.521150 7f3a7f7c5340 0 ceph version 12.2.1-40.el7cp (c6d85fd953226c9e8168c9abe81f499d66cc2716) luminous (stable), process (unknown), pid 4512019-03-18 21:12:39.544922 7f3a7f7c5340 1 mgrc service_daemon_register rbd-mirror.admin metadata {arch=x86_64,ceph_version=ceph version 12.2.1-40.el7cp (c6d85fd953226c9e8168c9abe81f499d66cc2716) luminous (stable),cpu=QEMU Virtual CPU version 1.5.3,distro=rhel,distro_description=Red Hat Enterprise Linux Server 7.4 (Maipo),distro_version=7.4,hostname=ceph5,instance_id=4150,kernel_description=#1 SMP Thu Dec 28 14:23:39 EST 2017,kernel_version=3.10.0-693.11.6.el7.x86_64,mem_swap_kb=0,mem_total_kb=1883532,os=Linux}2019-03-18 21:12:42.743067 7f3a6bfff700 -1 rbd::mirror::ImageReplayer: 0x7f3a50016c70 [2/0f6993f2-8c34-4c49-a546-61fcb452ff40] handle_init_remote_journaler: image_id=1037140e0f76, m_client_meta.image_id=1037140e0f76, client.state=connected
[root@ceph5 ceph]# systemctl start ceph-rbd-mirror@admin
[root@ceph5 ceph]# ps aux|grep rbd
ceph 520 1.6 1.5 1202736 29176 ? Ssl 21:13 0:00 /usr/bin/rbd-mirror -f --cluster backup --id admin --setuser ceph --setgroup ceph
2.6 从端验证
查看已经同步
[root@ceph5 ceph]# rbd ls rbdmirror
[root@ceph5 ceph]# rbd info rbdmirror/test
rbd image "test": size 1024 MB in 256 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.1037140e0f76 format: 2 features: layering, exclusive-lock, object-map, fast-diff, deep-flatten, journaling flags: create_timestamp: Mon Mar 18 21:12:41 2019 journal: 1037140e0f76 mirroring state: enabled mirroring global id: 0f6993f2-8c34-4c49-a546-61fcb452ff40 mirroring primary: false #从为false
现在相当于单向同步,
2.7 配置双向同步
主端手动启一下mirror
[root@ceph2 ceph]# /usr/bin/rbd-mirror -f --cluster ceph --id admin --setuser ceph --setgroup ceph -d
[root@ceph2 ceph]# systemctl restart ceph-rbd-mirror@admin
[root@ceph2 ceph]# ps aux|grep rbd
ceph 348407 1.0 0.4 1611988 17704 ? Ssl 21:19 0:00 /usr/bin/rbd-mirror -f --cluster ceph --id admin --setuser ceph --setgroup ceph
从端做主端,创建一个镜像:
[root@ceph5 ceph]# rbd create --size 1G rbdmirror/ceph5-rbd --image-feature journaling --image-feature exclusive-lock
[root@ceph5 ceph]# rbd info rbdmirror/ceph5-rbd
rbd image "ceph5-rbd": size 1024 MB in 256 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.103e74b0dc51 format: 2 features: exclusive-lock, journaling flags: create_timestamp: Mon Mar 18 21:21:43 2019 journal: 103e74b0dc51 mirroring state: enabled mirroring global id: c41dc1d8-43e5-44eb-ba3f-87dbb17f0d15 mirroring primary: true
[root@ceph5 ceph]# rbd ls rbdmirror
主端变从端
[root@ceph2 ceph]# rbd info rbdmirror/ceph5-rbd
rbd image "ceph5-rbd": size 1024 MB in 256 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.fbe541a7c4c9 format: 2 features: exclusive-lock, journaling flags: create_timestamp: Mon Mar 18 21:21:43 2019 journal: fbe541a7c4c9 mirroring state: enabled mirroring global id: c41dc1d8-43e5-44eb-ba3f-87dbb17f0d15 mirroring primary: false
查看基于池的同步信息
[root@ceph2 ceph]# rbd mirror pool status --pool=rbdmirror
查看image状态
[root@ceph2 ceph]# rbd mirror image status rbdmirror/test
test: global_id: 0f6993f2-8c34-4c49-a546-61fcb452ff40 state: up+stopped description: local image is primary last_update: 2019-03-18 21:25:48
三、基于镜像级别的双向同步
把池中的cephrbd1,作为镜像同步
[root@ceph2 ceph]# rbd ls
3.1 先为rbd池开启镜像模式
[root@ceph2 ceph]# rbd mirror pool enable rbd image --cluster ceph
[root@ceph2 ceph]# rbd mirror pool enable rbd image --cluster backup
3.2 增加同伴
[root@ceph2 ceph]# rbd mirror pool peer add rbd client.admin@ceph --cluster backup
[root@ceph2 ceph]# rbd mirror pool peer add rbd client.admin@backup --cluster ceph
[root@ceph2 ceph]# ceph osd pool ls
[root@ceph2 ceph]# rbd info cephrbd1
rbd image "cephrbd1": size 2048 MB in 512 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.fb2074b0dc51 format: 2 features: layering flags: create_timestamp: Sun Mar 17 21:23:52 2019
3.3 打开journaling
[root@ceph2 ceph]# rbd feature enable cephrbd1 exclusive-lock
[root@ceph2 ceph]# rbd feature enable cephrbd1 journaling
[root@ceph2 ceph]# rbd info cephrbd1
rbd image "cephrbd1": size 2048 MB in 512 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.fb2074b0dc51 format: 2 features: layering, exclusive-lock, journaling flags: create_timestamp: Sun Mar 17 21:23:52 2019 journal: fb2074b0dc51 mirroring state: disabled
3.4 开启镜像的mirror功能
[root@ceph2 ceph]# rbd mirror image enable rbd/cephrbd1
[root@ceph2 ceph]# rbd info rbd/cephrbd1
rbd image "cephrbd1":size 2048 MB in 512 objectsorder 22 (4096 kB objects)block_name_prefix: rbd_data.fb2074b0dc51format: 2features: layering, exclusive-lock, journalingflags: create_timestamp: Sun Mar 17 21:23:52 2019journal: fb2074b0dc51mirroring state: enabledmirroring global id: cfa19d96-1c41-47e3-bae0-0b9acfdcb72dmirroring primary: true
[root@ceph2 ceph]# rbd ls
3.5 从端验证
[root@ceph5 ceph]# rbd ls
同步成功
如果主挂掉,可以把从设为主,但是实验状态下,可以把主降级处理,然后把从设为主
3.6 降级处理
[root@ceph2 ceph]# rbd mirror image demote rbd/cephrbd1Image demoted to non-primary[root@ceph2 ceph]# rbd info cephrbd1rbd image "cephrbd1": size 2048 MB in 512 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.fb2074b0dc51 format: 2 features: layering, exclusive-lock, journaling flags: create_timestamp: Sun Mar 17 21:23:52 2019 journal: fb2074b0dc51 mirroring state: enabled mirroring global id: cfa19d96-1c41-47e3-bae0-0b9acfdcb72d mirroring primary: false[root@ceph5 ceph]# rbd mirror image promote cephrbd1Image promoted to primary[root@ceph5 ceph]# rbd info cephrbd1rbd image "cephrbd1": size 2048 MB in 512 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.1043836c40e format: 2 features: layering, exclusive-lock, journaling flags: create_timestamp: Mon Mar 18 21:38:48 2019 journal: 1043836c40e mirroring state: enabled mirroring global id: cfa19d96-1c41-47e3-bae0-0b9acfdcb72d mirroring primary: true #成为主,客户端就可以挂载到这里
3.7 池的升降级
[root@ceph2 ceph]# rbd mirror pool demote rbdmirrorDemoted 1 mirrored images[root@ceph2 ceph]# rbd mirror pool demote rbdmirrorDemoted 1 mirrored images[root@ceph2 ceph]# rbd info rbdmirror/ceph5-rbdrbd image "ceph5-rbd":size 1024 MB in 256 objectsorder 22 (4096 kB objects)block_name_prefix: rbd_data.fbe541a7c4c9format: 2features: exclusive-lock, journalingflags: create_timestamp: Mon Mar 18 21:21:43 2019journal: fbe541a7c4c9mirroring state: enabledmirroring global id: c41dc1d8-43e5-44eb-ba3f-87dbb17f0d15mirroring primary: false[root@ceph5 ceph]# rbd mirror pool promote rbdmirrorPromoted 1 mirrored images[root@ceph5 ceph]# rbd ls rbdmirrorceph5-rbdtest[root@ceph5 ceph]# rbd info rbdmirror/ceph5-rbdrbd image "ceph5-rbd": size 1024 MB in 256 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.103e74b0dc51 format: 2 features: exclusive-lock, journaling flags: create_timestamp: Mon Mar 18 21:21:43 2019 journal: 103e74b0dc51 mirroring state: enabled mirroring global id: c41dc1d8-43e5-44eb-ba3f-87dbb17f0d15 mirroring primary: true[root@ceph5 ceph]# rbd info rbdmirror/testrbd image "test": size 1024 MB in 256 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.1037140e0f76 format: 2 features: layering, exclusive-lock, object-map, fast-diff, deep-flatten, journaling flags: create_timestamp: Mon Mar 18 21:12:41 2019 journal: 1037140e0f76 mirroring state: enabled mirroring global id: 0f6993f2-8c34-4c49-a546-61fcb452ff40 mirroring primary: true
3.8 摘掉mirror
[root@ceph2 ceph]# rbd mirror pool info --pool=rbdmirrorMode: poolPeers: UUID NAME CLIENT 40e4fd11-5f9d-44b2-9f11-b57968be62cf backup client.admin [root@ceph2 ceph]# rbd mirror pool info --pool=rbdmirror --cluster backupMode: poolPeers: UUID NAME CLIENT ccb2faba-8108-454b-9c87-1a1bf292a76b ceph client.admin
[root@ceph5 ceph]# rbd mirror pool peer remove --pool=rbdmirror 761872b4-03d8-4f0a-972e-dc61575a785f --cluster backup
[root@ceph5 ceph]# rbd mirror image disable rbd/cephrbd1 --force
[root@ceph5 ceph]# rbd info cephrbd1
rbd image "cephrbd1": size 2048 MB in 512 objects order 22 (4096 kB objects) block_name_prefix: rbd_data.1043836c40e format: 2 features: layering, exclusive-lock, journaling flags: create_timestamp: Mon Mar 18 21:38:48 2019 journal: 1043836c40e mirroring state: disabled #已经关闭了镜像的mirror
Ceph的集群间相互访问备份配置完成!!!
博主声明:本文的内容来源主要来自誉天教育晏威老师,由本人实验完成操作验证,需要的博友请联系誉天教育(http://www.yutianedu.com/),获得官方同意或者晏老师(https://www.cnblogs.com/breezey/)本人同意即可转载,谢谢!
标签:
相关推荐:
最新新闻:
- 前沿资讯!哪个手机浏览器好?平台最好用的几款浏览器
- 天天通讯!苏宁6600万美元收购红孩子 母婴网购市场致命缺点曝光
- python、php、perl等密码管理工具——密码管理器
- 如何自学编程的?机械专业转java方向面经总结-热点
- 单复韵母有哪些?单韵母、鼻韵的韵母分别是哪些?_快看
- win10更新魔兽世界没反应怎么办?怎么解决?
- matlab 7安装序列号有哪些?Matlab7.0序列号大全:环球消息
- 【全球时快讯】为什么7805可输出5V电压?稳压集成7805的作用
- ST7920英文手册——12864内部资源介绍_焦点热议
- 电脑怎么取消开机密码?电脑取消开机密码的流程
- 麦兜响当当下载电影?麦兜响当当在线观看全集:天天速看料
- 全球新消息丨如何获取免费的Spire.Pdf.dll?使用免费的Spire.Pdf.dll打印无水印的PDF文件
- qq空间打不开怎么办?这几种方法教你解决|世界新消息
- 【ceph】Ceph集群与backup集群的互传配置
- 如何做一个论坛灌水机?java/HTTPClient/灌水机原理详解
- 每日报道:火星人太空计划:火星文键盘订阅信息服务条款
- 为什么自制脚本语言是编程语言的最高境界?《自制编程语言》郑钢著
- 软件企业ISO9000质量体系与CMM比较分析介绍【详解】 焦点要闻
- 抢购红米手机的方法有哪些?抢购方法和注意事项-世界快报
- 焦点信息:安卓7.0正式版怎么刷?ADBsideload刷机流程
- 女子超市遇到电动购物车:30分钟5块钱 只能成人骑 快资讯
- 当前速看:安卓手机开机如何加速?如何提高开机效率?
- 天天即时:三星r467重装系统教程 让你的电脑焕然一新
- 当前滚动:wcdma是什么意思?WCDMA是什么网络?详细介绍
- 如何删除别人在自己主页的访问记录?删除方法步骤
- 三星9018如何刷机?三星9018的刷机步骤_全球今日报
- 最新快讯!康佳手机型号有哪些?康佳手机型号大全介绍
- 道闸遥控器怎么对?道闸遥控器的使用方法和知识
- 北京工商登记怎么注册申请?北京工商登记app使用流程-全球通讯
- 微信怎么用医保缴费?微信医保缴费方法教程
- 飞利浦w635怎么刷机?飞利浦w635刷机教程详细步骤-全球今热点
- 孕妇可以使用打印机吗?孕妇用复印机的影响有哪些?
- 高德地图导航怎么开启速度最快?高德地图导航开启速度最快方法
- 讯息:dnf副职业哪个最赚钱?炼金术士这个副赚钱
- 天天热推荐:qq飞车网名大全-QQ飞车情侣名字
- 每日精选:12306汽车票提前多久开售?12306汽车票开售时间
- 数字电视调制器如何安装?数字电视调制器的安装方法介绍
- e派手机是杂牌手机吗?e派手机详情介绍
- 投影仪什么牌子好?市面上投影仪品牌有哪些?-焦点热讯
- 全系搭载突破性潜望长焦,OPPO Find X6 系列定档3月21日
- 苹果官方正式支持八位堂手柄|即时
- 秦岚手机壳冲上微博热搜榜第一
- 大学生23万网购凯迪拉克:开两月就冒烟了
- 快来抢!松下G7微单再度上架开售:价格比发布时便宜一半 仅需2398元-今日观点
- 《漫威SNAP》将推出新竞技模式“征服”:快报
- 部分玩家PS4更新后变砖!系统卡死完全不能使用
- 罗永浩任董事长的公司拟注销:锤子科技持股70% 环球报资讯
- 全球观热点:尼尔:《最后的生还者》HBO第二季已经在路上了
- 极米牵头制定国内首个投影机行业亮度标准CVIA再度打击亮度虚标
- 6699元,戴森空气净化耳机上架,既是降噪耳机,也是空气净化“口罩”:今日观点
- 6699元,戴森空气净化耳机上架,既是降噪耳机,也是空气净化“口罩”:今日观点
- 17999元起!英特尔至强W3400系列工作站处理器国行定价公布:当前速递
- 天天微动态丨约5837元起!MNT Pocket Reform迷你笔记本电脑发布:7英寸屏、Linux系统
- 世界快资讯丨ArrayList集合是什么?ArrayList集合的常用方法及练习
- 【天天快播报】电脑键盘各按键的作用是什么?常用的快捷键总结
- 网站iis php发布网站吗?PHP网站在IIS中发布的相关配置
- 九宫格记忆网开发背景及功能结构 九宫格记忆网开发方案 当前速看
- 微视频在计算机信息技术教学中的作用及特点 你知道多少? 热消息
- 不同种类的笔记本电脑键盘有哪些优缺点?笔记本键盘优缺点解析 世界快播报
- 怎么用安卓手机给u盘加密?安卓手机给u盘加密的方法
- 【数据分析】获取设备唯一标识符的方法:每日消息
- 焦点快报!如何用Google在线翻译引擎实现多国语言互译?详情介绍
- LOL服务器连接异常如何解决?LOL服务器连接异常的解决方法_环球信息
- 当前播报:realtekhdaudio装不上驱动的问题如何解决?解决方法步骤
- 【教程】Devteam最新破解工具终于出炉了
- 2021年国家开放大学计算机网络(本)试题及答案 世界观察
- 世界今日讯!感人的校园爱情故事——伤感日志分享
- 电脑端的explorer对话框为什么很慢?解决方法是什么?
- 《宫锁连城》剧情大曝光 琼瑶批于正抄袭《梅花烙》
- 速讯:北京移动动感地带到底是怎么收费的?详情介绍
- 如何挑选数码相机?数码相机的基本性能有哪些?:全球播报
- 热血无赖怎么使用计算机?Win7系统进不去热血无赖游戏如何解决?
- 世界消息!磁盘管理器里面看不到新硬盘怎么办?解决措施如下
- 今日热文:济宁生育津贴审核通过后多久到账?
- 即时焦点:尼尔官宣!《最后生还者》第二季已开始制作
- 《暗黑破坏神4》向系列前作致敬 更有暗黑味道 全球快看
- 世界微头条丨末日生存名作 《大灾变:黑暗之日》上架steam
- 环球百事通!《寂静岭2:重制版》给护士穿上黑丝 是因为原版露肉太多
- 首位女性艾滋病“治愈者”研究细节公布 脐带血中移植干细胞-信息
- 国际黄金价格逼近2000美元大关!接近历史高点
- 全球速讯:离开EA后 战地先生成立全新工作室TTK GAMES
- 《偶像大师 闪耀色彩》游改TV动画公开 2024年春开播
- 传闻称乐高赛车游戏《LEGO 2K Drive》正在开发中
- 沪深两市融资余额减少12.17亿元_全球观速讯
- 微信底栏新增“视频号”入口?腾讯回应绝了-世界速看