openstack镜像结合ceph存储后的一些远端操作方法和思考

发表于

随着ceph在线上更深入的使用，以及多机房的场景。以往虚拟机镜像修改上传的模式逐渐成为了负担。实际上，我们可以根据ceph存储的特性，将过去对镜像线下本地处理的操作改为直接在远端处理。

准备

1.镜像在ceph中存储的路径一般为 {pool_name}/{uuid}的形式，通常情况下该{uuid}和镜像的ID是相同的，为避免一些历史原因导致的镜像ID与ceph image uuid有差异，打开glance image-show中的location信息。

修改 glance-api.conf，添加如下内容，打开rbd路径的详情。

1
2
3
enable_v2_api =True
show_multiple_locations = True
filesystem_store_metadata_file = filePath

2.对准备操作glance中镜像的设备做libvirt同ceph的验证准备。

定义secret文件

1
2
3
4
5
6
7
cat > secret.xml <<EOF
<secret ephemeral='no' private='no'>
        <usage type='ceph'>
                <name>client.libvirt secret</name>
        </usage>
</secret>
EOF

libvirt添加secret配置

1
2
3
4
virsh secret-define --file secret.xml
#这里会生成一个uuid 用在下面命令的 --secret 后，以及xml里的auth
cat /etc/ceph/ceph.client.glance.keyring
sudo virsh secret-set-value --secret 453cf8e2-02b4-4744-9455-5544601bb043 --base64 AQBkGYZX/tuDMxAANVznwk/+MkrhsEBlZAJlLg==

对镜像操作的两个思路

1. qcow2镜像存储中转换格式，修改大小，并在glance中生成新镜像。

以老的镜像制作方式为基础

这里是一个习惯问题，如果读者对本文中的操作进行实验后其实很容易直接在存储中直接制作镜像，可以省去不少麻烦。

我们会生成一个3g大小，为了便于上传经过压缩（virt-sparsify --compress）和清理多余信息(virt-sysprep)后的镜像。

####将镜像上传到glance后，我们需要先拿到镜像对应的rbd地址。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
glance --os-image-api-version 2 image-show 79db316e-9012-4296-9226-dec141a1210c
+------------------+----------------------------------------------------------------------------------+
| Property         | Value                                                                            |
+------------------+----------------------------------------------------------------------------------+
| checksum         | d355054e1f038d4898fddd03b506ad1f                                                 |
| container_format | bare                                                                             |
| created_at       | 2016-09-23T02:09:29Z                                                             |
| direct_url       | rbd://5f3cb911-4f76-4421-a3fd-                                                   |
|                  | fcd2d7c5104a/images/e6c01758-b7ad-4097-9400-570cc1ceed43/snap                    |
| disk_format      | raw                                                                              |
| id               | e6c01758-b7ad-4097-9400-570cc1ceed43                                             |
| locations        | [{"url": "rbd://5f3cb911-4f76-4421-a3fd-                                         |
|                  | fcd2d7c5104a/images/e6c01758-b7ad-4097-9400-570cc1ceed43/snap", "metadata": {}}] |
| min_disk         | 0                                                                                |
| min_ram          | 0                                                                                |
| name             | imagetest-qcow2-20160923                                                            |
| owner            | 176e6938dadd45dcaa847d8242778321                                                 |
| protected        | False                                                                            |
| size             | 962461696                                                                        |
| status           | active                                                                           |
| tags             | []                                                                               |
| updated_at       | 2016-09-23T02:09:56Z                                                             |
| virtual_size     | None                                                                             |
| visibility       | public                                                                           |
+------------------+----------------------------------------------------------------------------------+

其中，location字段是这样的
[{"url": "rbd://5f3cb911-4f76-4421-a3fd-d2d7c5104a/images/e6c01758-b7ad-4097-9400-570cc1ceed43/snap", "metadata": {}}]

这个字段中我们只需要一小段内容：
images/e6c01758-b7ad-4097-9400-570cc1ceed43
在rbd中对应的是
pool_name/image_uuid

####转换镜像格式
raw的特性和在ceph中的优势在这里就不再复述了，具体操作如下。

1
2
3
4
5
#生成新的uuid
[]# uuidgen
b0b6bb99-7693-4614-b6f1-01b602d69f54
#转换qcow2倒raw
[]# qemu-img convert -O raw rbd:images/e6c01758-b7ad-4097-9400-570cc1ceed43 rbd:images/b0b6bb99-7693-4614-b6f1-01b602d69f54

####对rbd中的image扩容
qemu-img resize rbd:images/b0b6bb99-7693-4614-b6f1-01b602d69f54 50G

resize 完成后需要先boot一下，确认系统盘大小为50g。并提前完成resize2fs的操作。随后再进行一次清理操作。

之所以resize后要先boot一下是因为在我们的使用场景中，基础镜像生成的虚拟机根磁盘是固定不变的，为了免去每次开机时resize2fs对ceph后端的压力，故做此操作。读者们请酌情选择。

这里我们直接通过libvirt挂载glance中的image，磁盘设备在xml文件中的配置如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
<disk type='network' device='disk'>
  <driver name='qemu' type='raw' cache='writeback' discard='unmap'/>
  # username 为 ceph 中给 glance 授权的用户名
  <auth username='glance'>
  # 上文中生成的secret的uuid
    <secret type='ceph' uuid='453cf8e2-02b4-4744-9455-5544601bb043'/>
  </auth>
  #镜像在ceph中的地址
  <source protocol='rbd' name='rbd:images/b0b6bb99-7693-4614-b6f1-01b602d69f54'>
    <host name='10.10.10.84' port='6789'/>
    <host name='10.10.10.102' port='6789'/>
    <host name='10.10.10.110' port='6789'/>
  </source>
  <target dev='vda' bus='virtio'/>
  <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/>
</disk>

注意上面的auth

  • username 与线上不同，应为glance
  • uuid 为我们为glance创建的secret，通过 virsh secret-list 可以查看列表
  • name 为镜像地址，可以通过 glance --os-image-api-version 2 image-show {uuid} 查看,

完成以上步骤后即可继续操作

  • 开机并等待虚拟机resize2fs并进入操作系统
  • 可选择性的手动清理虚拟机内的日志等无用文件
  • 关机
  • 删除镜像中的其他复杂遗留信息

删除关机后遗留信息也是直接操作rbd

1
2
export LIBGUESTFS_BACKEND=direct
virt-sysprep -d {domain_name}

#####在glance中创建新镜像并指向我们前面初始化后的最终的rbd地址

由于glance中镜像指向的地址为实际镜像的快照，为了符合要求，我们也需要对上面操作过的镜像做快照处理。

1
2
3
4
对镜像创建snap
[]# rbd -p images snap create --snap snap-20160922 b0b6bb99-7693-4614-b6f1-01b602d69f54
保护snap，以免误删。
[]# rbd -p images snap protect --image b0b6bb99-7693-4614-b6f1-01b602d69f54 --snap snap

创建新镜像并将location指到我们新生成的snap上

1
glance image-create --id {NEW_UUID} --name {NEW_IMAGE_NAME} --store rbd --disk-format raw --container-format bare --location rbd://$(sudo ceph fsid)/images/b0b6bb99-7693-4614-b6f1-01b602d69f54/snap-20160922

至此整个过程完成

###在线修改glance中镜像
如果发现glance中的镜像内配置文件有问题怎么办？答案当然也是直接改。

这次我们利用guestfish来操作。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
guestfish 
Welcome to guestfish, the guest filesystem shell for
editing virtual machine filesystems and disk images.
Type: 'help' for help on commands
      'man' to read the manual
      'quit' to quit the shell
      
#添加需要 guestfish识别的rbd磁盘
#username为glance protocol类型为rbd 格式为raw secret密钥为ceph glance的keyring, 一般在 /etc/ceph/ceph.client.glance.keyring
><fs> add-drive images/b0b6bb99-7693-4614-b6f1-01b602d69f54 username:glance protocol:rbd format:raw secret:AQBkGYZX/tuDMxAANVznwk/+MkrhsEBlZAJlLg==
><fs> run
><fs> list-filesystems
/dev/sda1: ext4
><fs> mount /dev/sda1 /
#比如我们要修改开机磁盘挂载的配置
><fs> edit /etc/fstab
><fs> exit

再执行一次上文提到的glance指向新snap的操作。

1
2
3
4
5
6
7
8
9
nova image-list
# 看一下当前已有的snap
rbd -p images snap ls b0b6bb99-7693-4614-b6f1-01b602d69f54
# 创建snap
rbd -p images snap create --snap snap-20160924 b0b6bb99-7693-4614-b6f1-01b602d69f54
# 保护snap
rbd -p images snap protect --image b0b6bb99-7693-4614-b6f1-01b602d69f54 --snap snap-20160924
# 生成新镜像
glance --debug image-create --id {NEW_UUID} --name {NEW_IMAGE_NAME} --store rbd --disk-format raw --container-format bare --location rbd://$(sudo ceph fsid)/images/b0b6bb99-7693-4614-b6f1-01b602d69f54/snap-20160924

至此过程完成。

小记

使用ceph存储后对镜像的操作异常方便。
从基础镜像的生成，修改，镜像扩容，格式转换等，全部可以在远端完成。并且操作速度的体验要优于传统的在本地磁盘的操作。
上面介绍的步骤略显复杂，主要是为了清楚的介绍几种镜像操作的可能遇到情形和处理过程中对一些小细节的处理。读者完全可以根据自己的需求拼凑出适合自己的步骤。
另外上面这些步骤也可通过简单修改nova和glance或自家平台代码的形式，直接包装到虚拟机及镜像相关自动化流程中。在此本文只做基本方法的介绍，希望能够抛砖引玉，令读者们能在自己的生产环境中发现实际的应用方式。