EulerOS V2.0SP5 工具使用指南文档版本 01 发布日期华为技术有限公司

Size: px

Start display at page:

Download "EulerOS V2.0SP5 工具使用指南文档版本 01 发布日期华为技术有限公司"

纭觉瓜尔佳
2 years ago
Views:

1 文档版本 01 发布日期华为技术有限公司

2 版权所有华为技术有限公司 2019 保留一切权利非经本公司书面许可, 任何单位和个人不得擅自摘抄复制本文档内容的部分或全部, 并不得以任何形式传播商标声明和其他华为商标均为华为技术有限公司的商标本文档提及的其他所有商标或注册商标, 由各自的所有人拥有注意您购买的产品服务或特性等应受华为公司商业合同和条款的约束, 本文档中描述的全部或部分产品服务或特性可能不在您的购买或使用范围之内除非合同另有约定, 华为公司对本文档内容不做任何明示或默示的声明或保证由于产品版本升级或其他原因, 本文档内容会不定期进行更新除非另有约定, 本文档仅作为使用指导, 本文档中的所有陈述信息和建议不构成任何明示或暗示的担保华为技术有限公司地址 : 深圳市龙岗区坂田华为总部办公楼邮编 : 网址 : 客户服务邮箱 : support@huawei.com 客户服务电话 : 文档版本 01 ( ) 版权所有华为技术有限公司 i

3 目录目录 1 Machine Image 制作指导安装 KIWI 版本要求安装 KIWI 及模板修改配置 EulerOS KIWI 模板 EulerOS KIWI 配置制作 Machine Image 使用命令制作 Machine Image 镜像文件格式转换 Mirror-yum 工具使用指导文档简介安装环境配置操作下载数据上传数据 Yum 镜像工具使用指导文档简介安装 Mirror-yum-server 使用 nginx 部署负载均衡 libhugetlbfs 使用指导简介约束限制使用环境配置接口描述使用样例文档版本 01 ( ) 版权所有华为技术有限公司 ii

4 1 Machine Image 制作指导 1 Machine Image 制作指导 1.1 安装 KIWI 1.2 修改配置 1.3 制作 Machine Image 1.1 安装 KIWI 版本要求安装 KIWI 及模板 1.2 修改配置各个发行版集成 KIWI 的版本不同, 因而各个版本的 KIWI 的特性功能有所差异这里制作 EulerOS Machine Image 要求 KIWI 的版本为 : 配置 yum repo, 参考 EulerOS 官方 repo 配置 : 通过命令, 安装 EulerOS kiwi 模板包 ( 会自动安装 kiwi 工具包 ): yum install -y kiwi-template-euleros EulerOS KIWI 模板 EulerOS kiwi 模板安装 ( 参考安装 KIWI 及模板 ) 之后, 配置文件存放在 /usr/share/kiwi/image/ 目录下配置模板结构如下 : [root@localhost myimage]# tree /usr/share/kiwi/image/euleros-2.5-jeos/ /usr/share/kiwi/image/euleros-2.5-jeos/ config.sh config.xml euleros-2.5-jeos.kiwi -> config.xml README root etc 文档版本 01 ( ) 版权所有华为技术有限公司 1

5 1 Machine Image 制作指导 default grub login.defs selinux config sysconfig authconfig firstboot network network-scripts ifcfg-lan0 udev rules.d 70-persistent-net.rules fastboot rpms 8 directories, 14 files [root@localhost myimage]# tree /usr/share/kiwi/image/vmxboot/euleros-2.5/ /usr/share/kiwi/image/vmxboot/euleros-2.5/ config.sh config.xml images.sh root include linuxrc preinit 1 directory, 6 files 修改配置文件请参考 kiwi 官方配置文件 : EulerOS KIWI 配置步骤 1 设置 root 账号密码修改 /usr/share/kiwi/image/euleros-2.5-jeos/config.xml 文件如下字段 : <users group="root"> <user password="xxxxxxx" pwdformat="plain" home="/root" name="root"/> </users> 可以直接明文设置密码, 示例如下 : <users group="root"> <user password="huawei@sys3" pwdformat="plain" home="/root" name="root"/> </users> Huawei@SYS3 表示设置的明文密码明文密码会有密码泄露的风险, 请用户谨慎操作也可以设置密文, 示例如下 : 请先使用 useradd / passwd 命令生成密文 HGH :~ # useradd test HGH :~ # passwd test Changing password for user test. New password: Retype new password: passwd: all authentication tokens updated successfully. HGH :~ # cat /etc/shadow grep "^test:" awk -F ":" '{print $2}' $6$q2fbgF1k$PxDuxvhlQX955mRjKy5JUDG1g/z/DfLrOxN/ Ag4udd0KQXCFhV8ZdSZU2vgDtN6V0NdtszyInCXn0An66ckNu/ HGH :~ # 把生成的密文填写到 password 字段, 并设置 pwdformat="encrypted" 文档版本 01 ( ) 版权所有华为技术有限公司 2

6 1 Machine Image 制作指导 <users group="root"> <user password="$6$q2fbgf1k$pxduxvhlqx955mrjky5judg1g/z/dflroxn/ Ag4udd0KQXCFhV8ZdSZU2vgDtN6V0NdtszyInCXn0An66ckNu/" pwdformat="encrypted" home="/root" name="root"/> </users> 制作完成之后建议删除掉配置文件中的密码, 避免泄露密文必须以 $6 开头, 以 sha512 算法生成密文步骤 2 设置网卡名修改 /usr/share/kiwi/image/euleros-2.5-jeos/root/etc/udev/rules.d/70-persistent-net.rules 文件 SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="?*", ATTR{dev_id}=="0x0", ATTR{type}=="1", KERNEL=="?*", NAME="lan0" 请把 lan0 修改为 eth0 另外, 您也可以添加多张网卡的配置记录如果不修改网卡名为 eth0, 第一张网卡会被命名为 lan0, 且启动制作的镜像后需要手动修改网卡配置文件如果有其他定制需求, 请参见 EulerOS KIWI 模板步骤 3 设置 repo 在 /usr/share/kiwi/image/euleros-2.5-jeos/config.xml 配置文件中, 修改或添加 <repository type='rpm-md'>repo-url</repository> 段, 且该配置文件中至少需要定义一个 <repository type='rpm-md'>repo-url</repository> 段示例如下 : <repository type="rpm-md"> <source path=" </repository> ---- 结束为对应的 repo 地址示例, 请用户根据实际情况进行配置 1.3 制作 Machine Image 使用命令制作 Machine Image 命令行使用 kiwi 工具制作虚拟机镜像 : kiwi --build euleros-2.5-jeos --set-repo iso:///root/euleros-v2.0sp5-x86_64-dvd.iso --add-repo -d /tmp/myimage --type vmx --set-repo, 可以是 yum 源, 也可以是 iso -d 参数, 指定制作目录 --add-repo, 使用该参数添加多个 repo 源文档版本 01 ( ) 版权所有华为技术有限公司 3

1 Machine Image 制作指导 iso:///root/euleros-v2.0sp5-x86_64-dvd.iso, 为对应的 repo 地址示例, 请用户根据实际情况进行配置制作 Machine Image 示例 1. 通过命令来制作 Machine Image, 如图 1: kiwi --build euleros-2.

2 镜像文件通过 1.3.1 使用命令制作 Machine Image 制作完之后, 镜像存放在 -d 指定的目录下, 本例中存放在 /tmp/myimage 目录 qcow2 格式镜像 :EulerOS-2.5.x86_64-1.0.

7 1 Machine Image 制作指导 iso:///root/euleros-v2.0sp5-x86_64-dvd.iso, 为对应的 repo 地址示例, 请用户根据实际情况进行配置制作 Machine Image 示例 1. 通过命令来制作 Machine Image, 如图 1: kiwi --build euleros-2.5-jeos --set-repo iso:///home/iso/euleros-2.5-x86_64.iso 图 1-1 制作 Machine Image 2. 命令完成后, 将在设置的输出目录里面生成镜像文件, 如图 2 图 1-2 镜像文件镜像文件通过使用命令制作 Machine Image 制作完之后, 镜像存放在 -d 指定的目录下, 本例中存放在 /tmp/myimage 目录 qcow2 格式镜像 :EulerOS-2.5.x86_ qcow2 raw 格式镜像 : EulerOS-2.5.x86_ raw 其他输出文件均可不用关注需要其他格式镜像请使用 qemu-img convert 命令转换 ( 不支持 zvhd) Mar-23 13:00:25 <1> : Initializing image system on: /tmp/myimage/build/image-rootdirectory '/var/run/screen' must have mode 777. failed Apr-13 13:04:14 <1> : Initializing image system on: /tmp/image/build/image-rootdirectory '/var/run/screen' must have mode 775. failed 如果出现上述报错, 请根据提示修改 /var/run/screen 目录权限为 777 或 775: chmod 777 /var/run/screen chmod 775 /var/run/screen 格式转换 KIWI 默认输出的 Machine Image 仅有开源的 RAW/QCOW2 格式,VHD 格式需要您使用 qemu-img convert 命令转换命令举例如下 : qemu-img convert O vpc EulerOS-2.5.x86_ raw EulerOS-2.5.x86_ vhd 文档版本 01 ( ) 版权所有华为技术有限公司 4

8 1 Machine Image 制作指导当前 KIWI 不支持输出 ZVHD 格式的 Machine Image 如果需要 ZVHD 格式, 需要 FusionCompute 提供的 qemu-img 程序进行转换命令举例如下 : qemu-img convert O zvhd EulerOS-2.5.x86_ raw EulerOS-2.5.x86_ zvhd 文档版本 01 ( ) 版权所有华为技术有限公司 5

9 2 Mirror-yum 工具使用指导文档 2 Mirror-yum 工具使用指导文档 2.1 简介 2.2 安装 2.3 环境配置 2.4 操作 2.1 简介 Mirror-yum 是一款基于 EulerOS 的数据同步工具, 它的主要功能是将 UDS 中的元数据下载到本地服务器, 同时也为 OBS 维护人员提供将本地服务器数据上传到 UDS 功能 UDS: 是 Universal Distributed Storage 简称, 中文解释统一分布式存储 OBS: 是 object storage service 简称, 中文解释对象存储服务桶 : 桶 (Bucket) 是对 OBS 中的一个存储空间的形象称呼, 是存储对象的容器 2.2 安装 1. 创建含有 yum 公共仓库地址的 repo 文件, 利用 vi 命令在 /etc/yum.repos.d/ 目录配置 EulerOS-base.repo 文件添加如下信息 : [base] name=euleros-2.0sp5 base baseurl= enabled=1 gpgcheck=1 gpgkey= KEYEulerOS 2. 配置完 repo 文件需要清空 cache 中原有的 yum 源信息, 并生成新的 yum 信息, 命令如下 : yum clean all yum makecache 3. 生成新的 yum 源信息后, 利用如下命令安装 mirror-yum 工具 : yum install mirror-yum 若打印信息如下, 表示 mirror-yum 软件安装成功 : Resolving Dependencies --> Running transaction check 文档版本 01 ( ) 版权所有华为技术有限公司 6

10 2 Mirror-yum 工具使用指导文档 ---> Package mirror-yum.noarch 0: will be installed --> Finished Dependency Resolution Dependencies Resolved =================================================================== Package Arch Version Repository Size =================================================================== Installing: mirror-yum noarch est1 4.8 k Transaction Summary =================================================================== Install 1 Package Total download size: 4.8 k Installed size: 2.7 k Is this ok [y/d/n]: y Downloading packages: Running transaction check Running transaction test Transaction test succeeded Running transaction Installing : mirroryum noarch 1/1 Verifying : mirroryum noarch 1/1 Installed: mirror-yum.noarch 0: Complete! 2.3 环境配置 Mirror-yum 工具依赖于 s3fs 工具, 若需将本地服务器数据上传到 UDS, 需要用户自行配置 IAM 用户访问密钥内容到 s3fs 的默认配置文件 /etc/passwd-s3fs 和 $HOME/.passwds3fs s3fs 默认配置文件的权限推荐设置为 600, 防止密钥内容被非授权用户访问将密钥内容存储在配置文件中存在安全风险, 建议用户在使用完上传 UDS 功能之后, 便将配置文件给删除 Mirror-yum 工具使用前需要调用一些环境变量, 这些变量需用户通过命令直接输入系统, 可配置环境变量信息如表 1 所示 : 表 2-1 环境变量配置环境变量 export UDS_BKT_NAME= export HOST_URL= export RSYNC_UP_DELETE=1 注释 UDS 桶名称 UDS 主机服务地址同步数据到 UDS 是否删除与本地无关数据 0: 否 1: 是 ( 默认 ) 文档版本 01 ( ) 版权所有华为技术有限公司 7

11 2 Mirror-yum 工具使用指导文档环境变量 export RSYNC_DOWN_DELETE=1 export UDS_TMP_MNT=/mnt/uds-mnt export UDS_DOWN_SYNC=0 export UDS_UP_SYNC=1 注释同步数据到本地是否删除与 UDS 无关数据 0: 否 1: 是 ( 默认 ) 本地挂载点 UDS, 默认为 /mnt/uds-mnt 是否同步 UDS 数据到本地 0: 否 1: 是 ( 默认 ) 是否同步本地数据到 UDS 0: 否 ( 默认 ) 1: 是无任何环境变量输入情况下直接启动 mirror-yum 工具, 默认以镜像同步方式, 将华为公共 yum 仓库中的全部数据同步到本地所有环境变量输入系统, 且未同步数据时不能断开连接, 否则环境配置失效建议经常同步数据且有固定 UDS 的用户可将环境变量保存在 /etc/profile 文件 2.4 操作下载数据将 UDS 数据向本地服务器同步只需配置 UDS 桶名和 UDS 主机服务地址信息的环境变量, 环境变量配置完成后, 启动 mirror-yum 工具, 命令如下 : mirror-yum /home/euleros /home/euleros/ 为本地存放数据目录示例, 用户可自行配置以 UDS 桶 euleros-yum-data 为数据源,/home/EulerOS 为存放数据目录同步数据示例步骤如下 : 1. 配置环境变量, 结果打印如下 : [root@repo4 ~]# export UDS_BKT_NAME=euleros-yum-data [root@repo4 ~]# export HOST_URL= : 查看 UDS 桶 euleros-yum-data 数据, 如图 2-1 所示 : 文档版本 01 ( ) 版权所有华为技术有限公司 8

12 2 Mirror-yum 工具使用指导文档图 2-1 查看桶数据上传数据 3. 同步数据, 显示打印结果如下,: ~]# ll /home/euleros/ total 0 [root@repo4 ~]# mirror-yum /home/euleros/ local repo path is /home/euleros/ sending incremental file list test.ps % 0.00kB/s 0:00:00 (xfer#1, to-check=0/2) sent 801 bytes received 31 bytes bytes/sec total size is 717 speedup is 0.86 sending incremental file list sent 41 bytes received 12 bytes bytes/sec total size is 717 speedup is [root@repo4 ~]# ll /home/euleros/ total root root 717 Apr 19 10:25 test.ps1 从上述打印信息可以看出 /home/euleros/ 目录在同步数据前为空, 同步数据后 / home/euleros/ 目录下同 euleros-yum-data 桶数据相同, 表示数据同步成功将本地服务器数据向 UDS 同步, 需配置 UDS 桶名 UDS 地址 AK 和 SK 等环境变量信息, 并且需配置数据同步方向, 完成后启动 mirror-yum 工具, 命令如下 : mirror-yum /home/euleros /home/euleros/ 为本地存放数据目录示例, 用户可自行配置以 /home/euleros 目录为数据源,euleros-yum-data 桶为数据存放地址同步数据示例步骤如下 : 1. 配置环境变量, 显示打印结果如下 : [root@repo4 ~]# export UDS_AK=AAAAAA # 请根据实际情况配置密钥 ID [root@repo4 ~]# export UDS_SK=BBBBBB # 请根据实际情况配置密钥 [root@repo4 ~]# export UDS_BKT_NAME=euleros-yum-data [root@repo4 ~]# export HOST_URL= :5080 [root@repo4 ~]# export UDS_DOWN_SYNC=0 [root@repo4 ~]# export UDS_UP_SYNC=1 2. 查看 UDS 桶 euleros-yum-data 数据, 如图 2-2 所示 : 文档版本 01 ( ) 版权所有华为技术有限公司 9

2 Mirror-yum 工具使用指导文档图 2-2 查看桶数据 3. 同步数据, 显示打印结果如下 : [root@repo4 ~]# ll /home/euleros/ total 16 -rw-------. 1 root root 4 Apr 19 14:25 test1.ps -rw-------. 1 root root 5 Apr 19 14:25 test2.

13 2 Mirror-yum 工具使用指导文档图 2-2 查看桶数据 3. 同步数据, 显示打印结果如下 : [root@repo4 ~]# ll /home/euleros/ total 16 -rw root root 4 Apr 19 14:25 test1.ps -rw root root 5 Apr 19 14:25 test2.ps -rw root root 8 Apr 19 14:25 test3.ps root root 717 Apr 19 10:25 test.ps1 [root@repo4 ~]# mirror-yum /home/euleros/ local repo path is /home/euleros/ sending incremental file list test.ps % 0.00kB/s 0:00:00 (xfer#1, to-check=3/5) test1.ps 4 100% 3.91kB/s 0:00:00 (xfer#2, to-check=2/5) test2.ps 5 100% 4.88kB/s 0:00:00 (xfer#3, to-check=1/5) test3.ps 8 100% 7.81kB/s 0:00:00 (xfer#4, to-check=0/5) sent 997 bytes received 88 bytes bytes/sec total size is 734 speedup is 0.68 sending incremental file list sent 91 bytes received 12 bytes bytes/sec total size is 734 speedup is 查看 UDS 桶 euleros-yum-data 数据, 如图 2-3 所示 : 图 2-3 同步后的桶数据从上述打印信息和图中可以看到 euleros-yum-data 桶在同步数据前只有一个文件, 同步数据后 /euleros-yum-data 桶内同 /home/euleros/ 目录数据相同, 表示数据同步成功文档版本 01 ( ) 版权所有华为技术有限公司 10

14 3 Yum 镜像工具使用指导文档 3 Yum 镜像工具使用指导文档 3.1 简介 3.2 安装 3.3 Mirror-yum-server 使用 3.4 nginx 部署负载均衡 3.1 简介 Yum 镜像工具是一款基于 EulerOS 的镜像仓库部署工具, 它的主要功能是将 UDS 中的 repo 数据同步到本地服务器, 同时在本地服务器配置开启 http 或 https 服务, 从而对外提供 yum 仓库服务本文还介绍了负载均衡服务器的部署方法, 为多台 yum 仓库服务器提供负载均衡 UDS: 是 Universal Distributed Storage 简称, 中文解释统一分布式存储 OBS: 是 object storage service 简称, 中文解释对象存储服务桶 : 桶 (Bucket) 是对 OBS 中的一个存储空间的形象称呼, 是存储对象的容器 3.2 安装 1. 创建含有 yum 公共仓库地址的 repo 文件, 利用 vi 命令在 /etc/yum.repos.d/ 目录配置 EulerOS-base.repo 文件添加如下信息 : [base] name=euleros-2.0sp5 base baseurl= repo/yum/2.x/os/x86_64/ enabled=1 gpgcheck=1 gpgkey= repo/yum/2.x/os/rpm-gpg-key-euleros 2. 配置完 repo 文件需要清空 cache 中原有的 yum 源信息, 并生成新的 yum 信息, 命令如下 : yum clean all yum makecache 文档版本 01 ( ) 版权所有华为技术有限公司 11

15 3 Yum 镜像工具使用指导文档 3. 生成新的 yum 源信息后, 利用如下命令安装 yum 镜像工具 : yum install mirror-yum-server 若打印信息如下, 表示 mirror-yum-server 软件安装成功 : Resolving Dependencies --> Running transaction check ---> Package mirror-yum-server.noarch 0: will be installed --> Processing Dependency: mirror-yum for package: mirror-yum-server noarch --> Running transaction check ---> Package mirror-yum.noarch 0: will be installed --> Finished Dependency Resolution Dependencies Resolved ============================================================================================= ========= Package Arch Version Repository Size ============================================================================================= ========= Installing: mirror-yum-server noarch base 7.9 k Installing for dependencies: mirror-yum noarch base 4.8 k Transaction Summary ============================================================================================= ========= Install 1 Package (+1 Dependent package) Total download size: 13 k Installed size: 8.1 k Is this ok [y/d/n]: y Downloading packages: (1/2): mirror-yum noarch.rpm 4.8 kb 00:00:00 (2/2): mirror-yum-server noarch.rpm 7.9 kb 00:00: Total 39 kb/s 13 kb 00:00:00 Running transaction check Running transaction test Transaction test succeeded Running transaction Installing : mirroryum noarch 1/2 Installing : mirror-yumserver noarch 2/2 Verifying : mirroryum noarch 1/2 Verifying : mirror-yumserver noarch 2/2 Installed: mirror-yum-server.noarch 0: Dependency Installed: mirror-yum.noarch 0: Complete! 文档版本 01 ( ) 版权所有华为技术有限公司 12

16 3 Yum 镜像工具使用指导文档 3.3 Mirror-yum-server 使用 Mirror-yum-server 使用, 具体操作步骤如下 : 步骤 1 修改 mirror-yum-server 配置文件 : # UDS bucket name export INPUT_UDS_BKT_NAME=euleros-yum # The entrypoint of UDS service export INPUT_HOST_URL=obs.myhwclouds.com # Rsync data to yum server with option "--delete" # # 0: keep extraneous files when rsync data to yum server # 1: delete extraneous files when rsync data to yum server export INPUT_RSYNC_DOWN_DELETE=1 # The port number of yum server for http export INPUT_HTTP_PORT=80 # The port number of yum server for https export INPUT_HTTPS_PORT=443 # The switch to enable http service # # 0: disable http service # 1: enable http service export INPUT_HTTP_ENABLE=1 # The switch to enable https service # # 0: disable https service # 1: enable https service export INPUT_HTTPS_ENABLE=0 # The absolute path to get the.crt file export FILE_CRT= # The absolute path to get the.key file export FILE_KEY= # The URL of base image, which is used to create docker container export BASE_IMAGE_URL= images/euleros-2.x-docker.x86_ tar.xz # Loop option on rsync process # # 0: Do rsync process once, then stop # 1: Do rsync process circling export INPUT_LOOP_OPTION=0 # Loop rate on rsync process # # LOW: 24 hours # MID: 6 hours # HIGH: 1 hour export INPUT_LOOP_RATE=HIGH 请用户根据实际情况, 根据表 1 中的环境变量进行配置 : 文档版本 01 ( ) 版权所有华为技术有限公司 13

17 3 Yum 镜像工具使用指导文档表 3-1 环境变量配置环境变量名 INPUT_UDS_BKT_NAME INPUT_HOST_URL INPUT_RSYNC_DOWN_DELETE INPUT_HTTP_PORT INPUT_HTTPS_PORT INPUT_HTTP_ENABLE INPUT_HTTPS_ENABLE FILE_CRT FILE_KEY 注释同步数据所在 UDS 桶的桶名, 默认为公共仓库所在 UDS 桶同步数据所在 UDS 入口地址, 默认为公共仓库所在 UDS 入口地址完全同步配置项 1: 同步目录下, 删除额外数据, 保持与 UDS 镜像一致 0: 同步目录下仅新增, 不删除额外数据配置 HTTP 服务在宿主机上的端口号配置 HTTPS 服务在宿主机上的端口号 HTTP 服务使能开关 0: 关闭 1: 开启 HTTPS 服务使能开关 0: 关闭 1: 开启证书文件绝对路径, 尽在 HTTPS 服务使能下启用秘钥文件绝对路径, 尽在 HTTPS 服务使能下启用 BASE_IMAGE_URL 容器基础镜像 url INPUT_LOOP_OPTION INPUT_LOOP_RATE 周期同步配置选项 0: 只同步一次就停止 1: 循环同步同步周期选项, 尽在周期同步配置开启时有效 LOW:24 小时同步一次 MID:6 小时同步一次 HIGH:1 小时同步一次文档版本 01 ( ) 版权所有华为技术有限公司 14

18 3 Yum 镜像工具使用指导文档 mirror-yum-server 配置文件路径为 etc/mirror-yum-server-1.0.0/mirror-yum-server.conf,root 用户拥有读写权限, 其他用户仅有读权限 ; 配置项缺省状态下指向华为公共 yum 仓库所在 UDS 桶, 做单次同步 mirror-yum-server 工具利用 nginx 部署 http 和 https 服务用户如要开启 https 服务, 首先需要提供证书和秘钥文件, 在配置文件中指明文件的绝对路径, 本工具不提供证书文件,SSL 加密协议仅支持 TLSv1.1 TLSv1.2 证书和秘钥文件如果出现缺损或不匹配,nginx 将无法在容器内正常启动, 因此 http 和 https 服务也不会开启, 容器 yum-repo 状态将显示为 Exited 步骤 2 启动 mirror-yum-server 服务 : cd /opt/mirror-yum-server-1.1.0/./mirror-yum-server.sh 若显示如下信息, 表示 mirror-yum-server 服务成功完成 :... // 部分打印内容省略 Starting yum-data Starting yum-repo Starting yum-s3fs Done. 步骤 3 成功创建 3 个容器, 通过命令查看容器状态 : docker ps -a 如下显示三个容器中有两容器状态为 up, 一个容器状态为 exited: CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES cbd12bd77057 mirroryumserver100_yum_repo "/nginx_root_conf.sh " About a minute ago Up About a minute :8086->80/tcp yum-repo fe491080e95f mirroryumserver100_s3fs-rsync "/mirror-yum.sh /srv/" About a minute ago Up About a minute 80/tcp yum-s3fs b8e0f5accd70 mirroryumserver100_yum-data-volume "echo 'create a stati" About a minute ago Exited (0) About a minute ago yum-data yum-data 容器主要作用是提供静态存储卷, 存放同步下来的数据, 显示状态为 exited; yum-s3fs 容器主要作用是挂载 UDS 桶, 同步桶中数据到容器中 ; 当配置文件中周期同步配置项为使能时, 该容器将始终保持 up 状态, 否则, 该容器将会在完成一次同步后停止, 进入 exited 状态 yum-repo 容器按照配置文件中的选项, 对外提供 http 和 https 服务, 指向静态存储卷, 始终保持 up 状态步骤 4 在容器 yum-s3fs 同步期间, 可通过以下命令查看详情 : docker logs -f yum-s3fs 若显示如下, 表示容器 yum-s3fs 同步数据完毕 : ict/site-euleros/euleros/repo/yum/os/base/2.5/x86_64/packages/libtasn i686.rpm % 1.24MB/s 0:00:00 (xfer#2188, to-check=0/2200) ict/site-euleros/euleros/repo/yum/os/base/2.5/x86_64/repodata/ sent bytes received bytes bytes/sec total size is speedup is 1.00 sending incremental file list sent bytes received 23 bytes bytes/sec total size is speedup is 步骤 5 确认 repo 服务正常访问, 如图 1 : 文档版本 01 ( ) 版权所有华为技术有限公司 15

3 Yum 镜像工具使用指导文档图 3-1 确认 repo 服务本示例为访问 http 服务, 访问地址为 : 本地服务器 IP 地址加配置项中的端口地址步骤 6 重启服务 mirror-yum-server 工具支持服务运行中重启, 用户如果在重启服务前修改了配置文件, 服务重启后会按照配置文件的最新配置加载 cd /opt/mirror-yum-server-1.1.0/.

19 3 Yum 镜像工具使用指导文档图 3-1 确认 repo 服务本示例为访问 http 服务, 访问地址为 : 本地服务器 IP 地址加配置项中的端口地址步骤 6 重启服务 mirror-yum-server 工具支持服务运行中重启, 用户如果在重启服务前修改了配置文件, 服务重启后会按照配置文件的最新配置加载 cd /opt/mirror-yum-server-1.1.0/./mirror-yum-server.sh 重启过程如下所示 : [root@repo mirror-yum-server-1.0.0]#./mirror-yum-server.sh use default repo path. base_image exist Launching mirror-yum-server Stopping yum-s3fs... done Stopping yum-repo... done Starting yum-data Recreating yum-s3fs Starting yum-repo Done. [root@repo2 mirror-yum-server-1.0.0]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 200fe986455b mirroryumserver100_s3fs-rsync "/mirror-yum.sh /srv/" 3 seconds ago Up 2 seconds 80/tcp yum-s3fs ff5dcab83ea0 mirroryumserver100_yum_repo "/yum-repo/nginx_root" 2 days ago Up 3 seconds :80->80/tcp, :443->443/tcp yum-repo https 服务支持证书文件重新加载, 用户只需将配置文件中证书和秘钥文件的配置路径修改为新证书的绝对路径, 再执行上述操作即可 ---- 结束文档版本 01 ( ) 版权所有华为技术有限公司 16

20 3 Yum 镜像工具使用指导文档 3.4 nginx 部署负载均衡多台 repo 服务器形成集群, 需要一台反向代理服务器提供负载均衡该功能由 nginx 提供 1. nginx 安装和配置公共 repo 仓库中包含 nginx 工具, 直接通过 yum 安装即可, 操作如下 : yum install y nginx 如下显示, 表示 nginx 安装成功 : Resolving Dependencies --> Running transaction check ---> Package nginx.x86_64 0: will be installed --> Finished Dependency Resolution Dependencies Resolved ============================================================================================= ========= Package Arch Version Repository Size ============================================================================================= ========= Installing: nginx x86_ base 376 k Transaction Summary ============================================================================================= ========= Install 1 Package Total download size: 376 k Installed size: 1.1 M Downloading packages: nginx x86_64.rpm 376 kb 00:00:01 Running transaction check Running transaction test Transaction test succeeded Running transaction Installing : nginx x86_64 1/1 Verifying : nginx x86_64 1/1 Installed: nginx.x86_64 0: Complete! 2. 配置 /etc/nginx/nginx.conf: user root; worker_processes auto; error_log /var/log/nginx/error.log warn; pid /var/run/nginx.pid; events { worker_connections 1024; } http { include /etc/nginx/mime.types; default_type application/octet-stream; 文档版本 01 ( ) 版权所有华为技术有限公司 17

21 3 Yum 镜像工具使用指导文档 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; access_log /var/log/nginx/access.log main; sendfile on; keepalive_timeout 65; upstream test.repo.com { server :8086; server :8086; } # 负载均衡指向的 repo1, 需要用户配置 # 负载均衡指向的 repo2, 需要用户配置 server { listen 80; server_name localhost; } location / { root html; index index.html index.htm; proxy_pass proxy_set_header X-Real-IP $remote_addr; client_max_body_size 100m; } } 3. 启动 nginx 服务 nginx 如果服务器已经安装 nginx, 为确保修改后的 nginx 配置能够正确导入, 可以先尝试关闭 nginx 后再开启命令如下 nginx s stop nginx 图 3-2 web 查看结果如果 nginx 正常开启, 浏览器却无法访问, 请确保服务器 80 端口已加入 iptable, 尝试如下操作 : iptables -I INPUT -p tcp --dport 80 -j ACCEPT 负载均衡服务器作为 repo 源的入口服务器, 可以直接配置为 repo 源地址, 也可通过 web 服务器访问文档版本 01 ( ) 版权所有华为技术有限公司 18

22 4 libhugetlbfs 使用指导 4 libhugetlbfs 使用指导 4.1 简介 4.2 约束限制 4.3 使用 4.1 简介当运行内存需求量较大的应用程序时, 大页 hugetlb 利用较大分页页面 (2M 等 ) 较少 TLB Miss 和缺页中断, 从而大大提升应用程序的性能 EulerOS 目前通过 libhugetlbfs 提供用户态接口, 对目标程序进行大页管理 4.2 约束限制使用非共 d 享映射时, 会自动删除挂载大页目录下对应的文件, 页面会在程序退出时自动释放使用共享映射时 ( 仅代码段支持共享映射 ), 不会自动删除大页目录对应文件, 且程序退出不会自动释放代码段页面, 该机制是为了实现多进程实例共享一个代码段功能使用后, 需手动删除大页目录对应文件来释放其余资源本特性以文件名区分二进制如果使用了代码段共享映射, 所以禁止同名的不同程序 ( 或修改了内容的二进制程序 ) 使用共享代码段映射由于使用 libhugetlbfs 库作为实现, 该库含有的其他大页功能 ( 无关数据段代码段映射的功能 ) 不作和技术支撑 4.3 使用环境配置产品编译时需添加以下链接参数进行特殊对齐处理 : -Wl,-zcommon-page-size=0x Wl,-zmax-page-size=0x Wl,-Ttext-segment=0x 在目标环境上需要设置如下 : 文档版本 01 ( ) 版权所有华为技术有限公司 19

23 4 libhugetlbfs 使用指导接口描述 1. 配置大页数 echo x > /proc/sys/vm/nr_hugepages 2. EulerOS 一般会自动挂载大页于 /dev/hugetlbfs/ 目录之下, 可以通过 mount grep huge 进行查看 ; 若无挂载, 可使用如下命令手动将 hugetlbfs 挂载于所需要的地点 : mount -t hugetlbfs nodev /mnt/hugetlbfs 3. 配置 libhugetlbfs 环境变量 export HUGETLB_ELFMAP='R:W', 该项表示数据段代码段 ( 含 BSS) 都映射为大页 export LD_LIBRARY_PATH='./', 该项指定 libhugetlbfs.so 所在目录为当前目录 nr_hugepages 接口接口位置功能描述输入格式输出格式 /proc/sys/vm/nr_hugepages Linux 内核提供的一个配置大页数目的接口 echo x > /proc/sys/vm/nr_hugepages 其中,x 为配置大页数目的数值, 取值范围在 0 0UL cat /proc/sys/vm/nr_hugepages 返回值 1. 成功 : 返回 0 2. 失败 : 返回错误码注意事项预设置的大页数如果大于系统空闲的大页数,nr_hugepages 值等于可找到的空闲大页数 HUGETLB_VERBOSE 接口位置功能描述输入参数输出参数设置于 env 环境变量中提供 libhugetlbfs 库相关信息的打印等级, 取值范围为 1-99, 默认为 1 则不进行打印, 若为其他值, 则视为默认值 1 export HUGETLB_VERBOSE=x 其中 x 取值为 1-99 NA 返回值成功 : 返回 0 失败 : 返回错误原因以及错误码注意事项使用前若无此参数设置则不会有 libhugetlbfs 库的相关打印, 但基本大页分配功能正常 HUGETLB_ELFMAP 接口位置功能描述设置于 env 环境变量中指定将对应的段 ( 数据段代码段 ) 映射到大页文档版本 01 ( ) 版权所有华为技术有限公司 20

24 4 libhugetlbfs 使用指导输入参数输出参数 1. export HUGETLB_ELFMAP= R Read-only segments 仅代码段映射大页 2. export HUGETLB_ELFMAP= W Writable segments 仅数据段映射大页 3. export HUGETLB_ELFMAP= R:W ALL segments 代码段数据段映射大页 4. export HUGETLB_ELFMAP= no No segments 不映射大页 NA 返回值成功 : 返回 0 失败 : 返回错误原因以及错误码注意事项使用前必须在设置该环境变量, 若无设置则 hugetlb 不生效 HUGETLB_SHARE 接口位置功能描述输入参数输出参数设置于 env 环境变量中共享代码段大页 ( 共享同名程序的代码段来节省大页内存的消耗 ) 1. export HUGETLB_SHARE= 1 开启共享功能, 只有只读段会被映射为共享大页, 不会自动删除映射的对应文件, 需要手动删除 2. Export HUGETLB_SHARE= 0 0 或者其他值, 等同于默认没有指定, 将使用匿名映射, 会自动删除在大页文件系统中的映射的文件 NA 返回值成功 : 返回 0 失败 : 返回错误原因以及错误码注意事项当指定 HUGETLB_SHARE 为 1 后运行的同一个程序 ( 仅按名字区分, 禁止不同程序使用同样的名字 ) 将根据 hugetlbfs 文件系统中是否有对应的映射文件来决定是否共用代码段使用样例编译运行 gcc test.c -o test -Wl,-zcommon-page-size=0x Wl,-zmax-page-size=0x Wl,-Ttextsegment=0x lhugetlbfs echo 1024 > /proc/sys/vm/nr_hugepages export HUGETLB_VERBOSE=3 export HUGETLB_ELFMAP= R:W./test 文档版本 01 ( ) 版权所有华为技术有限公司 21

25 4 libhugetlbfs 使用指导运行起来后的 libhugetlbfs 提示信息 hugectl: INFO: HUGETLB_VERBOSE='3' hugectl: INFO: LD_LIBRARY_PATH='/usr/local/lib:/usr/local/lib:' hugectl: INFO: HUGETLB_ELFMAP='R:W' hugectl: WARNING: LD_PRELOAD not appropriate for this map combination libhugetlbfs: INFO: Found pagesize 2048 kb libhugetlbfs: INFO: Parsed kernel version: [4]. [4]. [152] libhugetlbfs: INFO: Feature private_reservations is present in this kernel libhugetlbfs: INFO: Feature noreserve_safe is present in this kernel libhugetlbfs: INFO: Feature map_hugetlb is present in this kernel libhugetlbfs: INFO: Kernel has MAP_PRIVATE reservations. Disabling heap prefaulting. libhugetlbfs: INFO: Kernel supports MAP_HUGETLB libhugetlbfs: INFO: HUGETLB_SHARE=0, sharing disabled libhugetlbfs: INFO: HUGETLB_NO_RESERVE=no, reservations enabled libhugetlbfs: INFO: Segment 0 (phdr 3): 0x x200ff4 (filesz=0xff4) (prot = 0x5) libhugetlbfs: INFO: Segment 1 (phdr 4): 0x5ffef0-0x (filesz=0x180) (prot = 0x3) libhugetlbfs: INFO: libhugetlbfs version: 2.21 libhugetlbfs: INFO: Mapped hugeseg at 0x Copying 0xff4 bytes and 0 extra bytes from 0x done libhugetlbfs: INFO: Prepare succeeded libhugetlbfs: INFO: Mapped hugeseg at 0x Copying 0x180 bytes and 0 extra bytes from 0x5ffef0...done libhugetlbfs: INFO: Prepare succeeded 查看该大页程序进程相关大页的 smap 信息 cat /proc/2018/smaps grep -i huge grep -w -v r-xp : /mnt/hugefs/libhugetlbfs.tmp.c4niwa (deleted) Private_Hugetlb: 2048 kb rw-p : /mnt/hugefs/libhugetlbfs.tmp.cyf5sb (deleted) Private_Hugetlb: 4096 kb b6eda000-b6eea000 r-xp :1c /usr/lib/libhugetlbfs.so b6eea000-b6ef p :1c /usr/lib/libhugetlbfs.so b6ef9000-b6efa000 r--p 0000f000 00:1c /usr/lib/libhugetlbfs.so b6efa000-b6efb000 rw-p :1c /usr/lib/libhugetlbfs.so 文档版本 01 ( ) 版权所有华为技术有限公司 22

Microsoft Word - 新正文.doc

Microsoft Word - 新正文.doc CentOS 6.4 CentOS Linux 1-1 1-1 Esc Anaconda 1-1 Anaconda 1-1 Anaconda text resolution=m N lowres askmethod ks=params X M N M N 1024 768 640 480 CD Kickstart Kickstart 2 Linux mediacheck noprobe rescue

EulerOS V2.0SP5 工具使用指南 文档版本 01 发布日期 华为技术有限公司

EulerOS V2.0SP5 工具使用指南文档版本 01 发布日期华为技术有限公司