客户端指南（obscmd）

Size: px

Start display at page:

Download "客户端指南（obscmd）"

供陶
5 years ago
Views:

1 对象存储服务客户端指南 (obscmd) 文档版本 04 发布日期华为技术有限公司

2 版权所有华为技术有限公司 2018 保留一切权利非经本公司书面许可, 任何单位和个人不得擅自摘抄复制本文档内容的部分或全部, 并不得以任何形式传播商标声明和其他华为商标均为华为技术有限公司的商标本文档提及的其他所有商标或注册商标, 由各自的所有人拥有注意您购买的产品服务或特性等应受华为公司商业合同和条款的约束, 本文档中描述的全部或部分产品服务或特性可能不在您的购买或使用范围之内除非合同另有约定, 华为公司对本文档内容不做任何明示或默示的声明或保证由于产品版本升级或其他原因, 本文档内容会不定期进行更新除非另有约定, 本文档仅作为使用指导, 本文档中的所有陈述信息和建议不构成任何明示或暗示的担保华为技术有限公司地址 : 深圳市龙岗区坂田华为总部办公楼邮编 : 网址 : 客户服务邮箱 : support@huawei.com 客户服务电话 : 文档版本 04 ( ) 版权所有华为技术有限公司 i

3 目录目录 1 obscmd 简介下载并安装 obscmd 注册账号并开通 OBS 创建 IAM 用户创建访问密钥 (AK 和 SK) 对接 OBS 公共参数配置项上传本地文件编辑配置文件方式命令行方式下载桶内对象编辑配置文件方式命令行方式 Python 工具安装参考检查 Python 版本安装或升级 Python 检查 gcc 是否已安装安装或升级 openssl 安装 python 问题处理在分布式存储系统上运行 obscmd 工具报错...36 A 修订记录文档版本 04 ( ) 版权所有华为技术有限公司 ii

1 obscmd 简介 1 obscmd 简介华为云对象存储服务 (Object Storage Service,OBS)

与自建存储服务器相比, 具有稳定安全高效等优势, 详情请参见对象存储服务产品介绍 obscmd 是 OBS 提供的一款运行在 Linux

自动化任务的理想选择 obscmd 基于 Python 开发, 具有安装简单传输高效等优势, 并且在数据传输过程中, 支持分段传输,

4 1 obscmd 简介 1 obscmd 简介华为云对象存储服务 (Object Storage Service,OBS) 是一个基于对象的海量存储服务, 可以存放任意类型和大小的文件, 适用于文件归档 / 备份静态网站托管以及其他数据存储场景使用 OBS 与自建存储服务器相比, 具有稳定安全高效等优势, 详情请参见对象存储服务产品介绍 obscmd 是 OBS 提供的一款运行在 Linux 操作系统的客户端工具, 支持简单的上传及下载功能对于熟悉 Linux 命令行的用户, 在上传或下载数据时,obscmd 是执行批量处理自动化任务的理想选择 obscmd 基于 Python 开发, 具有安装简单传输高效等优势, 并且在数据传输过程中, 支持分段传输, 适用各种网络支持单个大文件切分成多段, 并发上传支持按范围并发下载单个大文件支持多个文件并发上传支持多个文件并发下载文档版本 04 ( ) 版权所有华为技术有限公司 1

6 2 下载并安装 obscmd 2 下载并安装 obscmd 在公网下载并安装 obscmd obscmd 兼容 Linux 各个版本, 且待安装 obscmd 的 Linux 主机可以位于公网, 也可以位于华为云内网针对两种不同的网络环境, 本章节分别提供下载和安装 obscmd 的链接及方法 obscmd 的运行环境需要依赖 Python, 具体依赖的版本及说明如表 2-1 所示表 2-1 Python 具体依赖的版本及说明组件 / 模块要求不满足说明处理方法 Python Python 版本要求 Python2, 且不小于 2.7.9, 例如 : Python 执行以下命令, 查看 Python 版本 python V 如果 Python 版本低于无法使用 https TLS1.1/1.2 功能 9.2 安装或升级 Python Python 加密模块已安装 ssl 模块执行以下命令, 如果无内容显示, 则 ssl 模块安装正常 python -c "import ssl" 如果 Python 不支持 ssl 模块, 则无法使用 ssl 即 https 加密传输功能安装或升级 openssl 当待安装 obscmd 的 Linux 主机位于外网, 可以根据表 2-2 提供的链接或页面, 直接从公网下载 obscmd 文档版本 04 ( ) 版权所有华为技术有限公司 3

7 2 下载并安装 obscmd 表 2-2 外网软件下载地址软件名称说明下载链接或下载页面 obscmd WinSCP ( 可选 ) 作为静态资源存储在华为云上的, 可以在 Linux 主机上通过 wget 命令直接下载在 Windows 主机上可以将下载链接粘贴至浏览器, 通过浏览器直接下载 obscmd 在 GitHub 已经开源, 可以通过 GitHub 提供的下载页面获取下载链接跨平台文件传输工具用于在 Windows 系统和 Linux 系统间传输文件如果是在 Windows 主机上下载的 obscmd 及 Python, 则可以通过此工具将下载完成的 obscmd 及 Python 传输至待安装的 Linux 主机 files/obs/cmd.zip obscmd 确保 Python 环境已搭建成功后, 使用以下命令解压 obscmd 即可开始使用 unzip 软件包名称 -d 软件存放目录示例 : unzip obscmd.zip -d /home/tools/ 在内网下载并安装 obscmd 当待安装 obscmd 的 Linux 主机为弹性云服务器 (ECS) 且没有配置弹性 IP(EIP) 时, 则只能根据表 2-3 提供的链接, 从华为云内网下载 obscmd 表 2-3 内网 obscmd 下载链接区域华北 - 北京一华东 - 上海二华南 - 广州下载链接 obscmd.zip obscmd.zip 步骤 1 登录待安装 obscmd 的 Linux 主机, 打开命令行工具步骤 2 ( 可选 ) 使用 cd 命令, 切换至本地存储软件包的目录, ( 示例 ) 切换至 /home/tools 目录的命令如下 : 文档版本 04 ( ) 版权所有华为技术有限公司 4

8 2 下载并安装 obscmd cd /home/tools 步骤 3 使用 wget 命令, 根据 ECS 所在区域下载对应区域下的软件包以下命令为从华北 - 北京一区域下载 obscmd 的示例 wget 当界面显示有 100% saved 等字样时, 如图 2-1 所示, 表示软件包已成功下载图 2-1 下载成功步骤 4 obscmd 基于 Python 实现, 下载软件包后, 使用以下命令解压后即可使用 unzip obscmd.zip -d 软件存放目录 ( 示例 ) 解压软件包至 /home/tools 目录的命令如下 : unzip obscmd.zip -d /home/tools/ 说明创建 obscmd 运行依赖 Python, 华为云提供的 ECS 默认都安装有 Python 工具, 您可以按照 9.1 检查 Python 版本提供的方法检查 Python 是否安装及其版本如果 Python 工具未安装或版本不匹配, 您可以通过在线咨询人工客服或拨打 : , 联系华为云技术支持工程师获取对应安装包 ---- 结束说明默认情况下, 在 ECS 上可以直接通过华为云内网使用 obscmd 如果本地或 VPC 的 DNS 解析没有使用内网 DNS, 则无法通过内网使用 obscmd, 此时请参考在 ECS 上通过内网访问 OBS 进行配置文档版本 04 ( ) 版权所有华为技术有限公司 5

9 3 注册账号并开通 OBS 3 注册账号并开通 OBS 在使用 obscmd 之前, 您需要拥有一个华为云账号并且成功开通 OBS OBS 提供按需和资源包两种计费方式, 充值或购买资源包即开通 OBS 服务成功开通 OBS 后即可进行访问和使用若您已有账号且账号已开通 OBS 服务, 请跳过此章节操作步骤步骤 1 登录华为云网站步骤 2 注册账号使用 OBS 前需注册一个华为云账号若您已有账号, 请从步骤 3 开始 1. 在顶部导航栏右侧, 单击注册 2. 在注册页面, 根据提示信息完成注册注册成功后, 系统会自动跳转至您的个人信息界面步骤 3 步骤 4 步骤 5 步骤 6 在顶部导航栏右侧, 单击登录, 输账号名和密码在顶部导航栏右侧, 单击控制台, 进入华为云控制台在顶部导航栏, 选择服务列表 > 存储 > 对象存储服务, 进入 OBS 管理控制台为保证您正常使用 OBS 服务, 建议您先充值购买 OBS 服务购买方式, 请参见购买指南 ---- 结束文档版本 04 ( ) 版权所有华为技术有限公司 6

10 4 创建 IAM 用户 4 创建 IAM 用户为确保账号及资源的安全性, 不建议使用注册账号直接访问 OBS 建议通过统一身份认证服务 (Identity and Access Management,IAM) 创建具有 OBS 资源访问权限的用户, 用以在 obscmd 执行数据存取操作如果您不需要使用 IAM 用户, 可以跳过此章节操作步骤步骤 1 打开华为云网站步骤 2 步骤 3 步骤 4 单击页面右上角的控制台, 使用账号登录 OBS 管理控制台在顶部导航栏选择服务列表 > 管理和部署 > 统一身份认证, 进入统一身份认证管理控制台创建用户组 1. 在左侧导航栏, 单击用户组, 进入用户组界面 2. 单击创建用户组, 进入创建用户组界面 3. 输入用户组名称和描述 ( 可选 ), 然后单击确定 4. 在创建的用户组所在行, 单击右侧的修改, 进入修改用户组界面 5. 在用户组权限下方, 全局服务 > 对象存储服务所在行, 单击修改, 弹出策略对话框 6. 选择 OBS 和基本策略, 如图 4-1 所示文档版本 04 ( ) 版权所有华为技术有限公司 7

11 4 创建 IAM 用户图 4-1 用户组策略说明策略选择说明如下 : OBS Bucket Viewer: 拥有该权限的用户, 可以执行获取桶列表查询桶元数据和位置信息的操作 Tenant Administrator: 拥有该权限的用户, 可以对 OBS 资源执行任意操作 Tenant Guest: 拥有该权限的用户, 可以查询 OBS 资源的利用情况 7. 单击确定 8. 可选 : 若 OBS 还使用了其他云服务的资源权限, 则在全局服务 > 全局开启对应的权限 9. 单击确定步骤 5 创建用户 1. 在左侧导航栏, 单击用户, 进入用户界面 2. 单击创建用户, 进入创建用户界面 3. 输入用户名, 选择凭证类型和所属用户组说明选择用户组后, 用户将继承用户组所拥有的权限不选择用户组, 用户将没有相应的权限 4. 单击下一步 5. 选择密码生成方式, 输入邮箱文档版本 04 ( ) 版权所有华为技术有限公司 8

13 5 创建访问密钥 (AK 和 SK) 5 创建访问密钥 (AK 和 SK) 本节介绍如何通过 OBS 管理控制台创建访问密钥 (AK 和 SK), 访问密钥 (AK 和 SK) 用于对请求加密签名, 确保请求的机密性完整性和请求双方身份的正确性背景信息 AK 和 SK 支持 IAM 的认证机制, 以下是对 AK 和 SK 的解释说明 : AK:Access Key ID, 接入键标识, 用户在对象存储服务系统中的接入键标识, 一个接入键标识唯一对应一个用户, 一个用户可以同时拥有多个接入键标识对象存储服务系统通过接入键标识识别访问系统的用户 SK:Secret Access Key, 安全接入键, 用户在对象存储服务系统中的安全接入键, 是用户访问对象存储服务系统的密钥, 用户根据安全接入键和请求头域生成鉴权信息安全接入键和接入键标识一一对应约束和限制每个用户最多可以创建两个有效的访问密钥操作步骤步骤 1 打开华为云网站步骤 2 单击页面右上角的控制台, 使用账号或 IAM 用户登录华为云控制台步骤 3 单击页面右上角的用户名, 并选择我的凭证步骤 4 进入账号管理 -> 基本信息页面, 在右侧单击我的凭证中的管理我的凭证步骤 5 进入我的凭证页面, 单击管理访问密钥页签下方的新增访问密钥步骤 6 在弹出的新增访问密钥对话框中, 输入登录密码和对应验证码说明用户如果未绑定邮箱和手机, 则只需输入登录密码用户如果同时绑定了邮箱和手机, 可以选择其中一种方式进行验证步骤 7 单击确定文档版本 04 ( ) 版权所有华为技术有限公司 10

14 5 创建访问密钥 (AK 和 SK) 步骤 8 在弹出的下载确认提示框中, 单击确定后, 密钥会直接保存到浏览器默认的下载文件夹中说明为防止访问密钥泄露, 建议您将其保存到安全的位置如果用户在此提示框中单击取消, 则不会下载密钥, 后续也将无法重新下载如果需要使用访问密钥, 可以重新创建新的访问密钥步骤 9 打开下载下来的 credentials.csv 文件既可获取到访问密钥 (AK 和 SK) ---- 结束文档版本 04 ( ) 版权所有华为技术有限公司 11

15 6 对接 OBS 公共参数配置项 6 对接 OBS 公共参数配置项 obscmd 提供公共配置文件用于对桶名代理加密和超时等基本信息进行配置, 从而方便在上传或下载过程中, 只需要配置简单的路径等参数即可前提条件已安装 obscmd 及其依赖 Python, 具体操作请参考 2 下载并安装 obscmd 已获取账号或 IAM 用户的访问密钥 (AK 和 SK) 如果没有访问密钥, 可以参照 5 创建访问密钥 (AK 和 SK) 进行创建说明在华为云, 账号是云服务资源的责任主体, 对其拥有的资源和 IAM 用户具有完全控制权限为确保账号及其资源的安全性, 不建议使用注册账号直接访问 OBS 建议通过 IAM 创建具有 OBS 资源访问权限的用户, 用以在 obscmd 执行数据存取操作具体操作请参考 4 创建 IAM 用户已获取待执行上传或下载操作的桶的名称说明您也可以通过 OBS 管理控制台创建一个新桶, 具体请参考创建桶操作步骤步骤 1 步骤 2 登录至 obscmd 工具所在主机使用 cd 命令切换至工具解压目录示例 :cd /home/tools/obscmd 步骤 3 工具的运行参数配置可以采用以下两种方式来实现, 若两种方式对同一参数都进行了配置, 工具会采用方式二的配置方式一 : 编辑 config.dat 中相关参数值执行以下命令, 打开 obscmd 配置文件进行基础配置 vi config.dat 打开配置文件后, 进入编辑模式, 根据实际环境配置基础参数并保存, 具体的参数配置如表 6-1 所示文档版本 04 ( ) 版权所有华为技术有限公司 12

16 6 对接 OBS 公共参数配置项表 6-1 公共参数配置项配置项说明可选 / 必填备注 ( 所有配置项的值均不区分大小写 ) Operation 指定对文件的操作类型必填可选 Upload Download AK Access Key ID 接入键标识必填用户在对象存储服务系统中的接入键标识, 一个接入键标识唯一对应一个用户, 一个用户可以同时拥有多个接入键标识对象存储服务系统通过接入键标识识别访问系统的用户 SK Secret Access Key 安全接入键必填用户在对象存储服务系统中的安全接入键, 是用户访问对象存储服务系统的密钥, 用户根据安全接入键和请求头域生成鉴权信息安全接入键和接入键标识一一对应 BucketNameFix ed 桶名必填需要上传或下载对象的桶, 所有操作均对该桶进行您需要事先在 OBS 上创建桶示例 : BucketNameFixed = fixed-bucket-01 Concurrency 工作并发数必填每个用户对应的并发数, 默认为 20, 表示 1 个用户对应 20 个并发 1 个并发表示 1 个线程或进程 ( 置空视为 1) MultipartObject Size 进行分段操作的对象大小分界值 (Byte) 必填扫描到对象如果大于 MultipartObjectSize, 则会以多段形式上传并合并, 或者以 range 方式下载并合并, 置空不分段, 单位为字节 B, 默认配置为 ( 即 1GB) 示例 :MultipartObjectSize = 示例说明 : 若对象大于 1GB, 进行分段的上传或下载操作文档版本 04 ( ) 版权所有华为技术有限公司 13

17 6 对接 OBS 公共参数配置项配置项说明可选 / 必填备注 ( 所有配置项的值均不区分大小写 ) PartSize 段大小 (Byte) 必填分段大小为此处的配置值,OBS 协议要求不小于 5MB, 不大于 5GB ( 上传时工具会自动约束 ) 默认配置为 50MB, 可根据客户端性能及网络环境做有效配置 ( =10MB, =50MB, =100MB) 示例 :PartSize = 注意 : 若段大小设置过大, 进度刷新可能会很慢 Region 区域可选请求桶所在区域需根据请求桶所在区域名称填写区域例如请求桶所在区域为华北 - 北京一, 此处则需要填写 cn-north-1 具体请参见区域和终端节点当使用 KMS 服务端加密算法或特殊鉴权签名算法且环境配置为多 Region 模式时必选 DomainName 域名必填请求发往的终端节点域名地址 (Endpoint) 需要与配置的区域信息对应具体请参见区域和终端节点 VirtualHost 是否使用虚拟主机方式请求的开关必填是否使用虚拟主机方式请求, 若使用虚拟主机方式, 需要保证域名配置正确 ( 默认配置为 true) 示例 : true( 使用虚拟主机方式 ) false( 不使用虚拟主机方式 ) IsHTTPs Https 开关必填使用 HTTP 还是 HTTPs 请求 ( 默认配置为 true) 可选值 : true( 使用 https) false( 使用 http) ProxyHost 代理服务器主机可选代理服务器主机 ProxyPort 代理服务器端口可选代理服务器端口 ProxyUserName 代理服务器账户可选代理服务器账户文档版本 04 ( ) 版权所有华为技术有限公司 14

18 6 对接 OBS 公共参数配置项配置项说明可选 / 必填备注 ( 所有配置项的值均不区分大小写 ) ProxyPassWord 代理服务器密码可选代理服务器密码 sslversion ssl 协议版本可选 ssl 协议版本号配置, 当 IsHTTPs 为 true 时生效 ( 如果留空, 默认为 SSLv23) 可选值 : TLSv1 TLSv1_1 TLSv1_2 SSLv23 SSLv2 SSLv3 说明 TLSv1 : 选择 TLS v1.0 协议 TLSv1_1 : 需要 openssl version , python 不低于 TLSv1_2 : 当前最安全协议需要 openssl version ,python 不低于 SSLv23: 自动协商最安全协议 SSLv2 : 如果 openssl 编译时带了 OPENSSL_NO_SSL2 参数不可用该协议不安全, 已不建议使用 SSLv3 : 若 openssl 编译时带了 OPENSSL_NO_SSL3 参数不可用该协议不安全, 已不建议使用 SrvSideEncrypt Type 服务器端数据加密方法可选服务器端数据加密方法, 如果不启用, 保持为空不区分大小写可选值 : SSE-KMS( 使用 Key Management Service 提供的密钥进行服务端加密 ) SSE-C( 使用用户提供的密钥和密钥的 MD5 值进行服务端加密 ) CustomerKey SSE-C 加密密钥如果使用 SSE- C 服务端加密, 必填如果配置 SSE-C, 需提供加密对象使用的密钥文档版本 04 ( ) 版权所有华为技术有限公司 15

19 6 对接 OBS 公共参数配置项配置项说明可选 / 必填备注 ( 所有配置项的值均不区分大小写 ) SrvSideEncrypt Algorithm 指定服务端加密算法可选仅当 SrvSideEncryptType 为 SSE-KMS 时有效 ConnectTimeout 超时时间必填连接建立 / 请求等待超时时间, 单位为秒 ( 若小于 5 秒, 工具会自动约束为 5 秒 ) 默认配置为 300 CompareETag 校验 Etag 和 MD5, 即数据一致性的开关可选是否校验以及在 detail 文件中记录本地 MD5 和服务端返回的 ETag 置空默认关闭 (1. 性能角度考虑 : 若上传或下载的单个文件大于 10GB, 建议关闭 ) 可选值 : true( 打开 ) false( 关闭 ) RecordDetails 记录请求信息开关必填是否记录每个请求的详细结果默认配置为 true 如果打开, 每次执行的请求信息会记录在 result/***_detail.csv 文件中可选值 : true( 打开 ) false( 关闭 ) 说明 ***_detail.csv 文件名格式为日期 _ 时间 _ 操作类型 _ 并发数 _detail.csv 示例 : _ _PutObject_20_d etail.csv BadRequestCou nted 将错误请求纳入统计开关必填如果为 true 性能统计结果将包含错误请求, 此场景有可能导致如下统计出现偏差 : avglatency( 请求的平均时延 ), tps( 每秒事务处理量,transaction per second), sendbps( 传输的总流量 ), recvbps( 接收的总流量 ) 默认配置为 False RunSeconds 运行时长 ( 秒 ) 可选运行指定时长后退出如果未到指定时长时, 配置的请求数完成, 工具也会退出配置为 0 表示不配置, 即按配置的请求数完成后退出文档版本 04 ( ) 版权所有华为技术有限公司 16

6 对接 OBS 公共参数配置项配置项说明可选 / 必填备注 ( 所有配置项的值均不区分大小写 ) PrintProgress 打印实时结果开关必填是否打印运行中的实时结果和进度默认配置为 true 可选值 : true( 打印实时结果 ) false( 不打印实时结果 ) CheckRoot 限制执行帐户权限必填是否必须 root 帐户才有权限操作 ( 默认配置为

20 6 对接 OBS 公共参数配置项配置项说明可选 / 必填备注 ( 所有配置项的值均不区分大小写 ) PrintProgress 打印实时结果开关必填是否打印运行中的实时结果和进度默认配置为 true 可选值 : true( 打印实时结果 ) false( 不打印实时结果 ) CheckRoot 限制执行帐户权限必填是否必须 root 帐户才有权限操作 ( 默认配置为 false) 可选值 : true( 是 ) false( 否 ) 方式二 : 命令 + 参数的方式实现参数配置, 仅支持配置常用参数 (Operation LocalPath RemoteDir DownloadTarget SavePath AK SK BucketNameFixed Region DomainName), 其他参数可以方式一进行配置执行以下命令可以查看支持的命令行参数及说明 python run.py --help ---- 结束文档版本 04 ( ) 版权所有华为技术有限公司 17

21 7 上传本地文件 7 上传本地文件 7.1 编辑配置文件方式参数配置 obscmd 工具的本地上传功能, 会通过读取 config.dat 文件中配置项来进行传输控制, 包含上传的本地目录, 上传单个文件分段大小等本地文件上传除了配置 config.dat 公共配置项, 还需要根据上传文件目录实际情况配置如表 7-1 所示参数 : 表 7-1 上传本地文件参数配置项配置项名称可选 / 必填说明 LocalPath 待上传目录必填需上传的本地文件夹或文件的地址若上传多个单独指定的文件, 可以用英文逗号分隔若指定文件夹, 则只能配置一个路径注意 : 若以 '/' 符号结尾, 将认为是上传文件夹下所有对象, 而不是上传此文件夹示例 : /home/objects /home/dir1/1.txt /home/dir1/1.txt,/ home/dir2/2.txt 文档版本 04 ( ) 版权所有华为技术有限公司 18

22 7 上传本地文件配置项名称可选 / 必填说明 IgnoreExist 忽略上传到桶内的文件对象的开关必填是否跳过已上传到桶内的文件对象默认配置为 false 注意 : 若桶内对象数过多, 请勿开启此项配置可选值 : true( 不覆盖上传已有对象 ) false( 覆盖上传已有对象 ) RemoteDir 上传到桶内的目录可选上传到桶内的目录留空则使用桶的根目录如果目录不存在, 工具自动创建目录示例 : RemoteDir = dir/ PutWithACL Access Control Policy 对象的权限控制策略可选上传对象同时指定 ACL( 各策略详细说明见表 7-2, 默认 private) 可选值 : private public-read public-read-write authenticatedread bucket-ownerread bucket-ownerfull-control 文档版本 04 ( ) 版权所有华为技术有限公司 19

23 7 上传本地文件配置项名称可选 / 必填说明 CheckFileChanging 检查本地文件是否正在被修改可选是否检查本地文件是否正在被修改, 若正在被修改, 则跳过该文件置空默认关闭 ( 性能角度考虑 : 若上传的文件对象个数较多时, 建议关闭此校验 ) 说明 : 是在上传目标对象之前进行的一种检查, 不检查对象在上传的过程中是否进行了修改可选值 : true false ArchiveAfterUpload 是否归档已上传成功的文件可选是否将已经上传成功的文件进行归档, 置空默认关闭可选值 : true false ArchiveDir 归档路径当 ArchiveAfterUpload 为 true 时必填指定数据归档路径, 默认路径为 / home/archive, 如果目录不存, 在数据归档时会进行创建示例 : /home/archive CheckSoftLinks 是否跳过软链接对象进行上传可选是否跳过软链接对象进行上传可选值 : true( 不上传软链接对象 ) false( 上传软链接对象 ) 文档版本 04 ( ) 版权所有华为技术有限公司 20

24 7 上传本地文件表 7-2 OBS 预定义的权限控制策略预定义的权限控制策略 private public-read public-read-write authenticated-read bucket-owner-read bucket-owner-full-control log-delivery-write 描述桶或对象的所有者拥有完全控制的权限, 其他任何人都没有访问权限桶或对象的所有者拥有完全控制的权限, 其他所有用户包括匿名用户拥有读的权限桶或对象的所有者拥有完全控制的权限, 其他所有用户包括匿名用户拥有读和写的权限桶或对象的所有者拥有完全控制的权限, 其他 OBS 授权用户拥有读权限对象的所有者拥有完全控制的权限, 桶的所有者拥有只读的权限对象的所有者拥有完全控制的权限, 桶的所有者拥有完全控制的权限日志投递用户组拥有对桶的写权限以及读 ACP 的权限运行示例当公共参数和本地上传参数配置完成后, 即可在 obscmd 的安装目录执行 python run.py 开始上传本地对象至 OBS 说明如果使用./run.py, 需确保 run.py 文件有执行权限, 在 root 用户下使用 chmod +x * 增加权限执行 python run.py 命令时,obscmd 会检查必填参数是否已配置, 如果未配置, 会以命令行形式提示用户输入作为临时参数使用示例 : 本地文件上传运行中效果展示如下图所示 : 文档版本 04 ( ) 版权所有华为技术有限公司 21

26 7 上传本地文件表 7-3 屏显解析显示项 Operation 解释执行的操作类型 RunTime 运行时长 ( 格式 : hh'mm'ss.milliseconds) RunningThreads HTTPs LongConnection Threads Requests OK ClientErrs ServerErrs --OuterFlowControl --InnerFlowControl OtherErrs ErrRate TPS Last5TPS AvgLatency latencypercent DataSend DataRecv SendThroughput RecvThroughput BestReq 当前线程数 HTTPs 还是 HTTP 请求,true 为 HTTPs, false 为 HTTP 长连接还是短连接,true 为长连接,false 为短连接此次运行的总线程数当前 ( 最后 ) 已执行的请求数当前已执行的请求数中 ( 最后 ) 成功的请求个数如果有请求未成功, 因客户端问题造成错误的请求个数如果有请求未成功, 因服务端问题造成错误的请求个数 -- 当前 ( 最后 ) 服务器端上外部流控错误 -- 当前 ( 最后 ) 服务器端上内部流控错误当前 ( 最后 ) 所有未知错误 ( 未接收到响应 ), 如网络故障等当前 ( 最后 ) 错误率当前 ( 最后 ) 每秒事务处理量当前近 5 个周期 ( 从 0 每增加 3 秒算作一个周期 ) 内的每秒事务处理量当前用户并发运行过程中所有成功请求的平均响应时间用户并发运行过程中各时间段的请求占用百分比, 用字符串描述当前 ( 最后 ) 所有发送的字节数当前 ( 最后 ) 所有接收的字节数, 未响应记为 0 当前 ( 最后 ) 所计算出的发送带宽当前 ( 最后 ) 所计算出的接收带宽当前 ( 最后 ) 响应时间最快的 3 个请求 ID 及响应时长文档版本 04 ( ) 版权所有华为技术有限公司 23

27 7 上传本地文件显示项 WorstReq ExecutePath 解释当前 ( 最后 ) 响应时间最慢的 3 个请求 ID 及响应时长此次运行的工具所在目录 7.2 命令行方式 obscmd 工具支持命令 + 参数方式运行, 仅支持配置常用参数 (Operation LocalPath RemoteDir DownloadTarget SavePath AK SK BucketNameFixed Region DomainName) 可执行以下命令查看参数说明 python run.py --help 命令参数说明 : o : 操作类型 (upload 或者 download) l : 上传对象的本地路径 r : 上传对象的桶内路径 d : 下载对象的桶内路径 s : 下载对象的本地保存路径 b : 桶名 A : 用户 AK 文档版本 04 ( ) 版权所有华为技术有限公司 24

29 8 下载桶内对象 8 下载桶内对象 8.1 编辑配置文件方式参数配置 obscmd 工具的下载桶内对象功能, 会通过读取 config.dat 文件满足客户下载对象的需求下载桶内对象时除了 config.dat 中公共配置项, 还需要配置如表 8-1 所示参数 : 表 8-1 下载桶内对象参数配置项配置项名称可选 / 必填说明 DownloadTarget 待下载的 OBS 桶内目标可选如果留空, 则下载桶内所有的对象如果填写, 则下载指定的文件夹或对象可以混合配置, 以英文逗号分隔示例 : DownloadTarget = home/dir/ ( 下载文件夹 ) DownloadTarget = home/obj ( 下载单个对象 ) DownloadTarget = home/obj* ( 下载 home 文件夹中以 obj 为前缀的所有对象 ) SavePath 本地保存路径必填保存对象的本地路径如果输入一个不存在的本地路径, 自动创建该文件夹文档版本 04 ( ) 版权所有华为技术有限公司 26

30 8 下载桶内对象运行示例当公共参数和下载桶内对象参数配置完成后, 即可在 obscmd 的安装目录执行 python run.py 开始下载 OBS 桶内对象至本地说明如果使用./run.py, 需确保 run.py 文件有执行权限, 在 root 用户下使用 chmod +x * 增加权限执行 python run.py 命令时,obscmd 会检查必填参数是否已配置, 如果未配置, 会以命令行形式提示用户输入作为临时参数使用示例 : 桶中对象下载到本地目录任务运行中示例 : 桶中对象下载到本地运行结束后结果汇总展示如下图所示 : 文档版本 04 ( ) 版权所有华为技术有限公司 27

31 8 下载桶内对象屏显解析如表 8-2 所示 : 表 8-2 屏显解析显示项 Operation 解释执行的操作类型, 下载时候为 GetObject RunTime 本次任务执行的时间 ( 格式 : hh'mm'ss.milliseconds) RunningThreads HTTPs 本次任务正在运行并发线程数 HTTPs 或 HTTP 请求方式,true 为 HTTPs, false 为 HTTP LongConnection HTTP 长连接或短连接,true 为长连接, false 为短连接 Threads Requests OK ClientErrs 此次运行的总线程数当前 ( 最后 ) 已执行的请求数当前已执行的请求数中 ( 最后 ) 成功的请求个数如果有请求未成功, 因客户端问题造成错误的请求个数文档版本 04 ( ) 版权所有华为技术有限公司 28

32 8 下载桶内对象显示项 ServerErrs --OuterFlowControl --InnerFlowControl OtherErrs ErrRate TPS Last5TPS AvgLatency latencypercent DataSend DataRecv SendThroughput RecvThroughput BestReq WorstReq ExecutePath 解释如果有请求未成功, 因服务端问题造成错误的请求个数 -- 当前 ( 最后 ) 服务器端上外部流控错误 -- 当前 ( 最后 ) 服务器端上内部流控错误当前 ( 最后 ) 所有未知错误 ( 未接收到响应 ), 如网络故障等当前 ( 最后 ) 错误率当前 ( 最后 ) 每秒事务处理量当前近 5 个周期 ( 从 0 每增加 3 秒算作一个周期 ) 内的每秒事务处理量当前用户并发运行过程中所有成功请求的平均响应时间用户并发运行过程中各时间段的请求占用百分比, 用字符串描述当前 ( 最后 ) 所有发送的字节数当前 ( 最后 ) 所有接收的字节数, 未响应记为 0 当前 ( 最后 ) 所计算出的发送带宽当前 ( 最后 ) 所计算出的接收带宽 ( 下载时候带宽值 ) 当前 ( 最后 ) 响应时间最快的 3 个请求 ID 及响应时长当前 ( 最后 ) 响应时间最慢的 3 个请求 ID 及响应时长此次运行的工具所在目录 8.2 命令行方式 obscmd 工具支持命令 + 参数方式运行, 仅支持配置常用参数 (Operation LocalPath RemoteDir DownloadTarget SavePath AK SK BucketNameFixed Region DomainName) 可执行以下命令查看参数说明 python run.py --help 文档版本 04 ( ) 版权所有华为技术有限公司 29

33 8 下载桶内对象命令参数说明 : o : 操作类型 (upload 或者 download) l : 上传对象的本地路径 r : 上传对象的桶内路径 d : 下载对象的桶内路径 s : 下载对象的本地保存路径 b : 桶名 A : 用户 AK S : 用户 SK D : 域名地址 R : 区域下载命令示例 : python run.py -o download -d test/ -s /home/test -b testbucket 说明若同一参数既通过编辑 config.dat 进行了配置也通过命令 + 参数的方式进行了配置, 工具将以后者为准文档版本 04 ( ) 版权所有华为技术有限公司 30

34 9 Python 工具安装参考 9 Python 工具安装参考 9.1 检查 Python 版本执行 python V 命令, 查看 Python 版本 9.2 安装或升级 Python 检查 gcc 是否已安装执行 gcc -v 命令, 检查是否安装 gcc 当命令行出现如下类似回显时, 表示 gcc 已安装图 9-1 已安装 gcc 的回显出现如下类似回显,gcc 未安装图 9-2 未安装 gcc 的回显要重新编译安装 openssl 或 Python, 需要客户端支持 gcc 编译环境文档版本 04 ( ) 版权所有华为技术有限公司 31

9 Python 工具安装参考安装 gcc 在有 internet 连接的情况下可以使用如下命令 : apt install gcc yum install gcc 9.2.

0.2x.tar.gz(x 表示 openssl 版本, 建议使用最新版本 ) 至客户端 ( 通过 sftp 等 ) 或者直接使用如下命令下载到执行机本地 : wget https://www.openssl.org/source/openssl-1.

/config -fpic // 进行配置编译并安装 openssl: make && make install 创建软链接, 验证安装 rm /usr/bin/openssl // 删除之前的 openssl

35 9 Python 工具安装参考安装 gcc 在有 internet 连接的情况下可以使用如下命令 : apt install gcc yum install gcc 安装或升级 openssl 以 openssl-1.0.2l 为例 : // ubuntu 操作系统 //RedHat,CentOs 类操作系统通过下载最新的 openssl 版本上传 openssl-1.0.2x.tar.gz(x 表示 openssl 版本, 建议使用最新版本 ) 至客户端 ( 通过 sftp 等 ) 或者直接使用如下命令下载到执行机本地 : wget tar -xvf openssl-1.0.2n.tar.gz // 解压到当前目录 cd openssl-1.0.2n // 进入解压后的目录./config -fpic // 进行配置编译并安装 openssl: make && make install 创建软链接, 验证安装 rm /usr/bin/openssl // 删除之前的 openssl PATH 变量 ln -s /usr/local/ssl/bin/openssl /usr/bin/openssl // 创建新的 openssl 版本路径文档版本 04 ( ) 版权所有华为技术有限公司 32

9 Python 工具安装参考 9.2.3 安装 python 以 Python 2.7.

org/downloads/ 下载需要的 Python 版本上传 Python-2.7.14.

https://www.python.org/ftp/python/2.7.14/python-2.

36 9 Python 工具安装参考安装 python 以 Python 版本为例 : 通过下载需要的 Python 版本上传 Python tgz 至客户端, 解压, 进入解压后的目录或者采取直接下载到执行机本地的方式 : wget tar -xvf Python tgz // 解压到本地 cd Python // 进入解压后的目录./configure // 进行配置编译并安装 python: make // 进行编译 make install // 进行安装文档版本 04 ( ) 版权所有华为技术有限公司 33

38 9 Python 工具安装参考注意安装新版本 python 可能会导致原有 Linux 系统的 yum 不可用 ; 原因在于 yum 基于操作系统已有的 python 版本运行, 更新后的 python 版本 yum 不支持, 导致不可用修正方法如下 : # 修改 yum 文件 vi /usr/bin/yum 将文件头部的 #!/usr/bin/python 改为 #!/usr/bin/python2.7 ( 此处的 python 版本路径根据操作系实际版本为准, 可以通过 ll /usr/bin/python 来获取原有版本信息 ) 文档版本 04 ( ) 版权所有华为技术有限公司 35

39 10 问题处理 10 问题处理 10.1 在分布式存储系统上运行 obscmd 工具报错问题现象 1. 当 obscmd 放置于分布式存储系统 ( 如 lustre glusterfs) 上, 运行 obscmd 工具, fcntl.flock 报错, 报错信息为 :Function not implemented. 2. 在该分布式文件系统上, 创建 tmpfile 并在 python 中使用如下命令, 出现 Function not implemented, 即为同一问题 import fcntl fd = open('tmpfile','w') fcntl.flock(fd,1) quit() 根因分析 lustre glusterfs 并不兼容 fcntl.flock 函数, 导致报错应对措施请勿将 obscmd 放置于分布式存储系统上, 可将其放置于物理机本地目录后, 再运行文档版本 04 ( ) 版权所有华为技术有限公司 36

40 A 修订记录 A 修订记录发布日期修订记录第四次正式发布本次更新说明如下 : 优化了章节结构第三次正式发布新增是否跳过软链接上传参数本次更新说明如下 : 更新了安装 obscmd 章节, 新增在华为云内网下载 obscmd 的方法支持配置代理增加命令行方式上传本地文件增加命令行方式下载桶内文件第二次正式发布本次更新说明如下 : 增加问题处理章节第一次正式发布文档版本 04 ( ) 版权所有华为技术有限公司 37

javascript sdk javascript sdk 列出 Bucket 内的对象上传 textarea 内容到 Bucket 上传本地文件生成私有下载链接生成带过期时间的私有链接删除对象下载对象拷贝对象查看文件访问权限设置文件访问权限获取静态网站配置设置静态网站删除静态网站查询对象元数据查询

javascript sdk javascript sdk 列出 Bucket 内的对象上传 textarea 内容到 Bucket 上传本地文件生成私有下载链接生成带过期时间的私有链接删除对象下载对象拷贝对象查看文件访问权限设置文件访问权限获取静态网站配置设置静态网站删除静态网站查询对象元数据查询桶的多版本 Bucket 开启对象多版本支持挂起 Bucket 的多版本对象功能浏览器客户端浏览器客户端的