SDK 说明 Onest python SDK 来源于开源的 boto3 用户在使用 Onest 云存储服务时, 可以选择直接使用 aws 原生的 sdk, 本文档只是提供了一些常用接口的简单实示例, 如需更加详细的接口参数说明, 请在使用时参照 boto3 API 官方说明 boto3 安装 py

Size: px

Start display at page:

Download "SDK 说明 Onest python SDK 来源于开源的 boto3 用户在使用 Onest 云存储服务时, 可以选择直接使用 aws 原生的 sdk, 本文档只是提供了一些常用接口的简单实示例, 如需更加详细的接口参数说明, 请在使用时参照 boto3 API 官方说明 boto3 安装 py"

农端
5 years ago
Views:

1 Python SDK 使用文档 Python SDK 使用文档接口域名 SDK 说明安装 python SDK Client 初始化 API 接口说明 1. listbuckets 2. getbucketlocation 3. createbucket 4. headbucket 5. deletebucket 6. getbucketacl 7. putbucketacl 8. listobjects 9. putobject 10. deleteobject 11. headobject 12. getobject 13. putobjectacl 14. getobjectacl 15. createmultipartupload 16. abortmultipartupload 17. uploadpart 18. listparts 19. listmultipartuploads 20. completemultipartupload 21. deleteobjects 22. copyobject 23. putbucketversioningconfiguration 24. getbucketversioningconfiguration 接口域名云存储公网 Rest API 接口地址 :eos beijing 1.cmecloud.cn 云存储内网 Rest API 接口地址 : 或 SDK 说明

2 SDK 说明 Onest python SDK 来源于开源的 boto3 用户在使用 Onest 云存储服务时, 可以选择直接使用 aws 原生的 sdk, 本文档只是提供了一些常用接口的简单实示例, 如需更加详细的接口参数说明, 请在使用时参照 boto3 API 官方说明 boto3 安装 python SDK 通过 pip install boto3 进行安装或者通过源码安装解压 boto3 1.4.x.zip 包进入解压目录执行 python setup.py install 即可 Client 初始化要使用 python SDK, 首先需要进行初始化 : from boto3.session import Session import boto3 import botocore import warnings warnings.filterwarnings("ignore", category=unicodewarning) access_key = "<your access key>" secret_key = "<your secret key>" url = "your hostname" #such as ' session = Session(access_key, secret_key) s3 = session.resource('s3', endpoint_url=url) s3_client = session.client('s3', endpoint_url=url) BUCKET = 'your bucket' OBJECT = 'your object' DST_OBJ = 'your dest object of copy' DATA = 'your local file' 代码中,access_key 与 secret_key 是在 Onest 中创建用户后, 系统分配给用户用于访问 Onest 的凭证而 url 是云存储服务商提供的服务地址及端口在初始化之后, 就可以利用 s3 和 s3_client 进行各种操作了 API 接口说明

3 注意 : 对于文档中描述不清, 或者不够详细的地方, 可以参考 Boto 3 Docs documentation 1. listbuckets 获取用户所拥有的 bucket 列表用户必须有有效的 Access Key 匿名请求将不允许此操作 list_buckets_of_user() 无返回值 : 用户所有的 bucket 列表代码示例 : def list_buckets_of_user(): resp = s3_client.list_buckets()['buckets'] for bucket in resp: print bucket['name'] 2. getbucketlocation 获取容器所处位置, 用户必须是容器的拥有者 get_bucket_location(**kwargs) Bucket:bucket 名返回值 :bucket 的位置信息代码示例 : response = client.get_bucket_location( ) Bucket='string' 3. createbucket 创建容器容器用于存储用户上传的对象数据容器的名字必须是唯一的 create_bucket(**kwargs) Bucket:bucket 名

4 返回值 : 创建 bucket 的 location 信息代码示例 : def create_bucket(bucket): resp = s3_client.create_bucket(bucket=bucket) 4. headbucket 创建容器容器用于存储用户上传的对象数据容器的名字必须是唯一的 head_bucket(**kwargs) Bucket:bucket 名返回值 : 创建 bucket 的 location 信息代码示例 : def head_bucket(bucket): resp = s3_client.head_bucket(bucket=bucket) print resp 5. deletebucket 删除指定的容器只有该容器中所有的对象被删除了, 该容器才能被删除另外, 只有该容器的拥有者才能删除它, 与容器的访问控制权限无关 delete_bucket(**kwargs) Bucket:bucket 名返回值 :None 代码示例 : def delete_bucket(bucket): resp = s3_client.delete_bucket(bucket=bucket) 6. getbucketacl 获取指定容器的访问控制列表 (ACL) get_bucket_acl(**kwargs)

5 Bucket :bucket 名返回值 :bucket 的 acl 信息代码示例 : def get_bucket_acl(bucket): resp = s3_client.get_bucket_acl(bucket=bucket) 7. putbucketacl 设置指定容器的访问控制列表 (ACL) put_bucket_acl(**kwargs) ACL : 将设置的 ACL Bucket :bucket 名返回值 : None 代码示例 : def put_bucket_acl(bucket): s3_client.put_bucket_acl(acl='public-read', Bucket=bucket) 8. listobjects 返回指定的 Bucket 中的所有 Object 信息 list_objects(**kwargs) Bucket :bucket 名 Delimiter : 分隔符 Marker:list 开始的标识符 MaxKeys :list 返回结果的最大值 Prefix :list 结果过滤前缀返回值 : IsTruncated: 本次是否 list 完所有对象 NextMarker : 如果本次未 list 完所有对象, 则可以将该值作为下次 list 的 Marker 的值. 代码示例 :

6 def list_objects(bucket): resp = s3_client.list_objects(bucket=bucket,prefix='') for obj in resp['contents']: print obj['key'] 9. putobject 上传一个新的 Object 到指定的 bucket 中用户上传一个 Object 的时候, 该 Object 所在的 bucket 必须首先存在, 并且该用户有对该 bucket 写的权限, 才能写入一个指定的 Object 到系统 put_object(**kwargs) Body : 对象的内容 Bucket :bucket 名返回值 : 创建 object 的信息代码示例 : def put_object(bucket, object): data = open(data, 'rb') resp = s3_client.put_object(bucket=bucket, Key=object, Body=data) 10. deleteobject 删除指定 bucket 中的指定 Object 一旦被删除, 只有支持版本的情况下, 对象才能恢复 delete_object(**kwargs) Bucket:bucket 名 Key : 要删除的对象名 VersionId: 要删除对象的版本 id 返回值 : 删除对象的结果代码示例 : def delete_object(bucket, object): resp = s3_client.delete_object(bucket=bucket, Key=object) 11. headobject

7 获取对象的 metadata, 必须具有对象的读权限 head_object(**kwargs) Bucket :bucket 名 Key : 对象名 VersionId: 对象的版本 id 返回值 : 对象的所有 metadata 代码示例 : def head_object(bucket, object): resp = s3_client.head_object(bucket=bucket, Key=object) 12. getobject 获取存储在系统中指定的 bucket 和 Object key 的对象从系统中获取 Object 必须要有该对象的 Read 权限 get_object(**kwargs) Bucket :bucket 名 Key: 对象名 version_id: 对象版本 id 返回值 : 获取的对象信息代码示例 : def get_object(bucket, object): resp = s3_client.get_object(bucket=bucket, Key=object, VersionId='3FV Yi4CDFg5y5DI97Rq7wFRlax.BRKl') print resp['body'].read() 13. putobjectacl 对指定的 objcet 设置访问控制列表 put_object_acl(**kwargs) ACL : 将设置的 ACL Bucket: 容器名 Key: 对象名

8 VersionId: 对象的版本 id 返回值 : 设置结果信息代码示例 : def set_object_acl(bucket, object): c-read') resp = s3_client.put_object_acl(bucket=bucket, Key=object, ACL='publi 14. getobjectacl 获取系统中指定 Object 的访问控制列表 (ACL) get_object_acl(**kwargs) Bucket :bucket 名 Key : 对象名 VersionId: 对象版本 id 返回值 : 对象的 acl 信息代码示例 : def get_object_acl(bucket, object): resp = s3_client.get_object_acl(bucket=bucket, Key=object) 15. createmultipartupload 初始化一次分快上传操作, 服务端会返回 upload ID 用于后续的上传在完成分块上传或者是放弃分块上传时, 也需要该 upload ID create_multipart_upload(**kwargs) Bucket:bucket 名 ; Key: 对象名返回值 : 初始化结果, 包含 uploadid 16. abortmultipartupload

9 取消指定的分块上传一旦某个分块上传被取消, 之前以其 upload ID 上传的分块便无效了, 并且不能再以其 upload ID 进行分块的上传由于并发的存在, 有可能有某些 part 正在被上传, 为确保所有的 part 都被无效化, 可能需要多次调用 abort 接口可以通过 list part 接口来判断是否所有 part 都被取消了 abort_multipart_upload(**kwargs) Bucket :bucet 名 Key: 对象名 UploadId: 初始化时的 id 返回值 : 取消上传的结果 17. uploadpart 上传一个分块在进行上传前, 用户必须先初始化分块上传在进行上传时, 用户需要提供初始化时获取的 upload ID, 以及该分块的序号 ( 最大为 10,000) 如果在上传一个新的分块时, 提供的序号已经在之前使用过, 则之前的分块会被覆盖掉在上传流量一个分块之后, 服务端返回的结果中, 包含了一个 Etag, 用户需要记录该 Etag 以及分块序号在上传完所有分块之后, 用户需要发送 CompleteMultipartUpload 请求 Onest 在接收到完成请求后, 会将用户上传的所有分块, 按照序号的升序连接起来, 形成一个对象在发送完成请求时, 需要将之前保存的 Etag 及对应的序号全部发送到服务端 upload_part(**kwargs) Bucket :bucket 名 Key : 对象名 UploadId : 初始化上传的 id 返回值 :part 上传结果 18. listparts 列出在某个分块上传中已经上传的分块 ( 每次最多 1000 个 ) 该请求需要包含代表了该分块上传的 upload ID list_parts(**kwargs) Bucket :bucket 名 Key: 对象名 UploadId : 初始化上传 id 返回值 : 已上传分块 list 的结果 19. listmultipartuploads

10 列出容器中已经被初始化, 但还未完成的分块上传默认情况下, 该操作最多返回 1000 个分快上传 list_multipart_uploads(**kwargs) Bucket :bucket 名返回值 : 未完成分块上传的对象列表 20. completemultipartupload 完成分块上传在利用 uploadpart 接口上传完所有分块之后, 利用该接口, 可以将之前上传的分块, 按照序号的升序连接成一个对象分块的序号与 Etag 在每次 uploadpart 操作后都会被返回 complete_multipart_upload(**kwargs) Bucket :bucket 名 Key: 对象名 MultipartUpload: 分块列表 UploadId : 分块上传 id 返回值 : 完成对象分块上传的结果分块上传应用实例 : def multipart_upload_test(bucket, object): data = open('d:\\tmp\\test-40mb.txt', 'rb') bucket = s3.bucket(bucket) # Create the multipart upload mpu = bucket.object(object).initiate_multipart_upload() # Create and upload a part part = mpu.part(10) response = part.upload(body=data) # Complete the upload, which requires info on all of the parts part_info = { 'Parts': [ { 'PartNumber': 10, 'ETag': response['etag'] } ] } mpu.complete(multipartupload=part_info)

11 21. deleteobjects 删除指定 bucket 中的多个 Object 通过添加 versionid, 可以删除指定版本的对象 delete_objects(**kwargs) Bucket:bucket 名 Objects : 删除对象的列表返回值 : 删除多个对象的结果代码示例 : def delete_objects(bucket): delete_objs = { 'Objects':[ { 'Key': 'test.txt' }, { 'Key': 'test2.txt' } ], 'Quiet': True } resp = s3_client.delete_objects(bucket=bucket, Delete=delete_objs) print resp 22. copyobject 拷贝对象 copy_object(**kwargs) Bucket:bucket 名 ; Key: 对象名 ; CopySource : 拷贝对象源信息返回值 : 返回 object 拷贝的结果代码示例 : def copy_object(src_bucket, src_object, dst_bucket, dst_object): resp = s3_client.copy_object(bucket=dst_bucket, Key=dst_object, CopyS ource=str(src_bucket+'/'+src_object)) print resp

12 23. putbucketversioningconfiguration 设置容器的多版本状态容器的多版本状态有以下三种 : Enabled: 开启多版本 Suspended: 暂停多版本空 : 未开启多版本默认情况下, 新建容器处于关闭多版本状态一旦其多版本被开启, 就无法再回到 off 状态了 put_bucket_versioning(**kwargs) Bucket :bucket 名 Status: 设置容器多版本状态参数返回值 : 无代码示例 : def put_bucket_versioning(bucket): ver_conf = {'Status':'Enabled'} s3_client.put_bucket_versioning(bucket=bucket, VersioningConfiguratio n=ver_conf) 24. getbucketversioningconfiguration 获取容器的多版本状态 get_bucket_versioning(**kwargs) Bucket :bucket 名返回值 :bucket 多版本信息结果代码示例 : def get_bucket_versioning(bucket): print 'bucket versoining: ', s3_client.get_bucket_versioning(bucket=b ucket)['status']

phar 方式使用 phar 单文件方式, 在 https://github.com/aws/aws sdk php/releases?after= 页面中, 选择版本 , 下载已经打包好的 phar 文件, 然后在你的代码中引入这个文件即可 : require_once

phar 方式使用 phar 单文件方式, 在 https://github.com/aws/aws sdk php/releases?after= 页面中, 选择版本 , 下载已经打包好的 phar 文件, 然后在你的代码中引入这个文件即可 : require_once S3 PHP SDK 使用文档 S3 PHP SDK 说明对象存储 S3 PHP SDK 使用开源的 S3 PHP SDK aws/aws sdk php 本文档介绍用户如何使用 aws/aws sdk php 来使用对象存储服务更加详细的接口参数说明, 请在使用时参照 aws/aws sdkphp API 官方说明 http://docs.aws.amazon.com/aws sdk php/v3/api/api