4.5.1 删除单个文件 一个请求删除多个文件 4.6 列出空间里的文件 4.7 操作文件的元数据信息 5. 常见处理 5.1 简易示例 5.2 上传 InputStream 里的文件内容 5.3 遍历空间里的文件 5.5 删除某个前缀开头 ( 文件夹中 ) 的文件 欢迎使用 本文档是搜

Transcription

1 搜狐云存储服务 API Reference 最后更新 搜狐云存储服务 API Reference 欢迎使用 1. 基本概念 2.SCS Java 客户端 2.1 初始化客户端 2.2 设置服务访问地址 (Endpoint) 2.3 签名认证 签名概述 签名计算方法 使用签名的方法 2.4 获取当前用户信息 3. 空间操作 3.1 空间限制 空间使用规范 空间命名规则 3.2 创建空间 3.3 删除空间 3.4 查看空间是否存在 3.5 获取用户创建的空间列表 3.6 获取空间所在地域 4. 文件操作 4.1 键值和元数据 键值 元数据 4.2 上传文件 使用单一请求上传 使用分块上传 API 上传 分块上传其他操作 4.3 获取文件 4.4 复制文件 4.5 删除文件

2 4.5.1 删除单个文件 一个请求删除多个文件 4.6 列出空间里的文件 4.7 操作文件的元数据信息 5. 常见处理 5.1 简易示例 5.2 上传 InputStream 里的文件内容 5.3 遍历空间里的文件 5.5 删除某个前缀开头 ( 文件夹中 ) 的文件 欢迎使用 本文档是搜狐云存储服务提供的开发者指南文档 本文档并不会详细描述 SDK 的所有细节, 只会对 SDK 开发的相关概念进行解释, 并根据开发者面临的大部分需求给出相关的 SDK 用法和示例 搜狐云存储服务, 是搜狐公司提供的安全 高效 低成本 高可靠性的云服务 通过标准的 Rest API 接口, 多种语言的 SDK 以及 Web 页面, 用户可以方便地在任何时间 地点访问和管理资源和权限 我们同时提供超低成本存储, 跨 IDC 同步,CDN 和图片处理等服务, 方便您搭建网盘, 网站, 备份个人或企业的大规模数据

3 1. 基本概念 空间 (Bucket) 空间是搜狐云台中用于存储文件对象的容器, 每个文件对象都存储在一个空间当中 例如, 如果名为 folder/file.png 的文件存储在 testbucket 空间 ( 地理位置属于北京联通 ) 当中, 则可以使用 URL 来对该文件进行寻址访问 空间的用途包括 : 组织最高等级的搜狐云存储服务命名空间 识别负责存储和数据传输费用的账户 日志监控等记录数据的汇总单位等 空间的配置 : 指定区域创建空间 地域 (Region) 您可以选择一个地理区域供搜狐云台存储您创建的空间, 以便优化延迟 尽可能降低成本 目前有四个 Region 可选, 分别是北京联通, 北京电信, 上海电信和广州电信 文件 (Object) 文件对象是搜狐云台中存储的基本实体 文件由文件数据和元数据组成 数据部分对搜狐云台不透明 元数据是一组描述文件的名称 - 值对 其中包括一些默认元数据 ( 如上次修改日期 ) 和标准 HTTP 元数据 ( 如 Content-Type) 您还可以在存储文件对象时指定自定义元数据 键值 (Key) 键值是每个文件对象在存储空间中的唯一标识 元数据 (Metadata) 对象元数据是一组名称值对 服务访问地址 (Endpoint) 服务访问地址对应的是提交请求时所访问的域名 空间在整个云存储服务中名字是全局唯一的, 所以在访问的时候只要空间名字正确, 最终能访问到正确的空间 如果服务访问地址不正确, 请求就会被提交到错误的服务器上, 这样我们的服务就必须查询空间的位置并且做一次请求转向, 把请求打到正确的访问地址 如果在访问时设置了正确的服务访问地址, 就能减少一次网络转发, 从而提高访问速度 在进行文件的上传下载等操作的时候建议使用正确的访问地址 前缀 (Prefix) 由于底层存储是按照 Key 的字典序来存储的, 所有以 Key 的前缀为条件的查询性能会更好, 建议用户按照一定的规律 ( 比如日期或者类别 ) 作为前缀来组织文件, 这样在查找的时候会有更高的效率 按照统一的前缀并使用 / 来分隔, 可以在管理界面中实现有层级文件夹的效果

4 - 搜狐云台账户访问密钥 (AccessKey&SecretKey) 账户访问密钥提供对账户拥有的搜狐云台资源的完全访问权限 以下是访问密钥示例 : AccessKey: 访问密钥 ID 例如 : 0j20WuGVoFkZBqb7xelSrQ== SecretKey: 私有访问密钥例如 : O+tdBlwHH3pMbZAjD841ww== 访问密钥 ID 可唯一标识搜狐云台账户 可以使用这些访问密钥向搜狐云存储服务发送经身份验证的请求

5 2.SCS Java 客户端 SohuSCSClient 是 SCS 服务的 Java 客户端, 与 SCS 服务器的交互方法都由该对象发起 它需要使用账户相关信息进行初始化 2.1 初始化客户端 为了完成与服务端的交互,SCS 客户端必须使用 AccessKey 和 SecretKey 完成初始化 初始化流程如下 : public class Main { public static void main(string[] args) { String accesskey = "<your accesskey>"; String secretkey = "<your secretkey>"; // 初始化 scs 客户端对象 SohuCSCredentials mycredentials = new BasicSohuCSCredentials(accesskey, secretkey); SohuSCSClient scs= new SohuSCSClient(myCredentials); 2.2 设置服务访问地址 (Endpoint) 为了使访问准确, 减少网络转发的时间消耗, 推荐初始化客户端后设置服务访问地址 服务访问地址目前有四个, 地址如下 : 北京联通 :bjcnc.scs.sohucs.com 北京电信 :bjctc.scs.sohucs.com 上海电信 :shctc.scs.sohucs.com 广州电信 :gzctc.scs.sohucs.com 设置服务访问地址代码如下 : scs.setendpoint("bjctc.scs.sohucs.com") 注意 : 在对空间或者空间内文件做操作的时候可以用如下代码进行服务访问地址设置 : scs.setendpoint(scs.getbucketlocation( ));

6 如果是需要发布出去的代码, 空间名称和空间的位置是确定的, 建议直接把 Endpoint 写成固定值, 这样能够减少一次网络请求, 让非北京联通节点的空间访问更快 2.3 签名认证 签名概述 签名 (signature) 用于验证请求的发送者身份, 签名是搜狐云台提供访问控制的一个重要措施, 比如上传文件的 http 请求需要提供正确签名才能成功上传文件 搜狐云台提供的公钥 (accesskey) 用于标识用户, 密钥 (secretkey) 用于用户计算签名和搜狐云台验证签名 其中 secretkey 必须保密, 只有用户和搜狐云台知道 签名计算方法 签名 (signature) 的计算方法包括以下两个步骤 : 1. 依据请求的信息构建出用来做签名计算的字符串 签名计算的字符串 = 请求方法名 + 换行 + 换行 + 请求头信息 + 换行 +/+ 空间名 /+key+ 子资源名注意 : 1) 请求方法名为如下几种类型之一 :put,post,delete,get,head; 2) key 为文件名 ;key 和子资源名可以不加 3) 请求头信息的构建方法如下 : 把请求头 Content-MD5, Content-Type, Date, 以及以 x-scs- 开头的请求头名字按照字典序排序, 遍历排序后的所有请求头 如果请求头以 x-scs- 开头, 则把请求头名字 +:+ 请求头所对应的值 + 换行合并起来, 否则只把请求头所对应的值 + 换行合并起来 ; 4) 子资源名只能为如下两种类型 :?acl,?location 2. 根据字符串计算签名先将秘钥与构建出来的字符串进行 HAMC-SHA1 算法加密, 然后对加密后得出来的字节流进行 Base64 编码, 该编码结果即为签名 signature

7 2.3.3 使用签名的方法 1 使用签名的方法是增加一个 Authorization 请求头, 值为 accesskey:signature 示例如下的 API: DELETE /testbucket/lhbtest HTTP/1.1 Host: bjcnc.scs.sohucs.com Date: :27:43 Authorization: signaturevalue (signaturevalue 形式是 :accesskey:signature) 上面的 Rest API 用来做签名计算的字符串如下 : delete application/x-www-form-urlencoded Wed, 15 Apr :27:48 UTC /new-test-cnc/1.jpg 当秘钥为 3ZN4hLLcC4P5SOWdsdZ4FQ== 时, 计算出来的签名是 : 1UJPXgNxKOhQ81eTF4rGvxfAmW4= 故此例中的 Authorization 请求头值 ( 即 signature Value ) 是 :e6ryvnfqsu9hvlbc7gx3ya==:1ujpxgnxkohq81etf4rgvxfamw4= 原理是 : 首先将秘钥与构建出来的字符进行 HAMC-SHA1 算法加密, 然后对加密后出来的字节流进行 Base64 编码 2 刷新 CDN 签名示例 PUT /cdn/purge HTTP/1.1 Host: cs.sohu.com User-Agent: Go 1.1 package http Connection: close Content-Length: 72 Authorization: b0ze6i2guuoqgmso6kax7a==:1uqkcknxo9orzoivci8c2vqgsbu= Content-Type: application/x-www-form-urlencoded Date: Tue, 14 Apr :00:44 UTC X-Request-With: XMLHttpRequest Accept-Encoding: gzip

8 说明 : 签名字符创如下 : put\n\napplication/x-www-form-urlencoded\ntue, 14 Apr :00:44 UTC\n/cdn/purge 2.4 获取当前用户信息 使用已初始化的客户端对象可以获取当前用户的账户信息 代码片段如下 : Owner owner = scs.getscsaccountowner(); System.out.println(owner.getId()); System.out.println(owner.getDisplayName());

9 3. 空间操作 3.1 空间限制 空间使用规范 每一个存储空间 (Bucket) 归创建它的搜狐云台账户所有 每个搜狐云台账户可以拥有最多 100 个空间 空间所有权不可转让给其他账户 但是, 如果空间内容为空, 您可以删除它 删除空间后, 该名称可供重用, 但是出于整个云存储系统安全性考虑, 您将无法重新使用该名称, 其他账户可以使用该名称创建空间 另请注意, 该名称可能需要过一段时间之后才能重用 因此, 如果您想要使用相同的空间名称, 请不要删除该空间 存储在空间中的文件对象无数量限制, 且无论您是使用很多空间, 还是仅使用少量空间, 性能方面都不会有差别 您可以在单个空间中存储所有文件, 也可以在多个空间中组织它们 您无法在空间中创建空间 由于空间操作针对集中的全局资源空间工作, 因此不适合在应用程序的高可用性代码路径上创建或删除空间 最好是在单独的初始化或设置不常运行的例程时创建或删除空间 如果您的应用程序自动创建了空间, 请选择不会导致命名冲突的空间命名方案 确保空间名称已被使用时, 您的应用程序逻辑会选择其他空间名称 空间命名规则 名字长度在 3 到 63 之内 ; 名字只支持由小写字母 数字 点和横杠组成 ; 名字中如包含点和横杠, 则不能出现在第一位和最后一位, 且不能临靠出现 不支持大写字母不支持包含 IPv4 格式 (X.X.X.X) 的字符串 3.2 创建空间 一般的创建空间请求如下 : import com.sohucs.sohucsclientexception; import com.sohucs.sohucsserviceexception; import com.sohucs.auth.basicsohucscredentials; import com.sohucs.auth.sohucscredentials; import com.sohucs.services.scs.sohuscsclient; import com.sohucs.services.scs.model.region; public class CreateBucket { public static void main(string[] args) {

10 SCS," + String accesskey = "<your accesskey>"; String secretkey = "<your secretkey>"; String bucketname = "<your bucket name>" // 初始化 scs 客户端对象 SohuCSCredentials mycredentials = new BasicSohuCSCredentials(accesskey, secretkey); // 生成证书 SohuSCSClient scs= new SohuSCSClient(myCredentials); try { scs.createbucket(bucketname, Region.BEIJING); System.out.println("bucket location=" + scs.getbucketlocation(bucketname)); catch (SohuCSServiceException e) { // 打印出失败的原因 System.out.println(e.getErrorCode()); System.out.println(e.getRequestId()); System.out.println(e.getStatusCode()); System.out.println(e.getMessage()); catch (SohuCSClientException e) { System.out.println("Caught an SohuCSClientException, " + "which means the client encountered " + "a serious internal problem while trying to communicate with "such as not being able to access the network."); System.out.println("Error Message: " + e.getmessage()); catch (Exception e) { e.printstacktrace(); 相关函数 : public Bucket createbucket(string bucketname) bucketname 为所要创建的空间名, 该函数会把空间创建在北京联通 public Bucket createbucket(string bucketname, Region region) Region 为枚举类型, 取值目前有四个 : 地域北京电信北京联通上海电信广州电信 Region Region.BEIJING Region.BEIJINGCNC Region.SHANGHAI Region.GUANGZHOUCTC 注意 : createbucket 函数返回的 bucket 对象只有 name 属性可以用, 其他对象均为空值

11 关于空间的其他请求和创建类似, 异常处理也一样, 此处不再贴出整段代码 3.3 删除空间 删除空间请求只有在空间里没有文件的时候才会成功, 否则抛出异常 public void deletebucket(string bucketname) 3.4 查看空间是否存在 public boolean doesbucketexist(string bucketname) 3.5 获取用户创建的空间列表 public List<Bucket> listbuckets() 3.6 获取空间所在地域 public String getbucketlocation(string bucketname) 该函数会返回之前四个服务访问地址之一

12 4. 文件操作 在进行文件操作之前, 建议首先设置服务访问地址 4.1 键值和元数据 键值 创建文件对象时, 要指定键值名称, 它在空间中唯一地标识该文件对象 例如, 在搜狐云台控制台中, 在突出显示空间时, 将显示空间中的文件对象的列表 这些名称即为文件对象的键值 键值的名称是一序列的 Unicode 字符, 它的 UTF-8 编码长度最大为 1024 个字节 注意 : 如果预计对搜狐云台的工作负载将超出每秒 100 个请求, 则建议遵循一下键值命名指导规则, 以实现最佳性能 文件键值命名指导规则 安全字符 字母数字字符 [0-9a-zA-Z] 和特殊字符! - _. * ( ) 以下是有效对象键名称的示例 : sohu-cloud-1 sohu.cloud_img-2014/11/01/mytest.jpg pics/2014/11/videotest.wmv 可能需要特殊处理的字符键值名称中的以下字符可能需要另外进行代码处理, 并且可能需要以十六进制形式在 URL 中编码或引用 其中部分字符是不可打印的字符, 浏览器无法处理它们, 这也需要特殊处理 : 和 ( & ) 美元 ( $ ) At ) 等于 ( = ) ASCII 字符范围 00 1F 十六进制 (0 31 十进制 ) 和 7F(127 十进制 ) 分号 ( ; ) 冒号 ( : ) 逗号 (, ) 加号 ( + ) 问号 (? ) 空格 大量连续空格可能会在某些使用情形中丢失 ( 特别是多个空格 )

13 要避免的字符您应避免在键值名称中使用以下字符, 因为这些字符需要进行大量的特殊处理以在所有应用程序间保持一致性 反斜杠 ( \ ) 大括号 ( { ) 不可打印的 ASCII 字符 ( 十进制字 符 ) 插入符号 ( ^ ) 井号 字符 ( # ) 百分比字符 ( % ) 重音符 / 反勾号 ( ` ) 方括号 ( [ ] ) 引号 大于 符号 ( > ) 波浪字符 ( ~ ) 竖线 ( ) 小于 符号 ( < ) 搜狐云台数据模型是一种扁平结构, 无层次结构 : 您创建空间, 空间存储文件对象 不存在子空间或子文件夹层次结构 ; 但您可以使用键名称前缀和分隔符推断逻辑层次结构 ( 如同搜狐云台控制台一样 ) 我们的控制台支持文件夹的概念 字符 / 不能放在文件名的开头 元数据 元数据分为两种 : 系统元数据和用户定义的元数据 系统定义的元数据对于空间中存储的每个文件对象, 搜狐云台均保留一组系统元数据 搜狐云台根据需要处理这些系统元数据 例如, 我们的云存储服务将保留文件对象创建日期和大小元数据, 并将这些信息用作文件管理的一部分 用户定义的元数据在一般的操作中, 元数据是在上传文件时进行设置的 在上传对象完成后, 依然有如下部分元数据可以通过 SDK 进行更改 : content-type, cache-control, expires, content-encoding, content-disposition 或者以 x-scs-meta- 开头的元数据 4.2 上传文件 根据上传数据的大小, 您可以使用两种方式进行上传 如果数据小于 200M, 可以使用单一请求来上传文件如果您的数据大于 200M, 必须使用分段上传 使用单一请求上传 单一请求是指只用一个 put 操作就可以完成上传, 对应 SDK 中就是只使用一个调用完成上传 上传文件的请求如下 :

14 import com.sohucs.sohucsclientexception; import com.sohucs.sohucsserviceexception; import com.sohucs.auth.basicsohucscredentials; import com.sohucs.auth.sohucscredentials; import com.sohucs.services.scs.sohuscsclient; import com.sohucs.services.scs.model.objectmetadata; import com.sohucs.services.scs.model.putobjectresult; import java.io.*; public class putobject { public static void main(string[] args) { String accesskey = "<your accesskey>"; String secretkey = "<your secretkey>"; String bucketname = "<your bucketname>"; String filepath = "<your file path>"; String key = "<key your want to save>"; // 初始化 scs 客户端对象 SohuCSCredentials mycredentials = new BasicSohuCSCredentials(accesskey, secretkey); // 生成证书 SohuSCSClient scs= new SohuSCSClient(myCredentials); scs.setendpoint(scs.getbucketlocation(bucketname)); try { PutObjectResult result = scs.putobject(bucketname, key, new File(filepath)); System.out.println(result.getETag()); catch (SohuCSServiceException e) { // 打印出失败的原因 System.out.println(e.getErrorCode()); System.out.println(e.getRequestId()); System.out.println(e.getStatusCode()); System.out.println(e.getMessage()); catch (SohuCSClientException e) { System.out.println("Caught an SohuCSClientException, " + "which means the client encountered " + "a serious internal problem while trying to communicate with SCS," + "such as not being able to access the network."); System.out.println("Error Message: " + e.getmessage()); 注意 : 如果上传的内容是从 InputStream 读取而不是 file, 则需要设置一下该文件对应元数据的

15 ContentLength, 参见后面示例, 上传 InputStream 里的文件内容如果想确认上传的文件和自己本地的文件一致, 可以在上传时计算出 Content-MD5 值并且设置到 metadata 中, 这样服务器接到文件时会验证 MD5 值, 如果不一致则返回错误 设置 MD5 代码如下 : metadata.setcontentmd5(md5str); 使用分块上传 API 上传 对于用 putobject 直接上传的文件, 服务器限制了不能超过 200M 更大的文件可以用分块上传请求来传到服务器上 分段上传允许上传单块数据作为一组分块 每个分段都是数据元数据的连续部分 您可以独立上传以及按任意顺序上传这些数据元分段 如果任意分段传输失败, 可以重新传输该分段且不会影响其他分段 当对象的所有段都上传后,SCS 将这些段组织起来, 然后创建对象 分块上传并不是一个单一的请求, 而是三种不同的请求综合而成 1. 初始化分块上传 告诉服务器分块上传要传到的空间和它的 Key, 服务器会针对这个请求返回一个 uploadid, 后续操作由空间,Key 和 uploadid 来确定属于同一个连续上传操作 2. 上传分块 指定空间,Key 和 uploadid 后, 带着区块序号和大小来把这个文件的区段上传到服务器上 3. 完成上传 因为在分块上传时文件是分散上传的, 服务器每次只是知道文件块的序号, 大小和内容, 无法确定文件是否读取完成, 所以在所有文件块都上传完毕时需要告诉服务器文件已经上传完成, 否则这个文件是无法访问的 完成上传的请求需要的参数是空间,Key, uploadid 和分块上传请求返回的 etag 分片上传的操作限制 : 分片大小 5M~16M, 文件大小 5M~ 无限制示例代码如下 : package test; import com.sohucs.sohucsclientexception; import com.sohucs.sohucsserviceexception; import com.sohucs.auth.basicsohucscredentials; import com.sohucs.auth.sohucscredentials; import com.sohucs.services.scs.sohuscsclient; import com.sohucs.services.scs.model.*; import java.io.file; import java.util.arraylist; public class multipartupload { public static void main(string[] args) { String accesskey = "<your accesskey>"; String secretkey = "<your secretkey>"; String bucketname = "<your bucketname>"; String filepath = "<your file path>"; String key = "<key your want to save>"; // 初始化 scs 客户端对象 SohuCSCredentials mycredentials = new

16 BasicSohuCSCredentials(accesskey, secretkey); // 生成证书 SohuSCSClient scs= new SohuSCSClient(myCredentials); scs.setendpoint(scs.getbucketlocation(bucketname)); try { // Step 1: Initialize. InitiateMultipartUploadRequest initrequest = new InitiateMultipartUploadRequest(bucketName, key); InitiateMultipartUploadResult initresponse = scs.initiatemultipartupload(initrequest); File file = new File(filepath); long contentlength = file.length(); long partsize = 8 * 1024 * 1024; // Set part size to 8 MB. List<PartETag> partetags = new ArrayList<PartETag>(); try { // Step 2: Upload parts. long fileposition = 0; for (int i = 1; fileposition < contentlength; i++) { // Last part can be less than 5 MB. Adjust part size. partsize = Math.min(partSize, (contentlength - fileposition)); // Create request to upload a part. UploadPartRequest uploadrequest = new UploadPartRequest().withBucketName(bucketName).withKey(key).withUploadId(initResponse.getUploadId()).withPartNumber(i).withPartSize(partSize).withFileOffset(filePosition).withFile(file); // Upload part and add response to our list. partetags.add(scs.uploadpart(uploadrequest).getpartetag()); fileposition += partsize; System.out.println("uploaded size:" + fileposition); // Step 3: complete. CompleteMultipartUploadRequest comprequest = new CompleteMultipartUploadRequest(bucketName,key, initresponse.getuploadid(),partetags); scs.completemultipartupload(comprequest); System.out.println("finished upload."); catch (Exception e) { // canceled upload when upload failed. you can retry when upload error scs.abortmultipartupload(new AbortMultipartUploadRequest( bucketname, key, initresponse.getuploadid())); catch (SohuCSServiceException e) { // 打印出失败的原因 System.out.println(e.getErrorCode()); System.out.println(e.getRequestId()); System.out.println(e.getStatusCode()); System.out.println(e.getMessage());

17 catch (SohuCSClientException e) { System.out.println("Caught an SohuCSClientException, " + "which means the client encountered " + "a serious internal problem while trying to communicate with SCS," + "such as not being able to access the network."); System.out.println("Error Message: " + e.getmessage()); 注意 : SDK 上传时并没有进行 MD5 验证, 如需确保上传的文件和源文件一致, 请在生成分片上传请求时使用 uploadrequest.withmd5digest("<md5str>") 分块上传其他操作 分块上传是一个服务器有状态的行为, 如果一组操作中断, 可以对服务器的状态进行查询和清理 查看一个空间里正在分块上传的文件 : ListMultipartUploadsRequest request = new ListMultipartUploadsRequest(bucketName); MultipartUploadListing listing = scs.listmultipartuploads(request); for(multipartupload part:listing.getmultipartuploads()) { System.out.println(part.getInitiated() + " " + part.getkey()+ " " + part.getuploadid() + " " + part.getowner()); 取消分块上传的文件 : AbortMultipartUploadRequest request = new AbortMultipartUploadRequest(bucketName, key, uploadid); scs.abortmultipartupload(request); 4.3 获取文件 获取文件的调用比较简单, 关键代码如下 : SCSObject object = scs.getobject(bucketname, key); InputStream is = object.getobjectcontent();

18 这种方式是最简单的获取文件信息的方式,is 中就是文件内容, 后续可以做处理或者写入本地文件 特别的, 如果想把文件存到本地, 有一种方式会比较方便 : GetObjectRequest request = new GetObjectRequest(bucketName, key); scs.getobject(request, new File(savepath)); 这样会将文件直接写到 savepath 中 4.4 复制文件 scs 支持不经过本地直接通过复制操作创建副本 通过使用复制操作您可以完成以下操作 : 创建文件的其他副本复制文件并删除原始数据来重命名把一个空间里的数据直接复制到其他空间中 复制文件关键代码如下 : scs.copyobject(bucketname, key, destbucketname, destkey); 注意 : 目前只支持同一节点 ( 地域 ) 的空间之间拷贝数据分片上传的文件不需要特殊处理, 可以使用同一接口 4.5 删除文件 删除单个文件 scs.deleteobject(bucketname, key); 一个请求删除多个文件 使用 DeleteObjectsRequest 请求可以在一个请求中批量删除多个文件 DeleteObjectsRequest request = new DeleteObjectsRequest(bucketName); List<DeleteObjectsRequest.KeyVersion> list = new LinkedList<DeleteObjectsRequest.KeyVersion>();

19 // 删除某个文件 list.add(new DeleteObjectsRequest.KeyVersion("key2", "versionid")); request.setkeys(list); scs.deleteobjects(request); 4.6 列出空间里的文件 listobject 接口可以列出空间里文件的 Key, 它允许以以下形式列出空间里的文件 Key: 直接列出空间里的 Key 按照固定前缀列出文件 Key( 列出某个文件夹中的文件 Key) ObjectListing listing = scs.listobjects(bucketname); for (SCSObjectSummary summary : listing.getobjectsummaries()) { System.out.println(summary.getKey() + \t + summary.getlastmodified() + \t + summary.getetag()); 或者想查询某个前缀 ( 文件夹中 ) 的文件, 可以这样调用 : ObjectListing listing = scs.listobjects(bucketname, prefix); 4.7 操作文件的元数据信息 1. 获取元数据获取文件元数据方法如下 : ObjectMetadata metadata = scs.getobjectmetadata(bucketname, key); System.out.println(metadata.getContentType()); 2. 修改元数据存在 SCS 上的文件的元数据, 有一些元数据字段是可以直接修改的 修改文件元数据的方法如下 : Map<String, String> usermetadata = new HashMap<String, String>(); usermetadata.put( Content-Type, text/plain ); PutObjectMetaDataRequest request = new PutObjectMetaDataRequest(bucketName, key, usermetadata, null); scs.putobjectmetadata(request); 可以实现批量修改元数据, 与此方法类似, 参考 PUT Multiple Metadata 接口

20 5. 常见处理 5.1 简易示例 以下是一个基本的 demo, 演示了三个基本功能, 创建桶, 上传文件和下载文件 import com.sohucs.sohucsclientexception; import com.sohucs.sohucsserviceexception; import com.sohucs.auth.basicsohucscredentials; import com.sohucs.auth.sohucscredentials; import com.sohucs.services.scs.sohuscsclient; import com.sohucs.services.scs.model.bucket; import com.sohucs.services.scs.model.scsobject; import java.io.*; public static void main(string[] args) { try{ String accesskey = "<your accesskey>"; String secretkey = "<your secretkey>"; String bucketname = "<your bucket>"; String key = "<file name you want to show in server>"; String filepath = "<file path you want to upload>"; // 初始化 scs 客户端对象 SohuCSCredentials mycredentials = new BasicSohuCSCredentials(accesskey, secretkey); // 生成证书 SohuSCSClient scs= new SohuSCSClient(myCredentials); // 创建空间 Bucket bucket = scs.createbucket(bucketname); // 上传文件 File file = new File(filepath); // 第二个参数名为 key, 服务器上空间里的 key 是和我们想的文件名相对应的概念 scs.putobject(bucketname, key, file); // 下载文件 SCSObject object = scs.getobject(bucketname, key); InputStream in = object.getobjectcontent(); // 获取改文件在服务器上的名字进行存储, 此处和 key 相同 String localfilename = object.getkey(); String savedirstr = "< directory you want to download to>"; File savedir = new File(saveDirStr); if (!savedir.exists()) { if (!savedir.mkdir()) { System.err.println("create directory " + savedirstr + " failed");

21 return; else if (!savedir.isdirectory()) { System.err.print(saveDirStr + " is not a directory"); return; File outfile = new File(saveDir, localfilename); outfile.createnewfile(); OutputStream out = new FileOutputStream(outfile); byte[] buff = new byte[4096]; int n = 0; while ((n = in.read(buff))!= -1) { out.write(buff, 0, n); in.close(); out.close(); catch (SohuCSServiceException e) { // 打印出失败的原因 System.out.println(e.getErrorCode()); System.out.println(e.getRequestId()); System.out.println(e.getStatusCode()); System.out.println(e.getMessage()); catch (SohuCSClientException e) { System.out.println("Caught an SohuCSClientException, " + "which means the client encountered " + "a serious internal problem while trying to communicate with SCS,"+ "such as not being able to access the network."); System.out.println("Error Message: " + e.getmessage()); catch (Exception e) { e.printstacktrace(); 5.2 上传 InputStream 里的文件内容 实际使用中上传文件时的文件来源可能是各种形式而不是 File, 该示例演示了把 FileInputStream 转换成 ByteArrayInputStream 进行输入的用法 FileInputStream 可以用其他形式的 InputStream 替代 import com.sohucs.sohucsclientexception; import com.sohucs.sohucsserviceexception; import com.sohucs.auth.basicsohucscredentials; import com.sohucs.auth.sohucscredentials; import com.sohucs.services.scs.sohuscsclient; import com.sohucs.services.scs.model.objectmetadata;

22 import com.sohucs.services.scs.model.putobjectresult; import java.io.*; public class putobject { final static int BUFFER_SIZE = 1024; final static int MAX_CONTENT_LENGTH = 1024 * 1024 * 200; public static void main(string[] args) { String accesskey = "<your accesskey>"; String secretkey = "<your secretkey>"; String bucketname = "<your bucket>"; String key = "<file name you want to show in server>"; String filepath = "<file path you want to upload>"; // 初始化 scs 客户端对象 SohuCSCredentials mycredentials = new BasicSohuCSCredentials(accesskey, secretkey); // 生成证书 SohuSCSClient scs= new SohuSCSClient(myCredentials); scs.setendpoint(scs.getbucketlocation(bucketname)); try { InputStream is = new FileInputStream(new File(filepath)); byte[] data = inputstream2bytearray(is); ObjectMetadata metadata = new ObjectMetadata(); ByteArrayInputStream instream = newbytearrayinputstream(data); metadata.setcontentlength(data.length); PutObjectResult result = scs.putobject(bucketname, key, instream,metadata); System.out.println(result.getContentMd5()); catch (FileNotFoundException e) { e.printstacktrace(); catch (IOException e) { e.printstacktrace(); catch (SohuCSServiceException e) { // 打印出失败的原因 System.out.println(e.getErrorCode()); System.out.println(e.getRequestId()); System.out.println(e.getStatusCode()); System.out.println(e.getMessage()); catch (SohuCSClientException e) { System.out.println("Caught an SohuCSClientException, " + "which means the client encountered " + "a serious internal problem while trying to communicate withscs," + "such as not being able to access the network."); System.out.println("Error Message: " + e.getmessage()); public static byte[] inputstream2bytearray(inputstream instream) throws IOException

23 { ByteArrayOutputStream outstream = new ByteArrayOutputStream(); byte[] data = new byte[buffer_size]; int count = -1; long totalcount = 0; while((count = instream.read(data,0,buffer_size))!= -1) { outstream.write(data, 0, count); totalcount += count; if (totalcount > MAX_CONTENT_LENGTH) { throw new IOException("content length for current request exceeds max threshold 200M"); return outstream.tobytearray(); 5.3 遍历空间里的文件 该用法综合使用了 istruncated 和 setmarker 来遍历空间中的文件 import com.sohucs.sohucsclientexception; import com.sohucs.sohucsserviceexception; import com.sohucs.auth.basicsohucscredentials; import com.sohucs.auth.sohucscredentials; import com.sohucs.services.scs.sohuscsclient; import com.sohucs.services.scs.model.listobjectsrequest; import com.sohucs.services.scs.model.objectlisting; import com.sohucs.services.scs.model.scsobjectsummary; public class traversebucket { public static void main(string[] args) { String accesskey = "<your accesskey>"; String secretkey = "<your secretkey>"; String bucketname = "<your bucketname>"; // 初始化 scs 客户端对象 SohuCSCredentials mycredentials = new BasicSohuCSCredentials(accesskey, secretkey); // 生成证书 SohuSCSClient scs= new SohuSCSClient(myCredentials); scs.setendpoint(scs.getbucketlocation(bucketname)); try { ListObjectsRequest request = new ListObjectsRequest().withBucketName(bucketName);

24 ObjectListing listing; do { listing = scs.listobjects(request); for (SCSObjectSummary summary : listing.getobjectsummaries()) { // do some thing here System.out.println(summary.getKey()); request.setmarker(listing.getnextmarker()); while (listing.istruncated()); System.out.println("end"); catch (SohuCSServiceException e) { // 打印出失败的原因 System.out.println(e.getErrorCode()); System.out.println(e.getRequestId()); System.out.println(e.getStatusCode()); System.out.println(e.getMessage()); catch (SohuCSClientException e) { System.out.println("Caught an SohuCSClientException, " + "which means the client encountered " + "a serious internal problem while trying to communicate withscs," + "such as not being able to access the network."); System.out.println("Error Message: " + e.getmessage()); 5.5 删除某个前缀开头 ( 文件夹中 ) 的文件 综合使用了遍历和批量删除, 运行该例子时有些需要注意 : 运行该 demo 前请务必确认参数正确 import com.sohucs.sohucsclientexception; import com.sohucs.sohucsserviceexception; import com.sohucs.auth.basicsohucscredentials; import com.sohucs.auth.sohucscredentials; import com.sohucs.services.scs.sohuscsclient; import com.sohucs.services.scs.model.deleteobjectsrequest; import com.sohucs.services.scs.model.listobjectsrequest; import com.sohucs.services.scs.model.objectlisting; import com.sohucs.services.scs.model.scsobjectsummary; import java.util.linkedlist; import java.util.list;

25 public class deletefolder { public static void main(string[] args) { String accesskey = "<your accesskey>"; String secretkey = "<your secretkey>"; String bucketname = "<your bucketname>"; // 初始化 scs 客户端对象 SohuCSCredentials mycredentials = new BasicSohuCSCredentials(accesskey, secretkey); // 生成证书 SohuSCSClient scs= new SohuSCSClient(myCredentials); scs.setendpoint(scs.getbucketlocation(bucketname)); try { ListObjectsRequest request = newlistobjectsrequest().withbucketname(bucketname).withprefix("<prefix>"); ObjectListing listing; do { listing = scs.listobjects(request); DeleteObjectsRequest delrequest = new DeleteObjectsRequest(bucketName); List<DeleteObjectsRequest.KeyVersion> list = new LinkedList<DeleteObjectsRequest.KeyVersion>(); for (SCSObjectSummary summary : listing.getobjectsummaries()) { System.out.println(summary.getKey()); list.add(new DeleteObjectsRequest.KeyVersion(summary.getKey())); delrequest.setkeys(list); scs.deleteobjects(delrequest); request.setmarker(listing.getnextmarker()); while (listing.istruncated()); catch (SohuCSServiceException e) { // 打印出失败的原因 System.out.println(e.getErrorCode()); System.out.println(e.getRequestId()); System.out.println(e.getStatusCode()); System.out.println(e.getMessage()); catch (SohuCSClientException e) { System.out.println("Caught an SohuCSClientException, " + "which means the client encountered " + "a serious internal problem while trying to communicate withscs," + "such as not being able to access the network."); System.out.println("Error Message: " + e.getmessage());