API 网关在 大数据开放中的应 用 童剑 白 山 CTO 兼联合创始 人 2017/03/18
前 言 关于 大数据的 一些说法 数据是新的 石油 数据是 一种能源 马云 : 人类正从 IT 时代 走向 DT 时代 数据越来越多之后 各国政府也在推动政务数据的开放, 包括中国政府 企业和公共服务机构的数据如何 二次利利 用? 数据开放共享有多种形式, 该如何选择? 本次分享关键词 : 数据开放共享 API 网关 API 全 生命周期管理理
内容 大纲 1. 目的 形式和趋势 2. 开发的难点所在 3. API 网关和新的开发 工具
大数据开放共享的 目的 挖掘数据的商业价值 提升数据资源应 用的能 力力
数据开放共享的形式 应 用 文件 数据库 API
通过 API 开放数据是主流形式 成功案例例 : 哪些有影响 力力的 API 开放平台 微信微博 FACEBOOK
API 正在变的越来越重要 API: Application Programming Interface 应 用程序编程接 口 从最早的本地库函数 API, 到 RPC 和 SQL 模式, 再到 Web API 模式, 新的 API 应 用形式越来越多, 可以说 API 是未来数字 生活和经济的基 石
趋势 一 : 数量量的快速发展 数据统计来源 : ProgrammableWeb 该公司收录了了超过 15000 个开放的 API 私有 API 数量量更更加巨 大
趋势 二 : 移动应 用和云服务 大量量 用 API API 1 2 3 4 以 API 形式交付的云服务企业 用API 开放数据和功能应 用的多平台化云服务之间相互集成
趋势三 : 越来越被物联 网所依赖 NO API NO IOT 物联 网设备 依赖云端 API 实现数据与通讯服务
更更重要的趋势 : API 经济 ( 互联 网 +)
API 经济 (Economy) 国务院印发 促进 大数据发展 行行动纲要 企业正通过 API 经济重塑商业模式 : 保险 金金融 交通 API 经济的价值链 智能家居 智能汽 车 物联 网 工业 4.0 等, 将会更更多使 用 API 2016 年年美国 50% 的 B2B 贸易易通过 Web API 完成 (Gartner)
API 开放数据也有点难
数据开放平台的架构 IOS Android Web App 物联 网 设备 各种 云服务 第三 方 企业 数据开放平台 (Restful API) Kylin Druid HBase MySQL Hadoop/Spark 大数据处理理平台 内部 API 其他数据源
数据开放的各种顾虑 如何保证安全性 数据保密 开发需要投 入认证授权运营 支持 代码和 文档维护
API 的开发体验也很糟糕 性能和稳定性差, 一个接 口问题引起全局雪崩 数据源格式多样化, 对接和管理理复杂 没有 API 生命周期的概念, 旧 API 下线很麻烦 API 无具体规范, 沟通 调试 接 入成本巨 大 文档不不全, 或和代码不不同步 升级过程中 无法灵活控制新 老老版本的更更替 测试成本较 大, 自 己开发测试脚本, 或 人 肉测试
怎么做好数据开放平台
API 要这样开发才够愉快 统 一的规范 自动 生成 文档 SDK 后端 统 一的认证 方式, 不不 用重复实现 自动 生成测试服务 前后端开发分离 无缝衔接 新 老老版本 无缝上下线, 或者多版本同时在线, 逐步下线 老老版本 方便便接 入各种云服务, 比如可以直接 用 RunScope 进 行行 API 监控, 而 无需复杂的设置 配合 网关 微服务以及新兴结构化存储服务简化后端开发
API 开发和管理理 方法在变 革 人 工 生产线 VS 标准化 自动化 VS
API 管理理和开发的最佳实践 API 全 生命周期管理理 Full Lifecycle Management 生命周期 十个阶段 管理理体系架构 API 网关 - Gateway 设计和开发 :Swagger/OAI 相关 工具
API 完整 生命周期 安全 授权 重视 生命周期的每个阶段 监控 分析 管理理 退役 部署 扩容 设计 开发
API 平台的管理理体系 开发者服务 Developer Portal 新 手引导 API 目录 API 文档 服务条款 讨论区 API 管理理 API 生命周期管理理 设计 开发 发布 管理理和退休 API 网关 认证和授权 加密 攻击防护 配额 流量量控制 API 运维 监控和异常处理理 版本管理理 关键指标 SLA 分析 访问量量 计费
API 平台的技术架构 3 2 1
API 网关 (Gateway) 将所有 API 共性的功能统 一放在 Gateway 上实现 1. 认证授权 :OAuth2 OpenID API Key IP 限制 2. 传输安全 :SSL TLS 3. 流量量控制 : 配额 过载保护 频率限制 4. 威胁防护 : 防抓站 防撞库 DDoS/CC 防护 5. 编排转换 : 服务分组 7 层路路由 协议格式转换 6. 监控分析 : 访问量量实时统计 性能监控 访问分析 7. 统计计费 : 针对不不同 用户 不不同 API 分组 SQL REST JSON SOAP XML 8. 缓存加速 : 毫秒级缓存 请求队列列 异步化
API 设计和开发 前后端开发分离提 高效率 目标 : 后端只负责数据的计算和输出, 前端负责数据组织和展现 但 一些问题是 : 最后集成时商量量好的数据结构发 生了了变化, 需要反复 API 没有统 一标准, 前端 人员花时间读 文档和适配, 重复性 工作 前端需要等待后端完成 API 开发才能集成, 说好的并 行行开发呢? 持续集成 持续交付 快速迭代如何实现? 前后端并 行行开发 又如何实现? 随着移动 App 开发的兴起,Swagger RAML 等描述语 言和 工具出现了了
OAI 和 Swagger Open API 计划 (OAI) 由前瞻性 行行业专家组成的联盟创建, 他们认识到标准化 REST API 的标准的巨 大价值, 致 力力于推 广其统 一的 API 描述格式 (Swagger) SmartBear 将 Swagger 规范直接捐赠给 OAI 作为其规范的基础 Swagger 是 一个规范和完整的框架, 用于 生成 描述 调 用和可视化 RESTful 风格的 Web 服务, 它由 文档 生成器器 编辑器器 代码 生成器器以及很多第三 方 工具组成 The Swagger specification is a powerful definition format to describe RESTful APIs. The Swagger specification creates a RESTful interface for easily developing and consuming an API by effectively mapping all the resources and operations associated with it. It s easy-tolearn, language agnostic, and both human and machine readable.
用 Swagger 进 行行 API 设计和开发 Swagger 带来的好处 : 自动 生成 一个优美的 API 文档, 实时预览 让 API 文档总是与 API 定义同步更更新, 是 一件 非常有价值的事 自动 生成服务器器所需要的代码结构, 并可以快速实现 Mock API 自动 生成不不同语 言的客户端 SDK Swagger 相关的开源 工具 Swagger Editor: 所 见即所得编辑器器, 用于 API 设计, 基于 Swagger 描述语 言 Swagger Codegen: 自动 生成前后端代码 SDK 的 工具, 支持主流编程语 言 Swagger UI: 通过 Swagger 描述 自动 生成 文档 更更多的开源项 目实现的功能 (http://swagger.io/open-source-integrations/) 参数验证 通过代码注释 自动 生成 文档 远程调 用框架 (grpc) 开发测试等等
有了了 Swagger 契约 还能做什什么? API 设计 (RESTful API design, without coding) https://restlet.com/products/ restlet-studio/ http://stoplight.io/ https://gelato.io/ API 自动测试 runscope postman Swagger API 自动 生成, 运 行行环境托管, 微服务等 (Easy deploy, secure and run APIs) https://restlet.com/ products/apispark/ AWS Gateway + Lambda DreamFactory API 市场 https://market.mashape.com/ https://www.rapidapi.com/ 目标 : Without coding 自动化 安全 Serverless
Swagger 和其它描述语 言的对 比
技术社区的对 比 参考资料料 :http://www.slideshare.net/smartbear_software/api-strat-2014metadataformatsshort
API 管理理的资源 用作 API 网关的开源软件 提供 API 管理理产品的公司
其他可供参考的资源 参考链接 : https://www.openapis.org/ http://swagger.io/ http://www.infoq.com/cn/articles/document-description-formats-web-apis?winzoom=1 支持 Swagger 的云服务 : Baishancloud:http://juhe.baishancloud.com/gateway.html SwaggerHub:https://swaggerhub.com/ Akana:https://www.akana.com/ Runscope:https://www.runscope.com/ Restlet:http://restlet.com/ Soapui:https://www.soapui.org/ Axway:http://axway.com/ Stoplight:http://stoplight.io/ Postman:https://www.getpostman.com/ Apigee:https://apigee.com
白 山云聚合解决 方案 云聚合为企业提供应 用API 加速 API 防护 API 网关和管理理等技术服务, 有效保障 网站安全, 提升访问速度, 帮助企业快速构建数据开放平台, 帮助数据发挥更更 大的价值 云聚合产品是基于 高性能可扩展的技术架构开发, 也拥有 大数据实时分析的安全技术, 代表了了当今最为前沿的技术趋势 网站链接 :http://juhe.baishancloud.com/gateway.html
THANKS!