以互联网数据为关键资产的数字化转型 王仕,AWS 金融行业解决方案架构师
数字化转型在金融科技层面, 究竟会发生什么样的变化, 这是金融科技部门开展数字化转型的第零步 使用模式人员思维产品形态 开发模式合作模式 团队组织 技术平台 数据架构应用架构 开发运维管理工具 自动化程度 信息化转型 专线支持的网点 ATM POS 机等客户场景 项目经理思维, 架构师思维 以金融机构为视角的专业化产品 基于完整需求进行瀑布式开发 业务部门定义产品, 科技部门实现产品 由项目经理 架构师 领域开发人员组成的开发中心 测试中心和数据中心 自建, 私有云 大数据 MVC/ 三层 开发工具 运维工具 实现 人管机器 的技术自动化 数字化转型 互联网生态及自有 App 的用户场景 产品思维 数据思维 以客户体验为核心的生态化产品 基于体验点进行敏捷开发 业务部门和科技部门共同定义产品 包含项目经理 产品经理 全栈开发组成的两个比萨团队 自建 + 租用, 私有云 + 公有云 数据湖 现代化应用 DevOps AIOps 业务自动化
这些变化会带来什么价值? 高效 连接和创新是数字化转型被普遍认可的价值 FINRA 金融监管局基于 AWS 数据湖 AI 等多种架构和技术, 实现对每天 750 亿笔交易的动态实时监管 这有力证明了三大价值 监管模型开发 生产环境 Data Engineering Python, R, Scala, SQL Data Observation-1 Observation-2 Observation-n Model Selection Python, R, Scala Chosen Model Test Trained Model Scoring EGR Iterative Notebook Promotion Data Framework Scala Python ML Framework Scala, Python, R Algorithms EC2 Data Framework Scala Python EC2 数据湖 FINRA herd S3
结合更多的案例, 我们不难看出, 数字化转型的关键资产是数据 那么, 如何利用好数据资产? 关键是要实现三个闭环 首先是业务上的闭环 亚马逊自身正是基于 Andes Data Marketplace 实现业务闭环, 有利支撑亚马逊公司 地球上最以客户为中心 战略目标的达成
结合更多的案例, 我们不难看出, 数字化转型的关键资产是数据 那么, 如何利用好数据资产? 关键是要实现三个闭环 首先是业务上的闭环 亚马逊自身正是基于 Andes Data Marketplace 实现业务闭环, 有利支撑亚马逊公司 地球上最以客户为中心 战略目标的达成
第二个闭环是数据的闭环 互联网数据和自有数据的融合和迭代是关键点 国内某商业银行正基于数据闭环的思想, 以 金融知识搜索引擎 为验证点, 跟 AWS 展开积极的合作探索, 以在节约成本的同时, 提高自研敏捷能力 更多需求 更佳体验
相比国外同业, 通常国内金融机构拥有更多的数据 数据湖是 存储和计算分离 的架构风格, 以更强的数据管理能力和更灵活的计算框架等特点, 正快速成为下一代的数据管理架构 目录和搜索 访问和用户接口 DynamoDB Elasticsearch Service AWS Glue 集中存储 AWS AppSync API Gateway Cognito Athena EMR AWS Glue Redshift DynamoDB AWS Snowball Kinesis Data Firehose AWS Direct Connect AWS Database Migration Service AWS Storage Gateway 数据摄取 QuickSight Kinesis Elasticsearch Service Neptune RDS AWS KMS AWS IAM AWS CloudTrail 管理和安全 CloudWatch 分析和服务
AWS 基于大量用户实践, 提炼数据湖参考架构以帮助金融机构解决包括 主机环境和开放环境的数据闭环 等问题 On-premise Region Ingest Transform Glue Catalog Analyze/Visualize 1 Mainframe 5 Glue Crawler Glue Crawler Glue Crawler Kinesis Firehose Raw layer Glue ETL job Processed layer Glue ETL job Consumption layer Athena QuickSight Real time analytics Kafka Kinesis Streams 2 Kinesis 3 Data Analytics Kinesis Streams DynamoDB 4 App
第三个闭环是技术的闭环 Vanguard 基金正基于 云数据架构 模式, 实现 云上和云下 的技术闭环, 完成敏态 IT 和稳态 IT 的有机整合 Replicator μservice Dispatcher μservice Big Data DB Writers Event Writers CDC Extended Hub CDC
实现这三个闭环后, 如何进一步激活数据资产? 是专注提升数据量的大小, 还是加大数据集的丰富度? 关键还是在于提升数据资产的活力, 也就是提升 热度 提升 热度, 首先是开放 BBVA 银行以 API Market 开放数据, 为客户提供包括 PayStats SEL 在内的 16 类 API 服务, 提升数据热度, 加大金融生态收益 MONITORING Prometheus CloudWatch ElasticSearch MICROSERVICES APIs (Retail, Business, Notifications, etc.) BBVA's online banking t ARMADILLO Datos Sel Datos PayStats RDS BUSINESS INTELLIGENCE ETL S3 RabbitMQ
提升 热度 第二个关键点在于金融机构的成员都能够参与进来 Vanguard 基金基于 CTO office LOB IT 和 BU Stuff 的三级模式, 力争实现 人人都是数据科学家, 加快整体创新的力度 On-premise AWS Cloud Region Bitbucket Control-M EC2 Job Node Bamboo Plugin Bamboo EC2 Anaconda Repo CFT, JSON, Ansible, YAML Browser Ephemeral EMR Cluster Hive/Hue Metastore Data Engineer and Data Scientists EC2 Tableau Server Data
提升 热度 第三个关键点还在于有更多的应用场景 仅在数据驱动的人工智能领域,AWS 已总结 48 个本地化场景, 为中国金融机构提供必要的参考建议 智能风控产品营销智能支付客户服务 智能投顾及投研
AWS 还总结包括营业网点智能监控 开发测试 保险互联网核心 双录在内的十大场景, 进一步提升数据 热度 从营业网点智能监控场景可以看出, 视频数据对客服 营销等业务部门在遗失物品主动找回 客流分析等关键环节有直接的帮助 市级安全指挥中心 AWS Cloud 电视墙 2. 结构化处理 3. 结构化信息查询 移动客户管理端 S3- 视频流 1. 视频通过 SDK 上传到 AWS Lambda Elasticsearch 6. 身份认证 4. 结构化信息存储 营业网点 7. 视频回放等使用 管理控制流 Cognito DynamoDB 5. 控制信息 移动端 5. 控制信息 API Gateway Lambda EC2
应用场景需要以云原生 敏捷和自动化为特征的现代化应用架构去具体落地 Liberty Mutual 保险在 智慧员工助手 应用上, 基于现代化应用架构实现了大幅提升员工满意度
Scotiabank 银行利用自动化的资源调度能力打造风控系统的现代化应用架构, 实现信用卡拖欠甄别上提升 20% 的良好效果 DeepLearni.ng Out-oftime dataset Percentage of charge-offs captured in bottom 10% DeepLearni.ng model Incumbent (in-house) model Lift Nov-14 54.5% 45.3% 20.3% ECR Jan-15 55.0% 46.2% 19.1% DSMI May-15 55.4% 46.8% 18.2% Aug-15 50.1% 42.1% 19.0% S3 model.code model.input.data model.output.results instances VPC subnet instances 使用 TensorFlow, 用 Python 编写 需要约 300 个来自信用机构和内部变量作为输入 通过网格搜索选择超参数 ( 学习率, 批量大小,#layers,#npl,#epochs, 激活函数...) 通过分层进行 10 倍交叉验证
Ally Banking 银行基于云原生技术快速实现数字化渠道的现代化应用架构, 有效提升用户体验 Ally Interactive API (AWS Lambda) Shared Services Ally Microservices Welcome AWS X-Ray AuthN APIs Accounts Alexa Transactions CloudWatch AuthN Token Secure Gateway Step Up Auth Enrollment APIs Transfers AWS IAM Banking APIs Developer Portal Voice Interaction Model Rates AWS KMS Notify Services CurrenSee
同样的,CapitalOne 银行借助 AWS 云原生技术栈, 在 AI 赋能的数字化渠道 数字化风控体系等场景下, 实现快速投产 Capita One AI 应用快速投产面临的主要问题 Capita One Build on AWS 的解决思路 Production is a hard place 投产是难点 Continuous Monitoring 持续监控 Rapid ML model refit/deploy Rapid ML 模型改装 / 部署 Democratize AI, Maximize scarce experts There is a lot more than the ML responsibly productivity model 负责任地民主化人工智能最大化稀缺专家的生产力只有 ML 模型远远不够 Model selection and Hyper-parameter Tuning 模型选择和超参调优 GPU Optimization GPU 优化 Self-service 自服务 Remember the infrastructure 记得基础设施的重要性 Built on AWS ML takes time, and technical debt ML 需要时间和解决技术债务
加快 热度 提升效率关键在敏捷 Liberty Mutual 保险的 Cloud Delivery Pipeline DevOps 的敏捷模式, 有利支撑 实时财务结算 的数字化转型 Work Intake Activiti Workflow Release Automation Process Data Store Build Automation Enable Test Automation Deployment & Monitoring Automation Project, Task, Story, Defect, Backlog (Git SCM) Continuous integration of Source Code Secrets Mgmt Automation Infrastructure- as- code Integrated and continuous delivery and deployment Provision App or Platform AWS CloudFormation Build Artefact Repository Environments
最后, 也是最关键的是需要有清晰的路线图 NAB 银行在 AWS 的帮助下, 制定爬 走 跑的三步路线图, 有序提升新品推向市场速度, 提升开发人员效率, 并提升资金使用效率 NAB AWS/Public Cloud Usage Over Time AMP v1 2012 2013 2014 2015 2016 2017 2018 Crawl Walk Run Establish Hosted Infrastructure Platform Team Perimeter controls Demarcation between application and infrastructure AWS formed community of practice 建立托管基础架构平台团队 - 边界控制 - 应用程序和基础架构之间的划分 AWS 组建实践社区 爬走跑 DC consolidation drives some material workloads to cloud Formal engagement with security and risk teams on cloud (CSAM foundation created) Standardized Landing Zone Patterns Direct Connect 数据中心整合驱使部分负载推向云端 正式参与云的安全和风险团队 ( 创建 CSAM Foundation) 标准化着陆区模式 Direct Connect 专线 Continuous Compliance Standards based framework for regulator engagement AWS Managed Services embedded for scale migration of COTS Developer Launch Pad for developer productivity NAB Cloud Guild 持续合规 基于标准的监管机构参与框架 嵌入的 AWS 托管服务用于 COTS 的规模迁移 为开发人员提供开发者发布 Pad NAB 云公会
清晰的路线图, 需要专业顾问的专业服务, 以减少试错成本, 提高迭代效率 AWS ProServe 专业服务团队整合全球资源, 在国内外多个项目上已成功支持金融机构的数字化转型 顾问咨询 大规模迁移 安全与合规 运营整合 输出亚马逊创新机制 制定企业上云策略和实施路线图 评估 设计 实施企业 存量应用系统向 AWS 的 平稳迁移 评估 设计云端的安全与合规性运维规范和自 动化 设计混合环境下的运营 规范和自动化 关键负载上云 DevOps 应用优化 业务连续 部署或迁移 SAP, Oracle, Microsoft 的关键系统上 AWS 评估和指导企业向研发运维一体化转型, 包括机构 流程和工具 协助和指导企业构建微服务 无服务器等云原生应用 采用 AWS 构建容灾环境和双活架构 大数据分析 协助企业选择应用场景 设计模型和算法 在 AWS 上部署和优化大数据分析 / 商务智能 的计算和存储平台 物联网 协助企业设计创新的物联网应用场景 在 AWS 上部署物联网平台并与分析 机器学习等高级服务集成 人工智能 / 机器学习 协助企业运用机器学习 / 智能技术与服务设计和实施创新的业务应用
清晰的路线图还需要金融机构员工融会贯通各阶段所必要的新技术知识 AWS 培训部门提供业界最经实践验证的完整培训路径, 成为国内金融机构寻找培训服务的首选 入门课程基础课程中级课程高级课程 决策者 Job Roles in the Cloud 免费在线培训 3 小时 AWS Business Essentials 讲师指导课程 1 天 Secrets to Successful Cloud Transformations 讲师指导课程 1 天 架构师开发人员运营管理 Architecting on AWS 讲师指导课程 3 天 Advanced Architecting on AWS 讲师指导课程 3 天 AWS Cloud Practitioner Essentials 免费在线培训 7 小时 AWS Technical Essentials Developing on AWS 讲师指导课程 3 天 讲师指导课程 1 天 DevOps Engineering on AWS 讲师指导课程 3 天 Systems Operations on AWS 讲师指导课程 3 天 专项课程 Migrating to AWS 讲师指导课程 2 天 Introduction to Machine Learning 免费在线培训 40 分钟 Big Data Technology Fundamentals 免费在线培训 3 小时 AWS Security Fundamentals 免费在线培训 3 小时 Deep Learning on AWS 讲师指导课程 1 天 Building a Serverless Data Lake 讲师指导课程 1 天 Big Data on AWS 讲师指导课程 3 天 Security Engineering on AWS 讲师指导课程 3 天 Running Container-Enabled Microservices on AWS 讲师指导课程 1 天 Data Warehousing on AWS 讲师指导课程 3 天
本着 Go Build 的核心理念, 为进一步支持金融机构数字化转型,AWS 在中国成立客户联合创新实验室, 提供技术资源和专家资源, 在一周时间内, 快速交付具备 Aha Moment 体验点特征的 MVP Pre-Lab 企业准备相应的人员 数据以及用例, AW S 协助企业定义一个实验原型目标 Im p lem entation AW S 协助企业将最小原型部署到相应的产品系统中, 并发掘迭代和进一步研发的机会 Qualificatio n AW S 协助企业评估数字化产品研发的切入点 AW S CESL 双方 ( 包括三方 ) 在 AW S 实验室内针对用例进行自动化测试实现最小原型, 并评估可实施效果
除了以上 AWS 支持金融机构数字化转型的实际例子之外 还有更多的金融机构选择 AWS 作为数字化转型的好帮手
这一切, 离不开包括合作伙伴的鼎力支持和帮助
APN 合作伙伴也在 AWS 合作伙伴生态体系里快速成长, 为金融机构提供更好的服务 Technology Providers Systems Integrators & Consultants
感谢参加 AWS 在线研讨会 我们希望您喜欢今天的内容! 也请帮助我们完成反馈问卷 欲获取关于 AWS 的更多信息和技术内容, 可以通过以下方式找到我们 : 微信公众号 :AWSChina 新浪微博 :https://www.weibo.com/amazonaws/ 领英 :https://www.linkedin.com/company/aws-china/ 知乎 :https://www.zhihu.com/org/aws-54/activities/ 视频中心 :http://aws.amazon.bokecc.com/ 更多线上技术活动 :https://aws.amazon.com/cn/about-aws/events/webinar/ AWS 中国 ( 宁夏 ) 区域由西云数据运营 AWS 中国 ( 北京 ) 区域由光环新网运营