PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

宏景
5 years ago
Views:

1 云时代的 DevOps 管理使用 A W S S e r v e r l e s s Application Model (AWS S A M ) 管理无服务器应用薛峰 A W S 解决方案架构师

3 无服务器应用程序的主要优势无需运维服务器按需扩容无需为空闲付费高可用和容灾

4 无服务器应用事件源函数服务数据状态变化请求端点资源状态变化 Node.js Python Java C#

5 常见 Lambda 使用场景 </> 网站应用静态网站复杂网站 app Flask 和 Express 包后端 Apps 和微服务 Mobile IoT 数据处理实时 MapReduce 批量聊天机器人支持 chatbot 逻辑 Amazon Alexa 支持面向语音的 apps Alexa Skills Kit IT 自动化策略引擎扩展 AWS 服务基础设施管理

6 触发 AWS Lambda 的事件源数据存储端点 Amazon S3 Amazon DynamoDB Amazon Kinesis Amazon Cognito Amazon API Gateway AWS IoT AWS Step Functions Alexa enabled device 开发和管理工具事件消息服务 AWS CloudFormation AWS CloudTrail AWS CodeCommit Amazon CloudWatch Amazon SES Amazon SNS Cron events 还有更多!

7 AWS 无服务器应用模型 (AWS SAM) 为无服务器优化的 CloudFormation 扩展新的无服务器资源类型 : functions, API 和表格支持 CloudFormation 支持的任何功能开放说明文档 (Apache 2.0)

8 AWS Serverless Application Model (AWS SAM) 为无服务器优化的 CloudFormation 扩展新的无服务器资源类型 : functions, API 和表格支持 CloudFormation 支持的任何功能开放说明文档 (Apache 2.0)

9 AWS CloudFormation 为基础设施创建模板 CloudFormation 基于依赖准备 AWS 资源像代码一样管理版本控制复制和更新集成开发 CI/CD 和管理工具支持 JSON 和 YAML 格式

10 CloudFormation 模板 AWSTemplateFormatVersion: ' ' Resources: GetHtmlFunctionGetHtmlPermissionProd: Type: AWS::Lambda::Permission Action: lambda:invokefunction Principal: apigateway.amazonaws.com FunctionName: Ref: GetHtmlFunction SourceArn: Fn::Sub: arn:aws:execute-api:${aws::region}:${aws::accountid}:${serverlessrestapi}/prod/any/* ServerlessRestApiProdStage: Type: AWS::ApiGateway::Stage DeploymentId: Ref: ServerlessRestApiDeployment RestApiId: Ref: ServerlessRestApi StageName: Prod ListTable: Type: AWS::DynamoDB::Table ProvisionedThroughput: WriteCapacityUnits: 5 ReadCapacityUnits: 5 AttributeDefinitions: - AttributeName: id AttributeType: S KeySchema: - KeyType: HASH AttributeName: id GetHtmlFunction: Type: AWS::Lambda::Function Handler: index.gethtml Code: S3Bucket: flourish-demo-bucket S3Key: todo_list.zip Role: Fn::GetAtt: - GetHtmlFunctionRole - Arn Runtime: nodejs4.3 GetHtmlFunctionRole: Type: AWS::IAM::Role ManagedPolicyArns: - arn:aws:iam::aws:policy/amazondynamodbreadonlyaccess - arn:aws:iam::aws:policy/service-role/awslambdabasicexecutionrole AssumeRolePolicyDocument: Version: ' ' Statement: - Action: - sts:assumerole Effect: Allow Principal: Service: - lambda.amazonaws.com ServerlessRestApiDeployment: Type: AWS::ApiGateway::Deployment RestApiId: Ref: ServerlessRestApi Description: 'RestApi deployment id: 127e3fb91142ab1ddc5f5446adb a90d' StageName: Stage GetHtmlFunctionGetHtmlPermissionTest: Type: AWS::Lambda::Permission Action: lambda:invokefunction Principal: apigateway.amazonaws.com FunctionName: Ref: GetHtmlFunction SourceArn: Fn::Sub: arn:aws:execute-api:${aws::region}:${aws::accountid}:${serverlessrestapi}/*/any/* ServerlessRestApi: Type: AWS::ApiGateway::RestApi Body: info: version: '1.0' title: Ref: AWS::StackName paths: "/{proxy+}": x-amazon-apigateway-any-method: x-amazon-apigateway-integration: httpmethod: ANY type: aws_proxy uri: Fn::Sub: arn:aws:apigateway:${aws::region}:lambda:path/ /functions/${GetHtmlFunction.Arn}/invocations responses: {} swagger: '2.0'

11 CloudFormation 模板 AWSTemplateFormatVersion: ' ' Resources: GetHtmlFunctionGetHtmlPermissionProd: Type: AWS::Lambda::Permission Action: lambda:invokefunction Principal: apigateway.amazonaws.com FunctionName: Ref: GetHtmlFunction SourceArn: Fn::Sub: arn:aws:execute-api:${aws::region}:${aws::accountid}:${serverlessrestapi}/prod/any/* ServerlessRestApiProdStage: Type: AWS::ApiGateway::Stage DeploymentId: Ref: ServerlessRestApiDeployment RestApiId: Ref: ServerlessRestApi StageName: Prod ListTable: Type: AWS::DynamoDB::Table ProvisionedThroughput: WriteCapacityUnits: 5 ReadCapacityUnits: 5 AttributeDefinitions: - AttributeName: id AttributeType: S KeySchema: - KeyType: HASH AttributeName: id GetHtmlFunction: Type: AWS::Lambda::Function Handler: index.gethtml Code: S3Bucket: flourish-demo-bucket S3Key: todo_list.zip Role: Fn::GetAtt: - GetHtmlFunctionRole - Arn Runtime: nodejs4.3 GetHtmlFunctionRole: Type: AWS::IAM::Role ManagedPolicyArns: - arn:aws:iam::aws:policy/amazondynamodbreadonlyaccess - arn:aws:iam::aws:policy/service-role/awslambdabasicexecutionrole AssumeRolePolicyDocument: Version: ' ' Statement: - Action: - sts:assumerole Effect: Allow Principal: Service: - lambda.amazonaws.com ServerlessRestApiDeployment: Type: AWS::ApiGateway::Deployment RestApiId: Ref: ServerlessRestApi Description: 'RestApi deployment id: 127e3fb91142ab1ddc5f5446adb a90d' StageName: Stage GetHtmlFunctionGetHtmlPermissionTest: Type: AWS::Lambda::Permission Action: lambda:invokefunction Principal: apigateway.amazonaws.com FunctionName: Ref: GetHtmlFunction SourceArn: Fn::Sub: arn:aws:execute-api:${aws::region}:${aws::accountid}:${serverlessrestapi}/*/any/* ServerlessRestApi: Type: AWS::ApiGateway::RestApi Body: info: version: '1.0' title: Ref: AWS::StackName paths: "/{proxy+}": x-amazon-apigateway-any-method: x-amazon-apigateway-integration: httpmethod: ANY type: aws_proxy uri: Fn::Sub: arn:aws:apigateway:${aws::region}:lambda:path/ /functions/${GetHtmlFunction.Arn}/invocations responses: {} swagger: '2.0'

12 SAM 模板 AWSTemplateFormatVersion: ' '' Transform: AWS::Serverless Resources: GetHtmlFunction: Type: AWS::Serverless::Function CodeUri: s3://sam-demo-bucket/todo_list.zip Handler: index.gethtml Runtime: nodejs4.3 Policies: AmazonDynamoDBReadOnlyAccess Events: GetHtml: Type: Api Path: /{proxy+} Method: ANY ListTable: Type: AWS::Serverless::SimpleTable

13 SAM 模板 AWSTemplateFormatVersion: ' ' Transform: AWS::Serverless Resources: GetHtmlFunction: Type: AWS::Serverless::Function CodeUri: s3://sam-demo-bucket/todo_list.zip Handler: index.gethtml Runtime: nodejs4.3 Policies: AmazonDynamoDBReadOnlyAccess Events: GetHtml: Type: Api Path: /{proxy+} Method: ANY ListTable: Type: AWS::Serverless::SimpleTable 告诉 CloudFormation 这是一个 SAM 模板, 需要转换根据指定的 zip 文件创建一个 Lambda 函数, 带有托管的 IAM 策略运行时和代码, 以及定义的处理器函数还可以创建一个 API Gateway 并且处理相关的映射和权限以 5 个读和写单元的规模创建一个 DynamoDB 表格

14 SAM 模板 SAM 模板转换成 CloudFormation 模板范例 URI:

15 SAM 模板功能特性可以和其它非 SAM CloudFormation 资源混用在同一个模板里如 S3, Kinesis, Step Functions 支持使用参数映射和输出等支持内置函数可以使用 ImportValue (RestApiId, Policies, StageName 属性除外 ) YAML 或 JSON

16 SAM 模板属性 AWS::Serverless::Function AWS::Serverless::Api AWS::Serverless::SimpleTable 目前 SAM 版本是

17 SAM 模板属性 AWS::Serverless::Function AWS::Serverless::Api AWS::Serverless::SimpleTable Handler: index.js Runtime: nodejs4.3 CodeUri: 's3://my-code-bucket/my-function.zip' Description: Creates thumbnails of uploaded images MemorySize: 1024 Timeout: 15 Policies: AmazonS3FullAccess Environment: Variables: TABLE_NAME: my-table Events: PhotoUpload: Type: S3 Bucket: my-photo-bucket Tracing: Active PassThrough Tags: AppNameTag: ThumbnailApp DepartmentNameTag: ThumbnailDepartment

18 SAM 模板属性 AWS::Serverless::Function AWS::Serverless::Api AWS::Serverless::SimpleTable StageName: prod DefinitionUri: swagger.yml CacheClusterEnabled: true CacheClusterSize: 28.4 Variables: VarName: VarValue

19 SAM 模板属性 AWS::Serverless::Function AWS::Serverless::Api AWS::Serverless::SimpleTable PrimaryKey: Name: id Type: String ProvisionedThroughput: ReadCapacityUnits: 5 WriteCapacityUnits: 5

20 AWS::Serverless::Function 事件源类型 S3 SNS Kinesis DynamoDB Schedule CloudWatchEvent AlexaSkill 事件其实是字符串到事件源对象的映射事件源对象结构如下 : Type: 例如 : Events: MyEventName: Type: S3 Bucket: my-photo-bucket

21 AWS::Serverless::Function 事件源类型 S3 SNS Kinesis DynamoDB Schedule CloudWatchEvent AlexaSkill Type: S3 Bucket: bucket-name* Events: S3:Supported events** Filter: S3Key: Rules: - Name: prefix suffix Value: String - Name: prefix suffix Value: String * 存储桶必须在同一个模板中声明 ** 支持的事件详细可参考 onhowto.html#supported-notification-event-types

22 AWS::Serverless::Function 事件源类型 S3 SNS Kinesis DynamoDB Schedule CloudWatchEvent AlexaSkill Type: SNS Topic: arn:aws:sns:<region>:<accountid>:topic_name

23 AWS::Serverless::Function 事件源类型 S3 SNS Kinesis DynamoDB Schedule CloudWatchEvent AlexaSkill Type: Kinesis Stream: arn:aws:kinesis:<region>:<accountid>:stream/stream_name StartingPosition: TRIM_HORIZON LATEST BatchSize: <integer> Type: DynamoDB Stream: arn:aws:dynamodb:<region>:<accountid>:table/table_name/stream/<time stamp> StartingPosition: TRIM_HORIZON LATEST BatchSize: <integer>

24 AWS::Serverless::Function 事件源类型 S3 SNS Kinesis DynamoDB Schedule CloudWatchEvent AlexaSkill Type: Schedule Schedule: Cron Rate Expression Input: JSON formatted string Cron examples: cron(* * * * * *) ( 每分钟 ) cron(1/ * * 2-6 *) ( 周一到周五, 8am 到 5pm, 每 5 分钟 ) Rate Expression examples: rate(10 minutes) rate(1 hour)

25 AWS::Serverless::Function 事件源类型 S3 SNS Kinesis DynamoDB Schedule CloudWatchEvent AlexaSkill Type: CloudWatchEvent Pattern: CloudWatchEvent Pattern* Input: JSON formatted string that overrides the matched event Inputpath: JSONPath describing part of the event to pass forward * dwatcheventsandeventpatterns.html 目前有 14 种事件类型, 每种类型有多个事件

26 AWS::Serverless::Function 事件源类型 S3 SNS Kinesis DynamoDB Schedule CloudWatchEvent AlexaSkill Type: AlexaSkill* powers : * 创建一个资源策略, 允许 Amazon Alexa 服务调用我们的 Lambda 函数

27 Lambda 环境变量可以动态传递给我们的函数的键值对可以通过标准环境变量 API 使用, 如 Node.js 的 process.env 或 Python 的 os.environ 可以选择性地使用 AWS KMS(Key Management Service) 服务加密允许我们在 IAM 中指定哪个角色有权限可以访问解密数据所用的密钥可用于按阶段 ( 如 dev, testing, production) 创建环境变量

28 API Gateway 阶段变量阶段变量和环境变量功能相似使用阶段变量存储配置值阶段变量在 $context 对象中在 API Gateway 中的多数字段可以访问到 Lambda 函数 ARN HTTP 端点自定义授权方函数名参数映射

29 Lambda 和 API Gateway 变量 + SAM Parameters: MyEnvironment: Type: String Default: testing AllowedValues: - testing - staging - prod Description: Environment of this stack of resources SpecialFeature1: Type: String Default: false AllowedValues: - true - false Description: Enable new SpecialFeature1 #Lambda MyFunction: Type: 'AWS::Serverless::Function' Environment: Variables: ENVIRONMENT:!Ref MyEnvironment Spec_Feature1:!Ref SpecialFeature1 #API Gateway MyApiGatewayApi: Type: AWS::Serverless::Api Variables: ENVIRONMENT:!Ref MyEnvironment SPEC_Feature1:!Ref SpecialFeature1

30 SAM 最佳实践除非函数处理器共享代码, 否则把它们分离到各自独立的 Lambda 函数文件中去另一个选项是使用语言特定包在函数间共享代码除非独立的 Lambda 函数共享事件源, 否则把它们分离到各自的代码存储库并使用各自的 SAM 模板自己本地使用 lint 检测好 YAML 或 JSON SAM 文件, 然后再提交到源码库然后在 CI/CD 流程中再做一次

31 SAM 最佳实践在一个模板中创建多个环境 : 尽量使用参数和映射来创建动态模板, 以使用基于用户源码控制输入和例如 AWS::Region 的伪参数使用 ExportValue 和 ImportValue 在不同堆栈间共享资源信息使用相同模板创建多个环境, 如开发测试生产以及 DR 环境, 甚至可以跨账号 SAM 模板 Dev Test Prod

32 AWS 命令打包和部署打包创建一个部署包 (.zip 文件 ) 把部署包上传到一个 Amazon S3 存储桶增加一个 CodeUri 属性, 值为上传文件的 S3 URI 部署调用 CloudFormation 'CreateChangeSet' API 调用 CloudFormation 'ExecuteChangeSet' API

33 AWS CodeBuild 全托管服务, 编译源码, 运行测试, 生成软件包持续扩展, 并行处理多个构建任务可以通过 Docker 镜像提供自定义的构建环境以适应需求仅需要为你使用的计算资源按分钟计费可以与 CodePipeline 和 Jenkins 集成

34 buildspec.yml 范例 version: 0.1 environment_variables: plaintext: "INPUT_FILE": "saml.yaml "S3_BUCKET": "" phases: install: commands: - npm install pre_build: commands: - eslint *.js build: commands: - npm test post_build: commands: - aws cloudformation package --template $INPUT_FILE --s3-bucket $S3_BUCKET --output-template post-saml.yaml artifacts: type: zip files: - post-saml.yaml - beta.json

35 buildspec.yml 范例 version: 0.1 environment_variables: plaintext: "INPUT_FILE": "saml.yaml "S3_BUCKET": "" phases: install: commands: - npm install pre_build: commands: - eslint *.js build: commands: - npm test post_build: commands: - aws cloudformation package --template $INPUT_FILE --s3-bucket $S3_BUCKET --output-template post-saml.yaml artifacts: type: zip files: - post-saml.yaml - beta.json 在构建阶段使用的变量在构建各阶段可执行的范例 : 在 install 阶段可以安装包或运行命令以准备好我们的环境在 pre_build 阶段运行语法检查命令在 build 阶段执行构建 / 测试命令在 post_build 阶段进一步测试应用或将容器镜像推送到存储库创建构建成品存储到 S3

36 AWS CodePipeline 持续交付服务, 提供快速可靠的应用升级软件发布流程模型化和可视化每当发生代码变更时, 构建测试和部署代码与其它 AWS 服务和第三方工具集成

37 通过 CodePipeline 交付管道流程 : 1. 提交代码到一个源码库 2. 在 CodeBuild 中打包 / 测试 3. 在 CodePipeline 中使用 CloudFormation 动作通过 SAM 模板创建更新堆栈可选 : 使用 ChangeSets 4. 使用指定的阶段 / 环境参数文件传递给 Lambda 函数变量 5. 在阶段 / 环境之间进行测试可选 : 使用手工批准

38 一个开发者的最小管道范例 : MyApplication MyBranch-Source Source CodeCommit Build test-build-source CodeBuild MyDev-Deploy create-changeset AWS CloudFormation execute-changeset AWS CloudFormation 此管道 : 3 个阶段构建代码成品一个开发者环境使用 SAM/CloudFormation 部署成品和其它 AWS 资源有 Lambda 自定义动作来运行测试函数 Run-stubs AWS Lambda

39 CodePipeline + CloudFormation 参数通过引用参数文件 : 通过参数覆盖 :

40 CodePipeline + CloudFormation 参数通过引用参数文件 : 优点 : 允许开发者通过在源码库里的文件来更新和提供参数更便于通过部署来变更和迭代缺点 : 难以控制传入的安全 / 保密信息

41 CodePipeline + CloudFormation 参数优点 : 更严格控制传入的参数可以通过 CodePipeline 和 CloudFormation 的访问控制来限制敏感信息的访问缺点 : 修改需要改变管道和重新执行不方便跟踪这些值的变更, 除非我们通过 CloudFormation 管理管道才能跟踪通过参数覆盖 :

42 一个生产环境的最小管道范例 : MyApplication Source Source CodeCommit Build test-buildsource CodeBuild Deploy Testing create-changeset AWS CloudFormation execute-changeset AWS CloudFormation Run-stubs AWS Lambda Deploy Staging create-changeset AWS CloudFormation execute-changeset AWS CloudFormation Run-API-test Runscope QA-Sign-off Manual Approval Review Deploy Prod create-changeset AWS CloudFormation execute-changeset AWS CloudFormation Post-Deploy-Slack AWS Lambda 此管道 : 5 个阶段构建代码成品 3 个部署环境使用 SAM/CloudFormation 部署成品和其它 AWS 资源有 Lambda 自定义动作来运行测试函数与一个第三方工具 / 服务集成在部署到生产环境之前有一个手动批准

44 相关资源 Serverless Application Model (SAM): 无服务器服务官网 : AWS Lambda: Amazon API Gateway: 今天协助我们的其它服务链接 : CloudFormation: CodeBuild: CodePipeline:

PowerPoint 演示文稿

PowerPoint 演示文稿无服务器架构的设计模式和 Demo 演示毛郸榕,AWS 解决方案架构师 Mao Danrong, AWS Solution Architect 由光环新网运营,AWS 中国 ( 北京 ) 区域 Lambda 和 API Gateway 已经在上线什么是 AWS Lambda? 什么是 AWS Lambda 计算服务事件驱动只关心你的代码不需要考虑服务器代码只在需要时执行, 并自动缩放 Lambda