Tensorflow on Kubernetes

Size: px

Start display at page:

Download "Tensorflow on Kubernetes"

豹嬉扶
5 years ago
Views:

1 利利用 Kubernetes 實作 TensorFlow 分散式訓練與模型服務分享 Kyle Bai

About Me Software Engineer @ inwinstack 早期在校主要撰寫於 Java 與 Objc

資料運算框架, 以及 Linux 相關技術工作期間則專注於 OpenStack Ceph 與 Container 相關等

2 About Me Software inwinstack 早期在校主要撰寫於 Java 與 Objc 程式語言, 並專注開發 ios Mobile 應用程式, 並具備四年年開發經驗次要研讀 Hadoop 與 Spark 資料運算框架, 以及 Linux 相關技術工作期間則專注於 OpenStack Ceph 與 Container 相關等 Cloud Native 技術與開源專案, 閒暇之餘會參參與相關專案社區及貢獻, 並利利用部落落格 GitHub 與 GitBook 做筆記 kairen(kyle.b@inwinstack.com) 現在則在學習如何利利用相關技術管理理 Ethereum 礦場, 以公司電費轉換提升自我年年終獎金金 ( 誤 )

3 Agenda Background Why choose TensorFlow? Distributed TensorFlow Why TensorFlow + Kubernetes? TensorFlow on Kubernetes

4 Background 在 2016 年年一場圍棋人機大戰中, 人類李世乭敗給了了 Google DeepMind 的 AlphaGo, 這為全球帶來來了了一些震撼話題, 甚至讓人聯聯想到人工智慧將漸漸取代人這樣的想法

5 1980s and 1990s

6 1980s and 1990s

7 現在

11 Growing Use of Deep Learning at Google Of directories containing model description files

Google Trend May 2012 - April 2017, Worldwide http://www.

12 Google Trend May April 2017, Worldwide

14 AI / Machine & Deep Learning

15 Accumulated GitHub metrics April 12, 2017

16 Deep Learning libraries: GitHub activity from February 11 to April 12, 2017

17 Why choose TensorFlow? 為何選擇 TensorFlow? 是因為 Google 的開源專案? 還是因為其特性呢?

- 2015 年年底,Google 在 GitHub 開源了了 TensorFlow - 2016 年年四月,TensorFlow 釋出了了分散式運算版本 - 2017 年年一月, 1.

18 年年底,Google 在 GitHub 開源了了 TensorFlow 年年四月,TensorFlow 釋出了了分散式運算版本年年一月, 1.0 預覽版本釋出, 在眾多開發者貢獻下, 其功能越來來越穩定 Open, standard software for general machine learning 年年三月, 在開發者大會中, 釋出用於工業的 1.0 正式版本 - 現在 TensorFlow 已經來來到 1.2 版本, 增加了了一些特性, 與優化效能, 並且更更穩定

19 TensorFlow Pros Great for Deep Learning in particular. Deep Learning framework from Google: 支援 GPU/CPU/TPU, 等異異構平台前端支援多種開發程式語言, 如 Python/C++/Go 等後端透過 C++ 與 CUDA 等開發而成除了了能夠執行行深度學習演算法外, 還能夠實現許多常見見演算法, 如隨機森林林與支援向量量機等內建支援分散式訓練與服務 DNN building block, ckpt/queue/ Docker 與 Kubernetes 支援

21 Connect Research and Production Providing Training -> Serving model

22 TensorFlow Architecture TensorFlow 一般分為前端 API 程式開發介面與後端執行行系統兩兩者分別提供定義建構運算圖與利利用硬體資源執行行運算圖

23 Tensor + Flow TensorFlow 其實在意思上是要用兩兩個部分來來解釋,Tensor 與 Flow: Tensor: 是中文翻譯是張量量, 其實就是一個 n 維度的陣列列或列列表如一維 Tensor 就是向量量, 二維 Tensor 就是矩陣等等. Flow: 是指 Graph 運算過程中的資料流.

24 Dataflow Graphs 資料流圖 (Data Flow Graphs) 是一種有向圖的節點 (Node) 與邊 (Edge) 來來描述計算過程 a = tf.constant(1) b = tf.constant(2) c = tf.constant(3) d = tf.constant(4) add1 = tf.add(a, b) mul1 = tf.multiply(b, c) add2 = tf.add(c, d) output = tf.add(add1, mul1) with tf.session() as sess: print sess.run(output)

25 Companies using TensorFlow

26 Distributed TensorFlow 去年年四月中旬 Google 釋出 TensorFlow 0.8, 新增加分散式運算能力力, 使 TensorFlow 可在數百台的機器上執行行訓練程序, 建立各種機器學習模型, 將原本要耗費數天或數個星期的模型訓練過程縮短到數小時

27 Distributed TensorFlow Architecture 資料流圖 (Data Flow Graphs) 是一種有向圖的節點 (Node) 與邊 (Edge) 來來描述計算過程

28 TensorFlow cluster concept TensorFlow 的叢集就是一組工作任務, 每個任務是一個服務, 服務分成了了 Master 與 Worker, 並提供給 Client 進行行操作 : Client: 是用於建立 TensorFlow 計算 Graph, 並建立與叢集進行行互動的 tensorflow::session 行行程, 一般由 Python 或 C++ 實作, 單一客戶端可以同時連接多個 TF 伺服器連接, 同時也能被多個 TF 伺服器連接. Master Service: 是一個 RPC 服務行行程, 用來來遠端連線一系列列分散式裝置, 主要提供 tensorflow::session 介面, 並負責透過 Worker Service 與工作的任務進行行溝通. Worker Service: 是一個可以使用本地裝置 (CPU 或 GPU) 對部分 Graph 進行行運算的 RPC 邏輯, 透過 worker_service.proto 介面來來實作, 所有 TensorFlow 伺服器均包含了了 Worker Service 邏輯.

29 TensorFlow training mode TensorFlow 在執行行時, 會分為單機模式與分散式模式單機模式下 client master 與 worker 都在同一部機器上執行行而分散式模式則可以拆分 client master 等在不同機器上執行行

30 TensorFlow Job TensorFlow 的工作 (Job) 可拆成多個相同功能的任務 (Task), 這些工作又分成 Parameter Server 與 Worker: Parameter Server(ps): 主要根據梯度更更新變數, 並儲存於 tf.variable, 可理理解成只儲存 TF Model 的變數, 並存放 Variable 副本 Worker: 通常稱為計算節點, 主要執行行密集型的 Graph 運算資源, 並根據變數運算梯度存放 Graph 副本 Image from: Large Scale Distributed Deep Networks

31 Replication and training mode Replication In-graph Between-graph Training Synchronous Asynchronous

32 Distribution of different sizes 小型規模訓練, 這種資料與參參數量量不多時, 可以用一個 CPU 來來同時執行行兩兩種任務中型規模訓練, 資料量量較大, 但參參數量量不多時, 計算梯度的工作負載較高, 而參參數更更新負載較低, 所以計算梯度交給若若干個 CPU 或 GPU 去執行行, 而更更新參參數則交給一個 CPU 即可大型規模訓練, 資料與參參數量量多時, 不僅計算梯度需要部署多個 CPU 或 GPU, 連更更新參參數也要不說到多個 CPU 中

33 Example cluster spec Source from Build-the-AI-Cloud-Provision-and-manage-Tensorflow-Cluster-with-OpenStack

36 Distributed TensorFlow Workflow We need shell script..? Or Ansible?

37 然而生產環境中, 我們將可能有多台機器需要被偏配, 且環境可能是複雜的, 需要網路路運算與儲存 SO WE CHOOSE

38 Why TensorFlow + Kubernetes? 在生產環境中,TensorFlow 的分散式運算並未支援資源與任務 scheduler, 然而 Kubernetes 的特性與功能正好是一個最佳選擇

39 Kubernetes Kubernetes 是 Google 開源的容器 (Container) 分散式管理理系統, 是 Google 十幾年年以來來大規模應用容器技術的經驗累積和昇華的一個重要成果, 是建於 Container(OCI 標準容器 ) 之上的容器叢集排程服務, 簡稱為 K8s( k + 8 letters + s ) 目前為 CNCF 專案之一

41 Kubernetes Architecture Kubernetes 屬於分散式架構系統, 主要由兩兩種節點角色組成 : Masters 主要工作為提供 API 與管理理工作節點, 可視為主節點 Nodes(Minions) 主要執行行容器應用的節點, 上面會執行行許多容器

42 Kubernetes Master Kubernetes Master 包含了了四個基本組件 : Etcd: 主要為 Kubernetes 的資訊儲存與服務發現功能 API Server: 以 REST APIs 介面方式提供所有業務邏輯 CURD 操作 Controller Manager Server: 所有其他叢集級功能都是透過控制管理理器 (Controller Manager) 來來操作 Scheduler: 負責整個分散式系統的資源排程

43 Kubernetes Node(Minion) Kubernetes Node 包含了了三個基本組件 : Kubelet: 負責管理理的映像檔容器與資料 Volume 等操作也是連接 Master 的橋樑 Proxy: 為了了解決外部網路路能夠群曲跨機器叢集中容器提供的應用服務而設計支援 TCP,UDP stream forwarding 或 round robin TCP,UDP forwarding Container: 基於 OCI Container Rutime 來來執行行應用程式容器實例例

44 Kubernetes Storage Volumes Persistent Volumes Many Volume Plugin Storage Class Dynamic Provisioning

45 Kubernetes Pros Kubernetes 管理理跨區域與主機的容器節點, 提供基本部署維運管理理, 以及執行行各項應用程式 Kubernetes 為 IT 人員帶來來以下幾項好處 : 管理理與操作簡單, 不需要太多複雜元件設定, 且支援 Heapster/ Grafana/Influx 監控服務可管理理與排程叢集資源簡單地擴展遷移與升級 Kubernetes 元件提供負載平衡容錯 Namespace Auto scale 與本地讀寫等功能支援各種雲端平台部署與作業系統,No vendor lock-in 支援異異質環境, 如 CPU GPU 等

46 Kubernetes - Pod Pod 是 K8s 中最小的部署單位, 可以將一個或多個容器組成一個 Pod,Pod 所包含的容器只會運行行在同一個 Host 上, 並共享 network namespaces IP port, 每個 Pod 的 network mapping 都是由 container pause 所封裝處理理的

47 Kubernetes - Deployments Deployments(Replication Controllers) 是部署群組 Pods, 其會確保 K8s 系統中指定數量量副本的 Pod 存活, 也可以利利用 Label 及 Rolling update 來來進行行副本的擴展或更更新

48 Kubernetes - Service Service 是 pod 服務的抽象層, 具有簡單負載平衡的功能, 由於 pod 的數量量與 IP 不會固定, 可將一群 pod 指派成 service 並給予一個固定 IP (cluster IP), service 會將請求至 cluster IP 的流量量導入其對應 pod

49 TensorFlow on Kubernetes Pros(1) 叢集管理理適合大規模管理理與擴展透過 Kubernetes DNS 機制來來解析伺服器位址透過 Replication Controller 來來管理理故障重啟問題 Kubernetes 提供 Monitoring 與 Logging 等功能能夠支援使用 CPU 與 GPU 排程來來指定節點可隱藏系統工程師與資料科學家之間的管道

50 TensorFlow on Kubernetes Pros(2) 行行程生命週期管理理透解決目前 TensorFlow 自動結束問題解決無法區分正常完成還是故障退出等問題解決需要手動管理理行行程問題模型服務版本控管共享儲存解決方案可使用多種儲存服務, 如 NFS Ceph 等分散式儲存系統

51 TensorFlow on Kubernetes 基於上述原因與需求使我們選擇利利用 Kubernetes 來來 TensorFlow 實作與管理理分散式訓練與模型服務, 接下來來我將針對一些簡單案例例來來說明如何透過 Kubernetes 進行行 TensorFlow 叢集訓練

52 Easy integrated with Kubernetes Step1: Package Workers & Parameters general code into Docker images. Step3: Define the cluster Deployment and Service,, etc to run. Step2: Create the clusters according to TensorFlow s cluster spec into ConfigMap.

53 Simple TensorFlow on K8s

K8s PV and PVC apiversion: v1 kind: PersistentVolume metadata: name: lab01-pv spec: capacity: storage: 10Gi accessmodes: - ReadWriteOnce persistentvolumereclaimpolicy: Recycle nfs:

54 K8s PV and PVC apiversion: v1 kind: PersistentVolume metadata: name: lab01-pv spec: capacity: storage: 10Gi accessmodes: - ReadWriteOnce persistentvolumereclaimpolicy: Recycle nfs: path: <Path> server: <NFS Server Address> --- kind: PersistentVolumeClaim apiversion: v1 metadata: name: lab01-pvc spec: accessmodes: - ReadWriteOnce resources: requests: storage: 5Gi

Master service apiversion: extensions/v1beta1 kind: Deployment metadata: name: tf-client spec: replicas: 1 template: metadata: labels: app: tf-client spec: containers: - name: tf-client image:

55 Master service apiversion: extensions/v1beta1 kind: Deployment metadata: name: tf-client spec: replicas: 1 template: metadata: labels: app: tf-client spec: containers: - name: tf-client image: example/tensorflow:1.2.1 ports: - containerport: 8888 env: - name: TOKEN value: "p@ssw0rd" command: ["/bin/sh", "-c"] args: - "/run_jupyter.sh --NotebookApp.token=${TOKEN};" volumemounts: - name: tmp mountpath: /tmp/train volumes: - name: tmp persistentvolumeclaim: claimname: tensorflow-pvc apiversion: v1 kind: Service metadata: name: tf-client spec: selector: app: tf-client type: LoadBalancer externalips: - <external ip> ports: - port: 8888 targetport: 8888

Worker service apiversion: extensions/v1beta1 apiversion: v1 kind: Deployment kind: Service metadata: metadata: name: tf-worker name: tf-worker spec: spec: replicas: 1 selector: template: app:

56 Worker service apiversion: extensions/v1beta1 apiversion: v1 kind: Deployment kind: Service metadata: metadata: name: tf-worker name: tf-worker spec: spec: replicas: 1 selector: template: app: tf-worker metadata: type: ClusterIP labels: ports: app: tf-worker - port: 2222 role: worker targetport: 2222 spec: containers: - name: tf-worker image: example/tensorflow:1.2.1 ports: - containerport: 2222 command: ["/bin/sh", "-c"] args: - "python /opt/basic_server.py;

Tensorboard service apiversion: extensions/v1beta1 kind: Deployment metadata: name: tf-dashboard spec: replicas: 1 template: metadata: labels: app: tf-dashboard spec: containers: - name: tf-dashboard

57 Tensorboard service apiversion: extensions/v1beta1 kind: Deployment metadata: name: tf-dashboard spec: replicas: 1 template: metadata: labels: app: tf-dashboard spec: containers: - name: tf-dashboard image: example/tensorflow:1.2.1 ports: - containerport: 6006 command: ["/bin/sh", "-c"] args: - "tensorboard --logdir=run1:/tmp/train -- port=6006" volumemounts: - name: tmp mountpath: /tmp/train volumes: - name: tmp persistentvolumeclaim: claimname: tensorflow-pvc apiversion: v1 kind: Service metadata: name: tf-dashboard spec: selector: app: tf-dashboard type: LoadBalancer externalips: - <external ip> ports: - port: 6006 targetport: 6006

58 Simple TensorFlow Serving on K8s

59 Serving service apiversion: extensions/v1beta1 kind: Deployment metadata: name: serving spec: replicas: 2 template: metadata: labels: app: serving spec: containers: - name: serving image: example/serving-base:0.5.1 ports: - containerport: 9000 resources: requests: memory: "128Mi" cpu: "500m" limits: memory: "512Mi" cpu: "2000m" command: ["/bin/sh", "-c"] args: - "cd /opt/serving;" apiversion: v1 kind: Service metadata: labels: name: serving-service name: serving spec: selector: app: serving type: LoadBalancer externalips: - <external ip> ports: - port: 9000 targetport: 9000 apiversion: extensions/ v1beta1 kind: Ingress metadata: name: serving-ingress spec: rules: - http: paths: - path: /inception backend: servicename: serving-service serviceport: "bin/example/inception_saved_model --checkpoint_dir=/tmp/model-data --output_dir=inception-export;" - "bin/model_servers/tensorflow_model_server --port= model_name=inception --model_base_path=inception-export;" volumemounts: - name: model-data mountpath: /tmp/model-data volumes: - name: model-data persistentvolumeclaim: claimname: model-pvc

60 Full Distributed on K8s

62 Kubernetes with GPU enabled 在 Kubernetes 中使用 GPU 需要預先完成以下幾點 : 在所有 Node 上安裝 Nvidia 驅動程式, 包含 CUDA Toolkit 與 cudnn 等在 Master 的 apiserver 和 Node 的 kubelet 上開啟 --featuregates="accelerators=true" 使用 Docker 作為容器引擎, 目前其他引擎不支援 GPU 特性接著在 Pod 掛載 nvidia-driver libcuda-so libcuda-so.1 等

63 GPU Pod Examples apiversion: v1 kind: Pod metadata: name: tensorflow-gpu spec: restartpolicy: Never containers: - image: gcr.io/tensorflow/tensorflow:latest-gpu name: gpu-container-1 command: ["python"] env: - name: LD_LIBRARY_PATH value: /usr/lib/nvidia args: - -u - -c - from tensorflow.python.client import device_lib; print device_lib.list_local_devices() resources: limits: alpha.kubernetes.io/nvidia-gpu: 1 # requests one GPU volumemounts:... volumes:...

64 GPU enabled limit GPU 資源必須在 resources.limits 設定, 在 resources.requests 中會無效一個容器可以使用一個或多個 GPU, 但不能只使用一部分多容器之間無法共享使用同一張 GPU 預設假設環境的所有 Node 都安裝相同型號 GPU

65 Different GPU card(1) 假設叢集 Node 安裝了了不同型號的 GPU, 則可以透過 Kubernetes Node affinity 或 Node selector 來來排成 Pod 指定到對應 GPU 型號的 Node 上執行行首先在所有 Kubernetes Node 中, 加入 nvdia-gpu-name 標籤, 該標籤定義使用的型號 : $ NVIDIA_GPU_NAME=$(nvidia-smi --query-gpu=gpu_name -- format=csv,noheader id=0) $ source /etc/default/kubelet $ KUBELET_OPTS="$KUBELET_OPTS nodelabels='alpha.kubernetes.io/nvidia-gpuname=$nvidia_gpu_name'" $ echo "KUBELET_OPTS=$KUBELET_OPTS" > /etc/default/kubelet

66 Different GPU card(2) kind: pod apiversion: v1 metadata: annotations: scheduler.alpha.kubernetes.io/affinity: > { "nodeaffinity": { "requiredduringschedulingignoredduringexecution": { "nodeselectorterms": [ { "matchexpressions": [ { "key": "alpha.kubernetes.io/nvidia-gpu-name", "operator": "In", "values": ["Tesla K80", "Tesla P100"] } ] } ] } } } spec: containers: - image: gcr.io/tensorflow/tensorflow:latest-gpu name: gpu-container-1 command: ["python"] args: ["-u", "-c", "import tensorflow"] resources: limits: alpha.kubernetes.io/nvidia-gpu: 2

67 Integration Options Bare metal or Virtual machine. Auto-scale the Kubernetes Cluster. Helm-based Application deployment on Kubernetes. Multi-tenant environment. Manage multi Kubernetes cluster.

68 迎棧科技股份有限公司 WE RE HIRING

69 迎棧科技股份有限公司 Thank You!!

实践课堂成都站-0609.key

实践课堂成都站-0609.key 青云 QingCloud 容器器及 Kubernetes 实践王渊命青云 QingCloud 容器器平台负责人当我们谈论容器器时我们在谈论什什么? 容器器的两个视角资源隔离应用封装容器器生态圈现状容器器技术一家独大百花齐放 Docker, Rocket, Mesos Universal container, LXC, Hyper Container 调度系统三足鼎立