Qcon北京2018-《唯快不破——高效定位线上 Node.js 应用内存泄漏》-黄一君

Size: px

Start display at page:

Download "Qcon北京2018-《唯快不破——高效定位线上 Node.js 应用内存泄漏》-黄一君"

亚栾马
5 years ago
Views:

1 唯快不不破高效定位线上 Node.js 应用内存泄漏漏

2 (GitHub, 黄一君,Easy-Monitor 阿里里云计算有限公司, 高级开发工程师,Node.js 性能平台

3 背景作为中间层, 前后端分离长连接, 纯服务端应用 NW.js Electron 等构建跨平台客户端 Java Services RPC calls, protocols Node.js Applications CDN, Tengine(Nginx) Distributed Systems (C++, Erlang, Java.) Building new products Refactoring old products(php/java Web) Rapid iteration, better communication

4 探究 V8 GC 过程

5 堆内内存划分 Map Space Object 指向的隐藏类元对象 Large Object Space 大对象 ( 大于 byte) Code Space v8 编译后的可执行行代码 Old Space 在 new space 中经过两次 GC 依旧存活的对象晋升到 old space 中 New Space 对半分割为两个部分, 同一时刻只使用其中的一半, 绝大部分对象的创建和销毁都在这里里发生

6 新生代 (Scavenge 算法 ) a1 D A a2 a2-1 e1 Root B b1 E e2 C c1 c1-1 c1-1- c1-2

7 新生代 (Scavenge 算法 ) to space Allocation Pointer A B C a1 a2 b1 a2-1 c1 c1-1 c1- D c1- E e1 e from space not in use

8 新生代 (Flip) from space A B C a1 a2 b1 a2-1 c1 c1-1 c1- D c1- E e1 e to space Scan Pointer Allocation Pointer

9 新生代 (Copy Roots) from space A B C a1 a2 b1 a2-1 c1 c1-1 c1- D c1- E e1 e to space A B C Scan Pointer Allocation Pointer

10 新生代 (BFS) from space A B C a1 a2 b1 a2-1 c1 c1-1 c1- D c1- E e1 e to space A B C a1 a2 b1 c1 Scan Pointer Allocation Pointer

11 新生代 (Scan 指针和 Allocation 指针重合 ) from space A B C a1 a2 b1 a2-1 c1 c1-1 c1- D c1- E e1 e to space A B C a1 a2 b1 c1 a2-1 c1-1 c1-2 c Scan Pointer Allocation Pointer

12 老老生代 (Mark-Sweep/Mark-Compact 算法 ) A D H Root B E F G C I J K marking deque

13 老老生代 (Mark-Sweep/Mark-Compact 算法 ) A D H E Root B F G C B C J A I K marking deque

14 老老生代 (Mark-Sweep/Mark-Compact 算法 ) A D H Root B E C I F G J K B A marking deque

15 老老生代 (Mark-Sweep/Mark-Compact 算法 ) A D H Root B E F G F E C I J K A marking deque

16 老老生代 (Mark-Sweep/Mark-Compact 算法 ) A D H Root B E F G G E C I J K A marking deque

17 老老生代 (Mark-Sweep/Mark-Compact 算法 ) A D H Root B E F G C I J K marking deque

18 老老生代 (overflow) A D H E Root B overflow E F G A C I J marking deque K 先将 G 标记为灰色, 但是不不放入 marking queue, 那么从 E 开始 pop, 很快 marking queue 就会被清空 ; 此时再遍历整个堆, 找到灰色的对象放入 marking queue, 继续原样标记执行行

19 增量量式标记每次 Mark-Sweep 需要全量量扫描整个堆, 开销过大堆达到一定大小时, 执行行增量量标记 (incremental_marking)

20 探究 Heapsnapshot

21 什什么是 Heapsnapshot Root 到应用运行行生成的各个对象间的引用关系

22 获取 Heapsnapshot (heapdump) 使用 writesnapshot 按需获取堆快照使用 kill -USR2 <pid> 按需获取堆快照

23 获取 Heapsnapshot (v8- profiler) 传入回调获取完整序列列化堆快照不不传回调返回 transform 流式获取堆快照

24 获取 Heapsnapshot (Node.js 性能平台 )

25 Heapsnapshot 数据结构详解 { snapshot: {} nodes: [] node1 edge1 snapshot describe node & edge edges: [] node2 node & edge s name strings: [] } edge2 node3

26 Heapsnapshot 数据结构详解 ( snapshot ) meta.node_fields: 长度为一个 node 实际长度, 每一个元素代表其含 meta.node_types: 每一个 node 中每一位的类型, 第一位 type 是一个数 meta.edge_fields: 长度为一个 edge 实际长度, 每一个元素代表其含义 meta.edge_types: 每一个 edge 中每一位的类型, 第一位 type 是一个数

27 Heapsnapshot 数据结构详解 ( node 和 edge 的对应关系 ) node1 node2 node3 edge_count: 2 edge_count: 1 edge_count: 3 edge1 edge2 edge3 edge4 edge5 edge6

28 Heapsnapshot 数据结构详解 ( node 和 node 的引用关系 ) edge node1 to_node: node2

29 定位泄漏漏点 ( 内存图 )

30 定位泄漏漏点 ( 支配树 )

31 定位泄漏漏点 (GC roots)

32 经典案例例实战

33 EventHandle if (!client) { client = Client.create({ refreshinterval: 30000, requesttimeout: 5000, urllib: urllib }); } client.on('error', err => { // error 处理理... });

34 EventHandle

35 EventHandle MyEvent extends events.eventemitter myevent.on( some, listener ) myevent._events[ some ] = [listener1, listener2, listener3, ]

36 EventHandle context EventHandlers Array listener1, _events erro array

37 EventHandle 总结设置 max listeners ( setmaxlisteners ) 调用 on 方法时记得留留意下是否会重复执行行

38 动态更更新模块 const a = require('a'); const b = require('b'); const c = require('c'); // 业务处理理... delete require.cache[require.resolve('a')]; delete require.cache[require.resolve('b')]; delete require.cache[require.resolve('c')];

39 动态更更新模块 delete require.cache[ mod1-v1 ] require( mod1-v2 ) mod1- mod2- mod1- mod1- node 进程

40 动态更更新模块

41 动态更更新模块 Mod A add reference to Mod A.children B 缓存是否存在 require(./b ) not exists 解析 B 模 add cache

42 动态更更新模块总结清除模块的缓存需要清除 require.cache 和所有父引用清除的模块中包含定时器器 socket 连接等资源的需要手动释放不不建议在线上对 Node.js 进程做模块的热加载

43 网红 Vue beforecreate created beforemount mounted

44 网红 Vue const app = new Vue({ created() { setinterval(function () { // 业务处理理.. }); }, template: `<xxx></xxx>` }); render.rendertostring(app, (err, html) => { // 业务处理理.. });

45 网红 Vue

46 网红 Vue created 会在 ssr 时执行行, 这里里创建的 timer 等资源属性的元素会在服务端累加

47 网红 Vue 总结加强 SSR 生命周期的理理解 SSR 中处于服务端执行行的生命周期钩子中不不添加资源属性元素

48 总结与思考

49 线上诊断两大难题 Out of Memory 进程仍存活但无故不不响应

Kubenetes 系列列公开课 2 每周四晚 8 点档 1. Kubernetes 初探 2. 上手 Kubernetes 3. Kubernetes 的资源调度 4. Kubernetes 的运行行时 5. Kubernetes 的网络管理理 6. Kubernetes 的存储管理理 7.

Kubernetes 包管理理工具 Helm 蔺礼强 Kubenetes 系列列公开课 2 每周四晚 8 点档 1. Kubernetes 初探 2. 上手 Kubernetes 3. Kubernetes 的资源调度 4. Kubernetes 的运行行时 5. Kubernetes 的网络管理理 6. Kubernetes 的存储管理理 7. Kubernetes