Galaxy Morphology Classification with Deep Convolution Neural Networks

Size: px

Start display at page:

Download "Galaxy Morphology Classification with Deep Convolution Neural Networks"

米靖舒
5 years ago
Views:

1 基于深度卷积神经网络的星系形态分类研究戴加明导师 : 佟继周中国科学院国家空间科学中心中国科学院大学 daijiamingdl@gmail.com

2 目录研究背景与研究内容星系形态分类标准深度卷积神经网络 CNN ResNet-26 网络结构设计与实验结果分析星系图像表征与结果分析工作总结

3 1 研究背景与研究内容

4 星系物理研究与星系形态分类现代天体物理学的三个主要研究方向 : 恒星物理星系形成与演化宇宙起源星系形态是表示星系结构最直观的观测特征, 它是不同运动状态的恒星轨道在天空中的投影星系形态与星系的形成与演化有着密切的联系, 是探究星系物理的重要参数, 例 : 早型星系 : 颜色偏红星族年龄偏老年椭圆星系晚型星系 : 颜色偏蓝星族成分较为年轻有恒星盘以及旋臂结构的盘状星系椭圆星系 M60 与旋涡星系 NGC 4647 研究不同类型星系的物理特征, 首先要做的是有效区分星系的不同形态

5 天文大数据时代的新挑战斯隆数字巡天 ( SDSS ) 三分之一天区观测, 即获取 12 亿张观测图像 ; 大口径全天巡视望远镜 ( LSST ) 计划每晚可产生 15 TB 的原始观测数据 ; COSMOS 巡天,LAMOST 巡天星系观测数据呈现爆炸式增长人工处理自动化处理实时目标证认特征提取天体识别随动观测优先级确认海量高维数据的实时处理和挖掘, 新的科学问题的发现

6 自动化星系形态分类方法发展历程模型提出者年份特征提取分类器 Naim 1995 bugle size, the number of arms ANN 传统机器学习 Owens parameters Decision tree, ANN De La Calleja 2004 PCA ANN, LWR, Ensemble Banerji 2010 colors, shapes, concentration, texture ANN Gauci 2010 photometric, spectra parameters Decision tree, Fuzzy Logic Ferrari 2015 Concentration, Asymmetry, Smoothness, Gini coefficient, Moment, Entropy and Spirality LDA Dieleman CNN 深度学习 Gravet CNN Kim CNN(Star/galaxy) 1 特征工程 + 分类器 2 数据集相对较小 3 分类数目相对较少 (2, 3, 5 类 ), 而且随着分类数目的增多, 分类准确率快速下降自动提取特征 Aniyan CNN(Radio)

7 Dieleman15 - 自动化星系形态分类方法的里程碑 Dieleman15 首次将深度学习技术应用于星系形态分类 Galaxy Zoo-The Galaxy Challenge 比赛冠军 2015 年发表 7 层 (4 个卷积层和 3 个全连接层 ) 4200 万参数 Dieleman S, Willett K W, Dambre J. Rotation-invariant convolutional neural networks for galaxy morphology prediction[j]. Monthly notices of the royal astronomical society, 2015, 450(2):

8 Dieleman(2015) 是基于深度卷积神经网络模型提出的自动星系形态分类方法, 近几年来卷积神经网络模型在图像分类领域表现出的优异性能, 是否能够应用到自动星系形态分类中进一步提升分类性能? 经神经网络训练后可以获得高维星系表征, 这些表征除了用于星系形态分类, 还有哪些用途? 是否可以对高维星系表征数据进行降维和可视化, 尝试挖掘其中的隐含的其他信息? 这些隐含的信息对星系形态分类的后续研究是否有帮助?

9 研究内容 1. 调研星系形态分类标准, 分析各类标准优缺点, 选择一种形态分类方法作为星系形态分类模型的分类标准 2. 调研以深度卷积神经网络模型为代表的深度学习技术的发展情况, 分析模型算法与技术先进性训练技巧以及优缺点等 3. 基于深度残差网络, 尝试改进残差单元, 探索网络宽度与网络性能的关系, 结合数据样本特点, 设计一种改进的基于深度残差网络的星系形态分类模型, 并进行实验验证, 并与其他模型比较分析 4. 开展高维星系表征数据可视化研究, 运用高维数据可视化技术, 针对神经网络训练得到的高维星系表征数据进行降维, 可视化呈现星系图片本身潜在的全局结构和局部结构信息, 寻找离群点, 尝试分析星系形态高维抽象表征的内在联系与规律

10 2 星系形态分类标准目视分类系统模型化分类系统非模型化分类系统

11 星系形态分类标准目视分类系统目视分类系统 : 直接凭借眼睛来对星系的形态进行分类典型分类方法 : 哈勃序列 (1926) 德沃库勒分类系统叶凯士分类系统和范登伯分类系统等优点 : 很好地用于近邻星系形态分类 ; 缺点 : 人为主观性强 ; 耗时 ; 不适用于高红移星系的分类哈勃序列 [ESA/Hubble] 哈勃序列根据星系的光学波段形态特征进行分类, 和许多星系的物理参数有关, 至今仍被广泛使用

12 星系形态分类标准模型化非模型化分类系统定义模型化分类系统使用星系的面亮度轮廓来对星系形态进行分类, 星系的面亮度轮廓用不同的经验律 (r 1/4 律或 r 1/4 律 + 指数律 ) 进行拟合非模型化分类系统基于表示星系形态的结构参数来对星系形态进行分类, 其参数包括聚集度指数 (C) 非对称指数 (A) 簇聚指数 (S) 基尼系数 (G) 和矩指数 (M20) 等优点可以用于大样本星系形态分类适合大星系样本的星系形态的研究, 具有丰富的物理内涵缺点依赖于假设的函数分布 ; 没有考虑星系中存在棒透镜或环等成份 ; 对于高红移星系, 限制于望远镜的观测分辨率, 很难区分核球和盘半自动化分类方法, 需要天文学家进行综合判断, 确定星系所属类别

13 星系动物园什么是星系动物园 (Galaxy Zoo,GZ)? 在线众包项目, 志愿者依据星系动物园决策树进行星系形态分类志愿者分类的图片随机出现, 每张图片被 40 到 50 人分类, 计算累计得分值, 其结果与专业天文学家的分类结果高度一致星系动物园项目依次发布了第一代 (GZ1) 第二代(GZ2) 第三代(Galaxy Zoo: Hubble) 和第四代星系动物园 (Galaxy Zoo: CANDELS), 得到了大规模带标签的高质量星系图像数据集

14 星系动物园 2 决策树

15 星系动物园 2 数据集使用方法方法 1: 直接使用图像标签中的概率值干净样本阈值选取规则方法 2: 在方法 1 的基础上进一步选取干净样本干净样本的选取规则 : 满足设定的阈值如选取旋涡星系 :f features/disk 0.430, f edge on,no 0.715, f spiral,yes 0.619

16 3 深度卷积神经网络 CNN

17 深度卷积神经网络 CNN 是专门用来处理具有类似网格结构数据 ( 例如图像数据 ) 的神经网络可直接使用图像的原始像素作为输入, 自动地提取有效特征, 避免了复杂的特征工程, 同时具有对缩放平移旋转等畸变不变性, 具有很强的泛化性构成 : 卷积层池化层全连接层卷积经典的 CNN 结构 : LeNet5 AlexNet VGG Google Inception ResNet 图片来源 :

18 LeNet5 AlexNet

19 VGG Google Inception

20 深度残差网络 ResNet 残差单元 : 假设某段神经网络的输入是 x, 期望输出是 H(x), 如果直接把输入 x 传到输出作为初始结果, 那么需要学习的目标就是 F(x)=H(x)-x, 即残差短连接 x l+1 = f h x l + F x l h = identity f = identity x l+1 = x l + F(x l ) 残差单元

21 4 ResNet-26 网络结构设计与实验结果分析

网络结构设计改进的残差单元 : 3 个卷积层 :1 х 1,3 х 3,1 х 1 卷积 ; 前 2

pre-activation 方式, 即 BN-ReLU-Conv ; 在 3 х 3 卷积之后加入 dropout

2, 步长为 2 的最大池化层 ; 最大池化层之后为 4 个卷积组 :Conv2,Conv3,Conv4 和

х 1 х 4096, 最后作用于一个 5 个神经元的全连接层 softmax 在设计的残差网络模型中,

22 网络结构设计改进的残差单元 : 3 个卷积层 :1 х 1,3 х 3,1 х 1 卷积 ; 前 2 个卷积层的通道数一样, 第 3 个卷积层的通道数一般为前 2 个卷积层通道数的 4 倍 ; 使用预激活 pre-activation 方式, 即 BN-ReLU-Conv ; 在 3 х 3 卷积之后加入 dropout 改进的残差单元网络结构 : 第一个卷积层卷积核, 尺寸为 6х6, 通道数为 64, 步长为 1, 后为 2 х 2, 步长为 2 的最大池化层 ; 最大池化层之后为 4 个卷积组 :Conv2,Conv3,Conv4 和 Conv5, 其中每个卷积组包含 N 个残差单元 ; 最后一层是平均池化层, 大小为 4 х 4, 池化层的输出为 1 х 1 х 4096, 最后作用于一个 5 个神经元的全连接层 softmax 在设计的残差网络模型中, 改进了残差单元, 减少了网络的层数, 加宽了网络的宽度 ( 通道数目 ), 同时融合了 Dieleman 模型的优点, 网络的总层数为 2N +2 层改进的深度残差网络结构

数据集选取数据集选自 Galaxy Zoo - The Galaxy Challenge, 星系图片来自 SDSS DR7, 共 61578 张, 大小为 424 424 3 像素, 标签采用 GZ2 的分类标准 SDSS 对星系的观测包括 5 个光学波段 (u

23 数据集选取数据集选自 Galaxy Zoo - The Galaxy Challenge, 星系图片来自 SDSS DR7, 共张, 大小为像素, 标签采用 GZ2 的分类标准 SDSS 对星系的观测包括 5 个光学波段 (u g r i 和 z), 一般取前 3 个波段 (u g 和 r) 合成相应的 RGB 星系图像依据干净样本的阈值选取规则, 选取 5 类星系 : 圆形星系中间星系雪茄状星系侧向星系和旋涡星系, 总计张图片 GZ2 中随机抽取的 5 类星系图片

24 数据集选取将张干净样本按 9:1 的比例划分训练集和测试集训练集和测试集中星系图片数目是同分布的

25 数据预处理数据集预处理流程图训练集预处理中间裁剪 (S 训练尺度抖动 ) 下采样随机裁剪随机旋转水平翻转光学畸变图像白化数据增强, 可使数据量增加 15 万倍测试集预处理中间裁剪 (Q 测试尺度抖动 ) 下采样中间裁剪图像白化

26 模型确定实验 - 超参数选择超参数的设置是决定模型最终分类性能的关键 1. 第一个卷积层卷积核大小与网络性能的关系 2. 加宽因子 k 和每组残差单元数 N 与网络性能的关系 1 3. Dropout 大小与网络性能的关系 4. 星系图像类型与网络性能的关系 2 4 结论 : 当第一层卷积核的尺寸为 6 X 6, 加宽因子 k 为 2, 每组残差单元数为 2 以及 Dropout 为 0.8 时, 模型具有最优的分类性能, 称为 ResNet-26, 共计 2600 万参数 3

ResNet-26 分类结果精确率, 召回率,F1 值混淆矩阵注 : 列为真实标签, 行为预测标签,0 1 2 3 4 分别表示圆形星系中间星系雪茄状星系侧向星系和旋涡星系 5

3590% 和旋涡星系,97.6953%; 模型在圆形星系中间星系侧向星系和旋涡星系的分类识别过程中均表现优秀,F1 值都在 0.

27 ResNet-26 分类结果精确率, 召回率,F1 值混淆矩阵注 : 列为真实标签, 行为预测标签, 分别表示圆形星系中间星系雪茄状星系侧向星系和旋涡星系 5 个星系类的 ROC 曲线结论 :5 个类别星系的分类准确率分别为 : 圆形星系, %; 中间星系, %; 雪茄状星系, %; 侧向星系, % 和旋涡星系, %; 模型在圆形星系中间星系侧向星系和旋涡星系的分类识别过程中均表现优秀,F1 值都在 0.94 以上 ; 其中圆形星系侧向星系和旋涡星系的 AUC 值都超过 0.99 模型针对旋涡星系的分类性能最好, 其分类准确率达到了 %; 针对雪茄状星系的分类性能表现一般, 训练集中的雪茄状星系图片数量相对较少是造成分类性能一般的一个原因

不同模型的测试准确率, 精确率, 召回率,F1 值和 AUC 值结论 : 通过与 Dieleman 模型 AlexNet VGG

28 不同网络模型分类性能对比不同模型的测试平均准确率在相同的 GPU 服务器上, 使用相同的训练集和测试集, 测试不同模型的准确率精确率召回率 F1 值和 AUC 值注 : 结果取自每一个测试尺度运行 10 次取最大值, 然后再求平均值高亮标识最好结果不同模型的测试准确率, 精确率, 召回率,F1 值和 AUC 值结论 : 通过与 Dieleman 模型 AlexNet VGG Inception 和 ResNet-50 的对比实验, ResNet-26 取得了较优的分类结果注 : 结果基于每一个测试尺度运行 10 次取最大值, 高亮标识最好结果

29 5 星系图像表征与结果分析

30 星系图像表征的降维方法 t-sne T 分布随机近邻嵌入 t-sne (t-distribution Stochastic Neighbor Embedding) 是一种非线性降维方法, 通常应用于高维数据的可视化, 即将高维数据降维至二维或三维空间, 具有保留数据局部特征以及揭示全局特征的优点

31 星系图像数据集的 t-sne 可视化及分析 training-1000 原始样本映射 testing-1000 原始样本映射 424*424*3=539,328 维

32 星系形态分类模型的 t-sne 可视化及分析 Dieleman 模型最后一层全连接层映射 AlexNet 最后一层全连接层映射 1. 每一个星系类别成簇分布 ; 2. 圆形星系和中间星系趋于聚合 ; 3. 雪茄状星系和侧向星系交织缠绕在一起 ; 3. 训练子集上星系类别的分离程度比测试子集效果好 ; 4. 离群点 VGG 最后一层全连接层映射 Inception V3 最后一层平均池化层映射 ResNet-50 最后一层平均池化层映射 ResNet-26 最后一层平均池化层映射

离群点分析基于 training-1000 的 Dieleman 模型最后一层全连接层映射基于 testing-1000 的 Dieleman 模型最后一层全连接层映射左图 : 蓝色簇下面的绿黄色的点, 它属于旋涡星系, 也被分给了旋涡星系, 但是却出现在蓝色簇中, 这说明它们的结构相似经检查, 这个数据点在数据集中代号 (GalaxyID) 为 119573, 看起来和侧向星系很相似

33 离群点分析基于 training-1000 的 Dieleman 模型最后一层全连接层映射基于 testing-1000 的 Dieleman 模型最后一层全连接层映射左图 : 蓝色簇下面的绿黄色的点, 它属于旋涡星系, 也被分给了旋涡星系, 但是却出现在蓝色簇中, 这说明它们的结构相似经检查, 这个数据点在数据集中代号 (GalaxyID) 为 , 看起来和侧向星系很相似另一个在红色簇 ( 圆形星系 ) 附近的绿黄色数据点, 它属于旋涡星系, 却被分给了圆形星系经检查, 这个数据点为代号的旋涡星系, 其实是圆形星系, 也就是说, 它的标签是错误的右图 : 一些离群点, 如代号为和的雪茄状星系被预测给了中间星系, 代号为的侧向星系被预测给了中间星系检查之后, 发现这些离群点的图片都和中间星系很像, 即它们不是典型的原属标签星系

34 离群点分析基于 training-1000 的 VGG 最后一层全连接层映射基于 testing-1000 的 VGG 最后一层全连接层映射虚椭圆框中 : 分别有 9 张中间星系被错分给圆形星系,16 张雪茄状星系被错分给中间星系因为圆形星系中间星系和雪茄状星系都属于平滑星系, 它们之间并没有严格的界限去区分它们可以解释它们是被错分的, 也可以解释它们的标签是错误的, 但却被模型分类正确

离群点分析基于 training-1000 的 ResNet-26 最后一层平均池化层映射基于 testing-1000 的 ResNet-26 最后一层平均池化层映射左图 : 红色离群点 (GalaxyID: 102977, 107539, 122674, 106544), 它们属于圆形星系, 也被预测给了圆形星系, 但是它们却出现在绿黄色簇所代表的旋涡星系中, 检查之后,

35 离群点分析基于 training-1000 的 ResNet-26 最后一层平均池化层映射基于 testing-1000 的 ResNet-26 最后一层平均池化层映射左图 : 红色离群点 (GalaxyID: , , , ), 它们属于圆形星系, 也被预测给了圆形星系, 但是它们却出现在绿黄色簇所代表的旋涡星系中, 检查之后, 发现其中有三张真的圆形星系 (GalaxyID: , , ) 却跟旋涡星系有着相似的结构, 另一张代号为的图片其实是旋涡星系, 却被标记成圆形星系另外 4 张旋涡星系 (GalaxyID: , , ,109366) 出现在侧向星系簇和雪茄状星系簇附近, 检查之后发现, 它们都是瘦长的旋涡星系, 看起来非常像侧向星系和雪茄状星系

36 离群点分析在 training-1000 子集中被标记为旋涡星系, 在 Dieleman 和 ResNet-26 中全都被错分给中间星系检查之后发现, 它是一张非常模糊的旋涡星系以至于很难识别它在 testing-1000 子集中被标记为雪茄状星系, 被 Dieleman 模型错分给了中间星系, 被 ResNet-26 错分给了圆形星系检查之后发现, 它是一张非常小的图片, 星系处于图片中央非常小的位置, 很难识别它属于圆形星系中间星系还是雪茄状星系

37 星系交织和趋于聚合现象雪茄状星系和侧向星系交织缠绕, 从图像上看, 雪茄状星系和侧向星系形态相似 ; 圆形星系和中间星系趋于聚合 ; 是否可以有助于优化 GZ2 雪茄状星系侧向星系决策树? 交织和趋于聚合是否和星系形态分类模型相关?

38 6 工作总结

39 工作总结将深度学习领域最新的研究成果引入星系形态分类领域, 提出并设计了基于改进的深度残差网络的星系形态分类框架 ResNet-26, 通过实验验证了模型优良的分类性能 ; 同时实现其他 5 种流行的 CNN 模型, 进行对比实验, 证明了 ResNet-26 较优的分类性能和泛化能力 ; 将高维数据可视化技术 (t-sne) 引入星系形态分类的后续研究中, 可视化从神经网络中所学习到的高维星系表征, 得到一些有价值的发现

40 后续工作数据集中各类星系样本数量分布不均衡, 针对数据样本较少的雪茄状星系测试准确率不高, 后续可考虑从大规模数据集中获取星系类别更全面样本数量更充分数据质量更优的星系图片作为训练样本, 进一步训练模型 ; 未来除了可尝试运用 Inception Module 进一步改进网络结构外, 还可以将非模型化分类系统中的结构参数加入到模型中, 构建专家系统与神经网络相结合的混合模型, 以提升模型的分类性能 ; 在星系图像表征可视化方面, 仅利用 t-sne 降维方法, 进行了星系高维表征可视化并对可视化后的映射进行了初步分析, 未来可与天文学家进行更深层次的信息挖掘工作

41 Resources Dataset and Code Data: Galaxy Zoo - The Galaxy Challenge ( My models in Tensorflow: Q & A Thank you!

4 期戴加明, 等 : 基于深度残差网络的星系形态分类 385 [3] 是早期用于目视分类的星系形态分类标准中最著名的一种随后, 研究者们又逐渐发展了 [4] 模型化分类和非模型化分类等标准, 其中, 模型化分类的方法是, 假设星系的面亮度轮廓满足一定的函数分布, 并据此对星系形态进行分类, 如

4 期戴加明, 等 : 基于深度残差网络的星系形态分类 385 [3] 是早期用于目视分类的星系形态分类标准中最著名的一种随后, 研究者们又逐渐发展了 [4] 模型化分类和非模型化分类等标准, 其中, 模型化分类的方法是, 假设星系的面亮度轮廓满足一定的函数分布, 并据此对星系形态进行分类, 如第 36 卷第 4 期天文学进展 Vol. 36, No. 4 2018 年 11 月 PROGRESS IN ASTRONOMY Nov., 2018 doi: 10.3969/j.issn.1000-8349.2018.04.03 基于深度残差网络的星系形态分类戴加明 1,2, 佟继周 1 (1. 中国科学院国家空间科学中心, 北京 100190; 2. 中国科学院大学, 北京 100049)