58 卷天文学报 4 期指明显不可用于天体测量工作的图像. 这类图像的不可测量性包含多种因素, 如 : 星象的形态不好, 测量的时候可能会有很大的误差, 甚至根本无法测量 ; 用来定位的参考星体数量不足, 或者即便参考星数量不少, 但是参考星本身的可测量性较差 ; 图像因为仪器等带来的各种模糊曝

Size: px

Start display at page:

Download "58 卷天文学报 4 期指明显不可用于天体测量工作的图像. 这类图像的不可测量性包含多种因素, 如 : 星象的形态不好, 测量的时候可能会有很大的误差, 甚至根本无法测量 ; 用来定位的参考星体数量不足, 或者即便参考星数量不少, 但是参考星本身的可测量性较差 ; 图像因为仪器等带来的各种模糊曝"

巷妣阎
5 years ago
Views:

1 第 58 卷第 4 期天文学报 Vol.58 No 年 7 月 ACTA ASTRONOMICA SINICA Jul., 2017 doi: /j.cnki Cassini ISS 图像可测性分类的初步研究李照亮张庆丰彭青玉李展 ( 暨南大学计算机系广州 ) 摘要 Cassini 的光学成像系统 (Imaging Science Subsystem, ISS) 拍摄了大量的土星及其卫星的图像, 其中一部分可以用来做天体测量工作, 但是需要人工挑拣出来, 这是一项繁重的工作. 研究目的是将这种工作自动化. 为此, 将卷积神经网络 (Convolution Neural Network, CNN) 与支持向量机 (Support Vector Machine, SVM) 结合起来, 提出了一种 ISS 图像可测性分类系统. 系统首先通过深度卷积网络提取 ISS 图像的特征描述子, 然后使用 SVM 分类器根据图像的特征描述子对图像进行分类. 对比了 3 种有代表性的深度卷积网络 : CNN-F CNN-M-128 和 VeryDeep-19, 实验结果表明 : CNN-F 卷积网络加 SVM 可以提供较好的分类结果, 其分类准确率在 97% 以上. 研究不仅可用于 Cassini ISS 图像的天体测量工作, 也可以推广到其他空间探测项目的类似工作中. 关键词天体测量学, 技术 : 图像处理, 方法 : 数据分析, 方法 : 统计中图分类号 : P123; 文献标识码 : A 1 引言 Cassini 空间探测器携带有专门的光学望远镜系统 ISS (Imaging Science Subsystem), 它已经获取了几十万张图像, 其中一些图像可以用来做天体测量工作 [1 4], 这些工作已经为行星及其卫星的历表研究以及行星物理研究提供了珍贵的资料. 但是 ISS 并不是专为天体测量而设计的仪器, 因此其观测图像中有相当一部分图像是不适用于天体测量的. 这就需要从几千几万幅待测图像中人工挑拣出可用于天体测量的图像, 这个工作耗时而繁重. 因此, 自动挑拣适用于天体测量的 ISS 图像成了一个必然的要求. ISS 图像从天体测量的可用性来说可以分为 3 类 : 可测图像不确定图像和不可测图像. 可测图像是指直观上看起来很容易进行天体测量工作的图像. 这些图像包含的污染小 ; 观测对象的星体形态较好, 易于进行位置测量 ; 参考星较多, 也能够准确定位. 理论上来说, 可测图像只要满足观测对象和参考星体易于准确定位即可, 不论图像本身包含什么对象和内容, 即便图像包括各种特殊天象土星环之类都是可以的. 不可测图像是收到原稿, 收到修改稿国家自然科学基金委员会 - 中国科学院天文联合基金重点项目 (U ), 国家自然科学基金项目 ( ), 广东省自然科学基金项目 (2016A A ) 和广东省教育厅高等学校科技创新项目 (2013KJCX0020) 资助 tqfz@jnu.edu.cn 39-1

58 卷天文学报 4 期指明显不可用于天体测量工作的图像. 这类图像的不可测量性包含多种因素, 如 : 星象的形态不好, 测量的时候可能会有很大的误差, 甚至根本无法测量 ; 用来定位的参考星体数量不足, 或者即便参考星数量不少, 但是参考星本身的可测量性较差 ; 图像因为仪器等带来的各种模糊曝光过度噪声污染等.

2 58 卷天文学报 4 期指明显不可用于天体测量工作的图像. 这类图像的不可测量性包含多种因素, 如 : 星象的形态不好, 测量的时候可能会有很大的误差, 甚至根本无法测量 ; 用来定位的参考星体数量不足, 或者即便参考星数量不少, 但是参考星本身的可测量性较差 ; 图像因为仪器等带来的各种模糊曝光过度噪声污染等. 在可测和不可测图像之间还有一类是不确定图像, 这类图像外表上接近可测图像, 但是其污染程度是否满足可测要求不易确定, 需要人工用专用软件试算后才可以知道. 图 1 是 ISS 图像的一部分示例, 其中 (a) 是一些典型的可测图像, (c) 是一些典型的不可测图像, (b) 是介于可测和不可测之间的不确定图像. 后面我们把这种 ISS 图像从天体测量可用性角度进行的分类称为 ISS 图像的可测性分类. 图 1 ISS 图像示例. (a) 可测图像 ; (b) 不确定图像 ; (c) 不可测图像 Fig. 1 Some examples of ISS images. (a) Measurable images; (b) Uncertain images; (c) Unmeasurable images 不光 Cassini ISS 图像存在一个可测性分类问题, 事实上不少其他空间任务 ( 如 Mariner Voyager New Horizons 等 ) 也存在天文图像的可测性分类问题. 这是一个随着空间技术的发展而产生的新问题. 当下空间任务越来越多, 正在生产着日益丰富的光学天文图像, 历史上也已经积累了海量的空间天文图像. 尽管有些空间任务本身的目的并不是为了天体测量, 但是它的图像可以用作天体测量, 如何从中分拣出可用于天体测量的图像, 挖掘其天体测量学价值, 这是一个值得研究的新问题. 目前, 国内外还没有学者进行这方面的研究. 这主要是因为, 这个问题更多为空间图像的天体测量工作者所关心, 还没有引起更多研究者的注意. 但是充分利用未来和历史上的空间天文图像, 深入挖掘其天体测量价值, 是科学研究的应有之义. 图像的分类工作, 在计算机领域已经有了丰硕的成果, 深度学习技术被认为是这方面非常有效的新技术 [5]. 在天文图像的处理上, 深度学习技术也已经有学者在使用. Fadely 等 [6] 和 Kim 等 [7] 利用机器学习的技术对星体和星团的分类进行了研究 ; Richards 等 [8] 利用半监督的神经网络从测光角度对超新星进行分类 ; Cavuoti 等 [9] 用机器学习的方法研究了发射线星系的测光分类 ; Hoyle [10] 使用深度学习对星系的测光红移进行了估算. 在国内, 李蓉等 [11] 利用深度学习研究了太阳耀斑预报模型 ; 潘儒扬等 [12 13] 利用深度学习技术研究了恒星大气物理参数的估计. 总体来看, 深度学习在天文学的应用正在蓬勃发展中, 还有更多的领域有待拓展. 39-2

3 58 卷李照亮等 : Cassini ISS 图像可测性分类的初步研究 4 期针对 Cassini ISS 图像的分类工作, 2016 年底 PDS 网站推出了基于内容的 ISS 图像检索系统 1. 该系统可以按照 ISS 图像的内容进行检索, 可以检索出包含有陨石坑云土星环掩食现象等的图像. 该系统使用了深度学习的技术, 但还没有见到相关文献发表. 另外, 可以看出这是一个针对内容的检索系统, 而天体测量需要知道图像的可测性, 这是该系统无法做到的. 本文研究的目的就是从天体测量的角度对 Cassini ISS 图像进行自动分类, 从而挑拣出可用于天体测量的 ISS 图像. 为此, 本文通过对比 3 种有代表性的深度卷积网络, 并结合传统的支持向量机技术提出了一种 ISS 图像可测性分类系统. 本文第 2 节对提出的 ISS 图像可测性分类系统进行了描述, 并对该系统中的核心技术 ( 特征提取以及分类器 ) 进行了详细介绍 ; 第 3 节对提出的 ISS 图像可测性分类系统进行了实验测试以及对比分析 ; 最后对全文进行了总结. 2 ISS 图像可测性分类系统图像的分类可以有很多的方法, 但是总体上都是采用提取图像特征, 进而依据图像特征进行分类的技术路线. 有的方法两者分离, 各为一个模块, 有的方法两者有机地结合起来构成一个整体. 不管怎么样, 图像的分类本质上包括两个部分 : 图像特征提取依据特征进行分类. 对于图像特征的提取, 常见的数学方法有 : 主成分分析 (Principal Component Analysis, PCA) 尺度不变特征转换(Scale Invariant Feature Transform, SIFT) 傅里叶变换小波变换灰度纹理特征等方法. 这些方法中, 有的特征明显不适合用于 ISS 图像的分类, 如纹理特征. 有些经过分析可以发现, 对可测性分类并没有什么帮助, 如 : PCA 方法在降维的过程中, 会最大程度地减少噪声对分类结果的影响, 而实际上 ISS 图像的可测性与原图像中的噪声程度有密切的关系 ; SIFT 方法对亮度变化不敏感, 不同 ISS 图像包括的星体不同, SIFT 方法寻找的关键点也会有很多不同, 而这些关键点周围也缺乏纹理, 所有这些都对 ISS 图像的可测性分类并没有大的帮助. 有的或许可以用作 ISS 图像分类特征描述子, 但是需要认真仔细的精心设计, 总体而言, 利用常见的数学方法提取图像特征进而进行分类不是一个简单的工作. 卷积神经网络作为深度学习的典型代表有 4 个特点 : 局部连接权值共享池化操作及深层次 [5]. 它在每一层的特征都由上一层的局部区域通过权值共享的卷积核激励得到, 这一特点使得卷积神经网络相比于其他神经网络方法更适合应用于图像特征的学习与表达. 而且它能够通过多层非线性变换, 从大量数据中自动挖掘特征, 从而代替手工设计的特征, 这给图像特征的提取带来了方便 [14]. 在卷积神经网络的最后一层往往就是基于这种特征提取的全连接分类层, 从工程的角度来说, 这一方法已被很多实践证明有效, 其实现并不困难. 因此, 我们选择深度学习作为 ISS 图像的可测性分类研究的工具. 本文提出的 ISS 图像可测性分类系统的核心思想为 : 首先, 利用卷积神经网络 (Convolution Neural Network, CNN) 提取 ISS 图像的特征描述子 ; 然后, 使用支持向量机 (Support Vector Machine, SVM) 对这些特征进行分类. 具体而言, 该分类系统如图 2 所示. 1 Planetary Image Atlas

将测试图像的特征描述子输入到训练好的 SVM 中进行测试 ; F. 最终输出测试图像的分类. 由此可以看出, 该分类系统的核心步骤为 : 利用 CNN 提取图像特征描述子和利用支持向量机进行分类, 下面分别给予介绍. 2.1 图像特征提取 2.1.1 卷积神经网络卷积神经网络是深度学习中最重要的网络模型之一.

4 58 卷天文学报 4 期图 2 分类系统流程图 Fig. 2 The flow diagram of classification system 从图 2 可以看出, 整个 ISS 图像可测性分类系统包括了如下几个步骤 : A. 对每一幅原始图像读取图像数据 ; B. 将所有读取出来的图像数据分为两个部分, 一部分图像的数据作为训练图像数据, 一部分作为测试用数据 ; C. 将训练图像数据和测试图像数据分别输入到已有的 CNN 中提取图像特征描述子, 依次得到训练图像的特征描述子和测试图像的特征描述子 ; D. 用训练图像的特征描述子来训练 SVM 模型 ; E. 将测试图像的特征描述子输入到训练好的 SVM 中进行测试 ; F. 最终输出测试图像的分类. 由此可以看出, 该分类系统的核心步骤为 : 利用 CNN 提取图像特征描述子和利用支持向量机进行分类, 下面分别给予介绍. 2.1 图像特征提取卷积神经网络卷积神经网络是深度学习中最重要的网络模型之一. 它属于 BP (Back Propagation) 神经网络的范畴, 图 3 是一个典型的卷积神经网络框架 (LeNet5) [15], 其中 f. 为 feature 的缩写. 图 3 一个典型的 CNN 框架 (LeNet5) Fig. 3 A typical CNN architecture (LeNet5) 39-4

5 58 卷李照亮等 : Cassini ISS 图像可测性分类的初步研究 4 期从图中可以看出 CNN 的基本组成元素为 : 卷积层 ( 如 C1 和 C3 层 ) 池化层 ( 如 S2 和 S4 层 ) 和全连接层 ( 如 F6 层 ), 下面分别予以介绍. 卷积层的目的是学习输入图像的特征. 卷积层一般由多个卷积核组成, 每个卷积核与原图像进行卷积后都会得到一个特征图. 特征图中的每个值与前一层中的值的一个邻域对应 ( 这个邻域也叫作感受野 ), 一般是先将前一层感受野中的值与卷积核做卷积, 然后再通过激活函数来获取最终的特征值. 从数学上来说, 对于第 k 个特征图中位置 (i, j) 处的特征值 a i,j,k 来说, 其计算方法主要分两步, 首先 : z i,j,k = w T k X i,j + b k, (1) 这里, z i,j,k 表示在计算特征值 a i,j,k 时激活函数的输入值, w k 和 b k 分别为第 k 个卷积核的权值向量和偏置项, w T k 中的上标 T 表示转置操作, X i,j 为与特征图位置 (i, j) 对应的感受野. 值得一提的是 : 这里的 w k 是共享的, 也就是说同一个卷积核会与前一层的所有感受野进行卷积, 这是 CNN 与传统 BP 网络的重要区别之一. 权值共享机制不但可以使网络的复杂度降低, 而且可以使 CNN 更加容易训练. 然后, 再将 z i,j,k 输入到激活函数中, 就可以得到第 k 个特征图中位置 (i, j) 处的特征值 a i,j,k 了. 假设 g( ) 为激活函数, 则 : a i,j,k = g(z i,j,k ), (2) 这里的激活函数 g( ) 一般为 ReLU [16] (Rectified Linear Unit) tanh 或 sigmoid 函数. 池化层的目的是通过降低卷积层特征图的分辨率来实现位移不变性, 常见于两个卷积层之间. 池化层的特征图是通过将前一个卷积层的特征图输入到池化函数后得到的. 类似于卷积层那样, 池化层特征图中的每个值也是与卷积层特征图中的一个邻域对应的, 其数学表达式如下 : y i,j,k = pool(a i,j,k ), (3) 这里, y i,j,k 为第 k 个池化层特征图中位置 (i, j) 处的值 ; pool( ) 为池化函数, 一般为平均池化 [17] 和最大池化 [18] ; A i,j,k 为与第 k 个池化层特征图位置 (i, j) 对应的卷积层特征图邻域. 通过将多个卷积层和池化层合并在一块, 我们可以得到输入图像更加抽象的特征. 经过一些卷积层和池化层后, 一般会有一层或多层的类似于传统 BP 网络的全连接层, 全连接层的输出将会输入到输出层以用于特定目的. 对多分类任务, 一般是 Softmax 算子, 如果是二分类, 一般是 logistic 函数 [19]. 最后, 也是最重要的是 CNN 必须要通过最优化算法来进行训练. 如果 θ ( 权值和偏置项 ) 为 CNN 的所有参数, 那么训练的过程就是通过最小化代价函数来不断调整参数的过程. 假设, 我们有 N 个输入 - 输出对 {x n, y n } (n = 1, 2,, N), 这里 x n 为输入数据, y n 为其对应的目标输出 ; o n 为 CNN 的输出. 那么该 CNN 的代价函数如下 : L = 1 N N l(θ; y n, o n ). (4) n=1 训练该 CNN 就是利用最优化方法来最小化代价函数 L, 从而不断调整参数 θ, 其中随机梯度下降法 [20] 是最常见的一种训练 CNN 的算法. 39-5

6 58 卷天文学报 4 期种出色的卷积神经网络本文提出的 ISS 图像可测性分类系统 ( 见图 2) 主要涉及到 3 种卷积神经网络, 分别为文献 [21] 中的 CNN-F 和 CNN-M-128 以及文献 [22] 中的 VeryDeep-19. 文献 [21] 荣获 2014 年度英国机器视觉会议 (British Machine Vision Conference, BMVC) 最佳科学论文奖 ; 而文献 [22] 在 ILSVRC-2014 中获得分类与定位领域的冠军, 因此这 3 种网络具有很强的代表性. 以下是这 3 种网络的一些细节 : (1) CNN-F 网络是指快速卷积神经网络, 其总体框架也是卷积池化全连接的架构. 不过其卷积层为 5 层, 全连接层为 2 层. 它的最后一层采用 Softmax 函数做了 1000 个种类的概率输出. 也就是按如下顺序依次安排各层 : Conv1 Conv2 Conv3 Conv4 Conv5 Full6 Full7 Softmax. 为了加速卷积过程, 在第 1 个卷积层 (Conv1 层 ), 卷积核的移动步幅被设定为 4 个像素. 后面各卷积层卷积和移动步幅保持为一个像素. 在各个卷积层中采用了不同的卷积核尺寸和数目以提取每层的特征图 (feature map). 因为 ISS 图像的输出种类为 3, 而 CNN-F 的分类输出为 1000, 所以本文直接将倒数第 2 层 (Full7 层 ) 的输出数据作为图像的特征描述子, 这是一个的向量. (2) CNN-M-128 网络是指中速卷积神经网络, 该网络结构和 CNN-F 一样, 但是 Conv1 层采用了 96 个 7 7 的卷积核, 卷积核移动步幅为 2 个像素. 相比而言, CNN-F 的第 1 卷积层用了 64 个的卷积核, 核移动步幅为 4 个像素, 所以其卷积速度要比 CNN-F 慢. 另外, 该中速卷积神经网络的倒数第 2 层 (Full7 层 ) 使用了 128 个神经元, 也就是输出了一个的向量. 同样, 对于此网络, 本文仍然采用 Full7 层的输出数据作为图像的特征描述子. (3) VeryDeep-19 网络是一个 19 层的极深卷积网络. 这是文献 [22] 中提出的最深层的一个网络, 其深度达到了 19 层, 在该文献所述的网络中其分类准确率最高. 该网络是当前层数最深的网络之一, 它的卷积层有 16 层, 外加 3 个全连接层, 最后为 Softmax 层. 层次安排大致如下 : Conv(1-16) FC FC FC1000 Softmax, 其中的 FC1000 层就已经是一种分类的输出, 而 Softmax 层只是输出了每种类别的概率. 针对我们的 ISS 图像分类, 我们取第 2 个全连接 (FC4096-2) 的输出数据作为图像的特征描述子, 与 CNN-F 网络一样, 这个特征描述子也是一个的向量图像特征提取从节的叙述可以看出, 上述 3 个具有代表性网络的目的都是进行 1000 种分类, 而本文的 ISS 图像可测性分类目的是将其分成 3 类. 所以如果直接使用节中介绍的网络无法达到我们的目的. 不过, 我们可以利用上述 3 种 CNN 来提取 ISS 图像的特征描述子以便为下一步的分类任务提供数据, 具体做法如下 : 如果使用 CNN-F 网络或者 CNN-M-128 网络, 我们用它的 Full7 层输出数据作为图像的特征描述子, 它是一个的向量 ( 对于 CNN-F 来说 ) 或者的向量 ( 对于 CNN- M-128 来说 ). 如果使用 VeryDeep-19 网络, 我们将其第 2 个全连接层 (FC 层 ) 的输出数据作为图像的特征描述子, 它也是一个的向量. 39-6

7 58 卷李照亮等 : Cassini ISS 图像可测性分类的初步研究 4 期总体来看, 针对每幅图像, CNN-F 和 VeryDeep-19 可以提供一个的特征向量, 而 CNN-M-128 则提供一个的特征向量. 前者提供高维度的特征向量, 后者提供较低维度的特征向量, 但是都可以用作分类数据. 另外, 需要说明的是, 本文直接采用了这些训练好的网络而没有利用自己的数据对其进行再训练, 这是因为 : (1) 这些网络是在百万量级数据的基础上训练出来的, 我们这里的数据离这个量级差距还很大, 即便对网络进行再训练, 其改进也不会明显 ; (2) 我们在提取图像特征后, 使用了 SVM 进行分类, 在 SVM 分类模型的确立中使用了部分数据进行训练, 我们的应用特点在该过程反映出来. 2.2 分类器数据分类是机器学习的一个重要领域, 方法很多. 常用的有线性判别分析 (Linear Discriminant Analysis, LDA) 决策树贝叶斯分类 k 近邻支持向量机 (SVM) 等方法 [23]. 据 Kotsiantis 的研究 [24], SVM 是常见方法中预测准确性最好的一种方法, SVM 具有很强的泛化能力. 事实上, SVM 是当前最常用且最有效的分类器之一. 所以, 我们选择 SVM 作为特征分类工具. 支持向量机最初是用来解决二分类 (k=2) 问题的. 它的主要思想是通过解决如下最优化问题, 从而找到一个超平面将待分类数据分成两类 : 对于给定的待分类数据集 x i R d, y i {1, 1}, i = 1, 2,, n, arg min w,b w 2 + C 2 n ξ i, i=1 subject to y i (wx i b) 1 ξ i, 其中, w 表示权重向量, b 表示偏置值, C 表示常数, ξ i 表示松弛变量. 然而, 在现实生活中我们遇到的问题经常是多分类的问题. 例如手写数字识别 [25] 语音识别 [26 27] 等. 实际中, 我们常常将多分类问题转换为一系列二分类问题来解决 ( 例如可以转化为一系列二分类的 SVM 问题 ), 我们称此种方法为间接法, 其中两个具有代表性的间接方案是 : 一对多法 [28] (One Versus Rest, OVR) 和一对一法 [29] (One Versus One, OVO). 不过一对多法和一对一法刚好又是纠错输出编码 (Error Correcting Output Codes, ECOC) 多分类模型 [30] 的两个特例. 纠错输出编码多分类模型主要是将多分类问题分解为一个二分类问题集, 之后通过解决该二分类问题集进而间接地解决多分类问题, 其关键步骤是要构造一个好的 ECOC 矩阵. 研究表明 : 相比其他多分类模型, ECOC 模型能够明显改善分类准确率 [31]. 当然, 与间接法相对的还有直接法 [32 33]. 直接法是通过一次性解决一个最优化问题从而就可以解决多分类问题的方法. 该方法有个最大的缺点就是计算量太大, 因而不容易实现, 因此在实际中不经常使用. 所以, 本文使用的多分类方法是间接法, 即 : 以二分类 SVM 为基础分类器, 然后采用纠错输出编码 (ECOC) 中的一对多策略来实现多分类问题. (5) 39-7

58 卷天文学报 4 期 3 实验结果与分析 3.1 实验数据我们从 Planetary 图像网站 1 取了 6326 张 ISS 图像用作实验样本, 并根据以往天体测量的经验对这些图像进行了人工分类, 分别为可测图像不确定图像和不可测图像 3 类. 这 3 类图像依次标注为类 1 类 2 类 3, 其各自的数量分别为 : 3416 209 2701.

8 58 卷天文学报 4 期 3 实验结果与分析 3.1 实验数据我们从 Planetary 图像网站 1 取了 6326 张 ISS 图像用作实验样本, 并根据以往天体测量的经验对这些图像进行了人工分类, 分别为可测图像不确定图像和不可测图像 3 类. 这 3 类图像依次标注为类 1 类 2 类 3, 其各自的数量分别为 : 我们的目的是尽可能地把类别 1 和类别 3 分离出来, 而类别 2 数量本来就少. 另外在实践中, 该类别的图像会在测量过程中进一步通过人工判断, 因此类别 2 不是关注的重点. 3.2 用 CNN-F 网络进行实验本文所用的实验环境为 : Win10 64 位操作系统 i 处理器 4G 内存 Matlab R2016a MatConvNet 深度学习工具包. 首先, 我们从全部图像中随机选出 80% (5061/6326) 作为训练数据, 剩余的作为测试数据. 然后按照图 2 中所示的流程开始进行实验测试, 其中所用 CNN 网络为 CNN-F, 我们用它来提取图像特征. 最终所得结果, 可以用图 4 所示的混淆矩阵表示出来, 其中横轴表示目标输出类别, 纵轴表示实际输出类别, 整数值下面的百分数代表该整数占所有测试数量的比例. 图 4 混淆矩阵 Fig. 4 The confusion matrix 从图 4 中可以看出 : 在 1265 张测试图像中, 目标类别 1 共有 680 张, 不过在实际的测试输出中有 2 张图像被错分为类别 2, 1 张图像被错分为类别 3, 其错误率为 0.4%; 与此类似, 目标类别 2 共有 40 张, 在实际输出中有 2 张图像被错分为类别 1, 5 张图像被错分为类别 3, 其错误率为 17.5%; 目标类别 3 共有 545 张, 在实际输出中有 3 张图像被错分为类别 1, 4 张 39-8

9 58 卷李照亮等 : Cassini ISS 图像可测性分类的初步研究 4 期图像被错分为类别 2, 其错误率为 1.3%. 而类别 1 2 和 3 的总体错误率为 1.3%. 类似地, 我们又从所有图像中依次取 65% 50% 35% 20% 作为训练数据, 相应的剩余数据作为测试数据, 得到各种情况下类别的错误率如表 1 所示. 表 1 CNN-F 在不同训练数据比例情况下各个类别的错误率 Table 1 The error rate per class obtained by CNN-F under different percentages of training images Training data ratio Testing data ratio Error rate Class 1 Class 2 Class 3 Total error rate 65.00% 35.00% 1.09% 21.92% 1.99% 2.17% 50.00% 50.00% 0.87% 18.09% 3.25% 2.50% 35.00% 65.00% 0.86% 23.85% 3.08% 2.55% 20.00% 80.00% 1.21% 24.29% 3.27% 2.85% 从表 1 和图 4 中都可以看出 : 类别 1 和类别 3 的错误率明显低于类别 2 的错误率, 这主要是因为类别 2 中有相当一部分图像从肉眼来看非常接近于类别 1 或 3, 尤其接近于类别 1 中的图像, 从而增加了类别 2 的分类错误率. 3.3 用 CNN-M-128 网络进行实验在该实验中, 我们采用了与 CNN-F 实验同样的环境数据和方法. 但是在提取 ISS 图像特征描述子时, 使用的网络为 CNN-M-128, 最终实验结果如表 2 所示. 表 2 CNN-M-128 在不同训练数据比例情况下各类别的错误率 Table 2 The error rate per class obtained by CNN-M-128 under different percentages of training images Training data ratio Testing data ratio Error rate Class 1 Class 2 Class 3 Total error rate 80.00% 20.00% 1.17% 28.57% 3.58% 3.40% 65.00% 35.00% 1.00% 37.33% 3.10% 3.84% 50.00% 50.00% 1.80% 30.30% 3.43% 3.80% 35.00% 65.00% 1.84% 34.31% 4.17% 3.92% 20.00% 80.00% 1.92% 36.41% 4.73% 4.26% 从表 2 中可以看出 : 随着训练数据比例的减少, 类别以及总体错误率大体上呈增大趋势, 这与在 CNN-F 上的测试结果一致. 当训练数据较少, 也就是说测试数据较多的时候, 比如 20% 的训练数据, 这个时候总体错误率达到了 4.26%, 这说明训练不足, 而当训练数据比例增加到 80% 时, 总体错误率可以降低到 3.4%. 并且在同等训练数据比例情况下, 本实验中各个类别的错误率以及总体错误率基本上全部大于 CNN-F 实验中的 39-9

10 58 卷天文学报 4 期测试结果. 由此可见, 基于 CNN-F 网络的 ISS 图像可测性分类的效果明显好于基于 CNN-M- 128 网络的分类效果. 3.4 用 VeryDeep-19 网络进行实验类似地, 本实验中我们采用 VeryDeep-19 网络来提取图像特征描述子, 其他条件与前两个实验相同, 最终可得到如表 3 所示的实验结果. 从表 3 来看, 本实验也呈现出了训练数据越多错误率越低的特点. 在较低的训练数据比例 (20% 的训练数据 ) 下, 总体错误率达到 4.32%, 而当提高训练数据的数量时, 总体错误率下降到 3%. 表 3 VeryDeep-19 在不同训练数据比例情况下各类别的错误率 Table 3 The error rate per class obtained by VeryDeep-19 under different percentages of training images Error rate Training data ratio Testing data ratio Total error rate Class 1 Class 2 Class % 20.00% 1.73% 31.82% 2.28% 3.00% 65.00% 35.00% 2.01% 33.77% 3.51% 3.75% 50.00% 50.00% 1.96% 35.19% 2.73% 3.41% 35.00% 65.00% 2.62% 36.96% 2.67% 3.79% 20.00% 80.00% 3.29% 37.68% 3.05% 4.32% 另外, 从总体错误率来看, 该实验的结果要劣于 CNN-F 实验, 而接近于 CNN-M- 128 实验, 且比之略优. 例如, 当训练数据比例大于等于 35% 时, 利用 CNN-M-128 网络来进行分类的总体错误率略高于该实验的总体错误率. 不过当训练数据比例等于 20% 时, 利用 CNN-M-128 网络来进行分类的总体错误率则略低于该实验的总体错误率. 总体而言, 利用 VeryDeep-19 网络得到的 ISS 图像可测性分类效果略好于利用 CNN-M-128 网络的分类效果. 3.5 小结综合以上 3 个实验, 上述 3 种网络的分类效果依次为 : CNN-F 网络的效果优于 VeryDeep-19 网络, 而 VeryDeep-19 网络的效果又优于 CNN-M-128 网络. 这主要是因为利用前两个网络提取出的图像特征向量维数相比最后一个要大很多, 这种高维度的图像特征更能对图像的特征进行精细的区分, 因此提取高维度图像特征的卷积网络效果更好一些. 另外, VeryDeep-19 作为很深层的卷积网络代表, 其表现并不比只有 8 层的 CNN-F 好, 这说明针对我们的 ISS 图像可测性分类而言, 层次的深浅不如图像特征的维度重要. 综上所述, 在实际中先使用 CNN-F 网络进行 ISS 图像特征提取, 然后再用 SVM 进行分类是一个较好的方法

11 58 卷李照亮等 : Cassini ISS 图像可测性分类的初步研究 4 期 4 结论本文我们使用深度卷积网络和多分类支持向量机建立了一个 ISS 图像可测性分类系统, 并比较了 3 种不同的有代表性深度卷积网络 CNN-F CNN-M-128 以及 VeryDeep- 19 对分类结果的影响. 实验表明 : 基于深度卷积神经网络 CNN-F 的系统分类效果总体上优于基于 CNN-M-128 的系统和基于 VeryDeep-19 的系统分类效果. CNN-F 结合 SVM 可以带来 97% 以上的分类准确率, 这为天体测量的数据准备工作带来了便利. 下一步我们将考虑采用其他技术方案进一步提高分类的准确性. 致谢感谢匿名评审专家的宝贵意见. 参考文献 [1] Cooper N J, Murray C D, Porco C C, et al. Icar, 2006, 181: 223 [2] Tajeddine R, Cooper N J, Lainey V, et al. A&A, 2013, 551: A129 [3] Cooper N J, Murray C D, Lainey V, et al. A&A, 2014, 572: A43 [4] Tajeddine R, Lainey V, Cooper N J, et al. A&A, 2015, 575: A73 [5] LeCun Y, Bengio Y, Hinton G. Nature, 2015, 521: 436 [6] Fadely R, Hogg D W, Willman B. ApJ, 2012, 760: 15 [7] Kim E J, Brunner R J, Kind M C. MNRAS, 2015, 453: 507 [8] Richards J W, Homrighausen D, Freeman P E, et al. MNRAS, 2012, 419: 1121 [9] Cavuoti S, Brescia M, D Abrusco R, et al. MNRAS, 2014, 437: 968 [10] Hoyle B. A&C, 2016, 16: 34 [11] 李蓉, 朱杰, 黄鑫, 等. 科学通报, 2016, 36: 3958 [12] 潘儒扬, 李乡儒. 天文学报, 2016, 57: 379 [13] Pan R Y, Li X R. ChA&A, 2017, 41: 318 [14] 王晓刚. 中国计算机学会通讯, 2015, 11: 15 [15] LeCun Y, Bottou L, Bengio Y, et al. Proceedings of the IEEE, 1998, 86: 2278 [16] Nair V, Hinton G E. Proceedings of the 27th International Conference on Machine Learning. Madison: Omnipress, 2010: [17] Wang T, Wu D J, Coates A, et al. Proceedings of the 21st International Conference on Pattern Recognition. Washington: IEEE, 2012: [18] Krizhevsky A, Sutskever I, Hinton G E. Advances in Neural Information Processing Systems 25. Cambridge: MIT Press, 2012: [19] Bottou L. Proceedings of the 19th International Conference on Computational Statistics. Heidelberg: Springer, 2010: [20] Wijnhoven R G J, de With P H N. Proceedings of the 20th International Conference on Pattern Recognition. Washington: IEEE, 2010: [21] Chatfield K, Simonyan K, Vedaldi A, et al. Return of the Devil in the Details: Delving Deep into Convolutional Nets. British Machine Vision Conference, Nottingham, September 1-5, 2014 [22] Simonyan K, Zisserman A. Very Deep Convolutional Networks for Large-scale Image Recognition. International Conference on Learning Representations, San Diego, May 7-9, 2015 [23] 周志华. 机器学习. 北京 : 清华大学出版社, 2016: [24] Kotsiantis S B. Informatica, 2007, 31: 249 [25] Sajedi H, Bahador M. International Journal of Computational Intelligence and Applications, 2016, 15: [26] Campbell W M, Campbell J P, Reynolds D A, et al. Computer Speech & Language, 2006, 20:

12 58 卷天文学报 4 期 [27] Smith N, Gales M. Advances in Neural Information Processing Systems 14. Cambridge: MIT Press, 2002: [28] Vapnik V N. Statistical Learning Theory. New York: Wiley Press, 1998: [29] Kreßel U H G. Advances in Kernel Methods. Cambridge: MIT Press, 1999: [30] Dietterich T G, Bakiri G. Journal of Artificial Intelligence Research, 1995, 2: 263 [31] Fürnkranz J. Journal of Machine Learning Research, 2002, 2: 721 [32] Crammer K, Singer Y. Journal of Machine Learning Research, 2002, 2: 2001 [33] Guermeur Y. Pattern Analysis and Applications, 2002, 5: 168 Preliminary Study on the Classification of Cassini ISS Images Availability for Astrometry LI Zhao-liang ZHANG Qing-feng PENG Qing-yu LI Zhan (The Department of Computer Science, Jinan University, Guangzhou ) ABSTRACT The Cassini Imaging Science Subsystem (ISS) has been utilized to collect many images of Saturn and its satellites, some of which can be used for astrometry. However, these images need to be selected manually, which is time consuming. The aim of this study is to automate the image classification. An ISS image classification system for astrometry is proposed to combine the convolution neural network (CNN) with support vector machine (SVM). In this system, the feature descriptors of ISS images are extracted with the CNN, and then the SVM classifier is used to classify the images according to the feature descriptors. A comparison of results from three typical CNNs (i.e., CNN-F, CNN-M-128, and VeryDeep-19) shows that the combination of CNN-F with SVM provides the best classification results with an accuracy higher than 97%. This system can be used not only for Cassini ISS image astrometry, but also other similar studies of space exploration. Key words astrometry, techniques: image processing, methods: data analysis, methods: statistical 39-12

SVM OA 1 SVM MLP Tab 1 1 Drug feature data quantization table

SVM OA 1 SVM MLP Tab 1 1 Drug feature data quantization table 38 2 2010 4 Journal of Fuzhou University Natural Science Vol 38 No 2 Apr 2010 1000-2243 2010 02-0213 - 06 MLP SVM 1 1 2 1 350108 2 350108 MIP SVM OA MLP - SVM TP391 72 A Research of dialectical classification