IMAGE SEGMENTATION AND OBJECT BASED IMAGE ANALYSIS USING REMOTE SENSING IMAGES Yan Gao

Universidad Nacional Autónoma De México Facultad de Filosofía y Letras Posgrado de Geografía COMPARACIÓN DE DISTINTOS MÉTODOS DE CLASIFICACIÓN DIGITAL DE IMÁGENES DE SATÉLITE TESIS Que para obtener el grado de: Doctor en Geografía Presenta Yan Gao Director de Tesis Dr. Jean François Mas Caussel Revisores Dr. José Luis Palacio Prieto Dr. Gerardo Bocco Verdinelli Mayo de 2008

IMAGE SEGMENTATION AND OBJECT BASED IMAGE ANALYSIS USING REMOTE SENSING IMAGES Yan Gao

RESUMEN Esta investigación se propuso analizar el efecto de la segmentación de imágenes en la exactitud de la clasificación por objetos, y demuestra con varias aplicaciones como la segmentación de imágenes y la clasificación basada en objetos obtienen mejores resultados que los métodos basados en clasificación por pixeles, aplicando diferentes métodos de clasificación por objetos sobre imágenes de diferentes resoluciones. El nuevo algoritmo SEaTH, que calcula semi-automáticamente los parámetros y umbrales óptimos para la diferenciación de clases de cobertura, fue probado en la creación de cartografía de cobertura del suelo, y el Índice de Vegetación Mejorado (IVM) del sensor MODIS fue utilizado para examinar su contribución a la clasificación de imágenes basada en objetos. El concepto principal de la clasificación de imágenes por objetos radica en que la información necesaria para interpretar una imagen no está contenida en un solo píxel, sino en los objetos presentes en la imagen, y en las relaciones entre los objetos. Dos motivos principales impulsan el desarrollo del análisis de imágenes por objetos: 1) Imágenes de alta resolución espacial ya están disponibles y las herramientas de computación están constantemente mejorando; 2) El análisis de la imagen basado en píxeles es limitado. La segmentación de imágenes delinea los objetos de la imagen y es el paso inicial en el análisis de imágenes basado en objetos. Sólo hasta hace poco tiempo la segmentación de imágenes se empezó a realizar con un alto nivel de precisión y rapidez de ejecución, lo cual ha impactado en el desarrollo del análisis de imágenes basado en objetos. El análisis de la imagen por objetos está mucho más cerca de la percepción/visión humana y los resultados de la clasificación muestran una alta exactitud, y permiten leyendas más detalladas. El proceso de segmentación divide la imagen en objetos homogéneos espectral y espacialmente. La evaluación de los resultados de varias segmentaciones de la imagen antes de realizar la clasificación de la misma asegura que el mejor resultado de segmentación se utiliza en la clasificación. Al realizar y evaluar

múltiples segmentaciones de una imagen Landsat_7 ETM+ con diferentes parámetros, el resultado de segmentación óptimo puede ser identificado. Los resultados de la segmentation se evalúan con una función objetiva y la segmentación con óptimo resultado es señalada. Mediante la clasificación de la imagen con el resultado de diferentes segmentaciones y la evaluación de su exactitud, se comprueba que la mejor segmentación, en términos de la función objetiva, también dio lugar a la clasificación con la más alta exactitud, y la distribución de los valores de exactitud de las clasificaciones presentan similares tendencia con respecto a los valores de la función objetiva de las segmentaciones. El desempeño de la clasificación de las imágenes basado en píxeles y basado en objetos se comparó usando imágenes de satélite con diferentes resoluciones espaciales: 10m, 30m, 100m y 250m. Los resultados mostraron que con el misma información de entrenamiento y referencia, el análisis de imágenes basado en objetos ha obtenido mayor exactitud que los métodos basados en píxeles con las imágenes de mayor resolución espacial (10m y 30m), mientras que, con la reducción de resolución espacial, la clasificación de imágenes basada en objetos no mostraron mayor exactitud. Este experimento parece sugerir que el analysis de imágenes basado en objetos tiene ventajas sobre el basado en píxeles. Si bien en el aspecto de la exactitud de la clasificación, la ventaja sólo es válida para imágenes con altas resoluciones espaciales. Los objetos de la imagen pueden ser diferenciados por una variedad de características: espectral, espacial, de textura, y del contexto. Un análisis completo de dichas características es esencial para trabajar con los objetos de la imagen, y el proceso de prueba y error de búsqueda de las características adecuadas podría dificultar significativamente la utilización de las bondades del análisis de imagenes basado en objetos. El algoritmo SEaTH o SEperability & THreshold, es capaz de evaluar estadísticamente un número determinado de características de los objetos para cualquier número de clases de interés. Este experimento con SEaTH muestra que el análisis de imágenes basado en objetos realizado con las características y umbrales identificados por el algoritmo SEaTH produjo buenos resultados de clasificación. Con SEaTH, el tiempo de prueba y error para buscar las características y umbrales adecuados

se puede evitar. El algoritmo SEaTH también ayudó a reducir al mínimo la participación humana en los pasos de clasificación y acelerar el proceso de clasificación cuando se utilizan imágenes de gran tamaño. Como último punto, se investigó la contribución del IVM del sensor MODIS para mejorar el desempeño del análisis de imágenes basado en objetos. Este resultado pone de manifiesto que el suministro la información proporcionada por el IVM MODIS no sólo es importante para monitorear la fenología de los tipos de cobertura, sino también para diferenciar los tipos de cobertura que son difíciles de distinguir utilizando imágenes multiespectrales de una sola fecha. El analysis de imágenes por objetos es visto como el nuevo paradigma para el análisis digital de imágenes. Sin embargo, no es perfecto. Todavía hay muchos aspectos que necesitan mayor desarrollo, entre ellos, la parametrización de la segmentación de imágenes y la evaluación de la exactitud de los resultados del análisis de imágenes basado en objetos, siendo dos temas importantes para su posterior estudio.

ABSTRACT This research set out to discuss the effect of image segmentation to the classification accuracy and demonstrates through several applications how segmentation and object-based classification improve on pixel-based image classification methods, using different object-based classification methods over images of different spatial resolutions. A new algorithm SEaTH, which semiautomatically calculates the optimal features and thresholds for class differentiation, was tested in the land cover mapping and the MODIS Enhanced Vegetation Index (EVI) data was applied to test its contribution to the objectbased image classification. The core concept of object-based image analysis is that the important information necessary to interpret an image is not represented in single pixels, but in meaningful image objects and their mutual relationships. Two main reasons drive the development of object-based image analysis: available high spatial resolution imagery and improved computing tools; pixel based image analysis is limited. Image segmentation creates image objects and it is the initial step in objectbased image analysis. Only until recently image segmentation is implemented with a high level of precision and fast performance, which resulted in the development of object-based image analysis. By analyzing image objects, object-based image analysis is much closer to human vision and the classification results show both higher accuracy values and allow more detailed legends. Image segmentation divides images into spectrally and spatially homogeneous objects. Evaluation of image segmentations before performing image classification ensures that the best segmentation result is used. By performing and evaluating several image segmentations with different parameter settings on Landsat-7 ETM+ imagery, the optimal segmentation result can be decided. By classifying the image with different segmentation results and evaluating the accuracies, it is found that best segmentations, in terms of objective function

rating, also led to the classifications with the highest accuracies, and, the accuracy values presented similar distribution as the objective function values in the function of the segmentations. The performance of pixel-based and object-based image analysis was then compared over satellite images with different spatial resolutions: 10m, 30m, 100m, and 250m. Results showed that with the same training and reference data, object based image analysis obtained higher accuracy than that by pixel based methods with higher spatial resolution images among the test ones (10m and 30m); while, with the decreasing of spatial resolution, object-based image classification did not show higher accuracy. This experiment seems to suggest that object based image analysis has many advantages over the pixel-based one. While in the aspect of accuracy rating, the advantage only holds true for images with higher spatial resolutions. Image objects can be characterized by a variety of spectral, spatial, texture, and contextual features. A comprehensive feature analysis is essential to work with image objects, and the trial and error process of searching proper features could hinder the utilization of the strength of object based image analysis. SEperability and THreshold (SEaTH) algorithm is able to evaluate statistically any number of given features for any number of object classes of interest. This experiment with SEaTH algorithm shows that object based image analysis with features and thresholds identified by SEaTH algorithm produced a good classification result. With SEaTH, the time-consuming trial and error practice for seeking significant features and proper thresholds can be avoided, and thus SEaTH algorithm helped to minimize human involvement in classification steps and speed up the process of classification when huge datasets are to be dealt with. As the last point, the contribution of MODIS EVI data to the improvement of OBIA with MODIS imagery was investigated. This result shows that the MODIS EVI data supply important information not only to monitor the phenology of the land cover types, but to differentiate land cover types which were difficult to be differentiated using multispectral image from a single date.

Object based image analysis is seen as the new paradigm for image analysis. However, it is by no means perfect. There are still many aspects that need further development, among them, image segmentation parameterization, and accuracy assessment for object based image analysis results, are two main topics for further study.

论文摘要 这项研究的目的是讨论影像分割对影像分类精度的影响, 并且通过多种实验证明建立在影像分割的基础上的基于对象的影像分类比基于像素的图像分类有更多的优越性和准确性 ; 这些实验是使用多种基于像素和基于对象的分类方法并且使用有不同空间分辨率的影像 此外, 这项研究也测试了一种新的算法 SEaTH 以及它对基于对象分类的贡献 ; 这个算法可以半自动地计算出基于对象分类的最优 FEATURE 和阈值 同时, 强化的植物指数 EVI 也用于基于对象的分类中来观察它对于基于对象的图像分类中分类精度提高的贡献 基于对象的图像分析以对象为分类单元 对于基于对象的图像分析来说, 其核心概念是 : 重要的影像分析信息是不代表在单一像素中的, 而是代表在有意义的图像对象及其相互关系中 驱动基于对象的图像分析的发展有两个主要原因 : 1): 高空间分辨率航空影像逐渐变得普及, 可利用增强的计算工具 ;2) 基于像素的图像分析能力是有限的. 影像对象通常由图像分割产生, 而且它是基于对象的图像分类的第一步 直到最近, 图像分割才得以准确和快速地实施, 而这推动了基于对象的图像分析的进一步开发 通过分析图像对象, 更接近人类视觉观察, 并且基于对象的图像分析结果即有较高的精度值又允许产生更详细的类别. 图像分割将影像分割成光谱上和空间上均匀的物体 在进行图像分类前, 评价图像分割的精度能够确保最佳的图像分割结果的运用 通过评价运用不同的参数设置的对 LANDSAT-7 ETM+ 图像进行分割的结果, 可以选出最优影像分割结果 对影像的评价是基于客观方程的结果 通过对这些分割的影像进行分类和对分类结果的精度评价, 发现最好的影像分割结果, 根据客观方程的评价结果, 也导致具有最高精度的影像分类结果, 而且影像分类结果的精度值的分布和影像分割的客观方程值的分布相似. 运用具有不同空间分辨率的航空影像, 其空间分辨率是 10 米, 30 米, 100 米和 250 米, 基于像素的影像分类和基于对象的影像分类结果进行了对比 结

果表明, 运用相同的训练和参考数据, 对于具有较高的空间分辨率的影像 (10 米和 30 米 ), 基于对象的图像分析获得比基于像素的分类方法更高的精度, 而随着空间分辨率的下降, 和基于像素的影像分类相比, 基于对象的影像分类并没有显示在精度上的优越性 这个实验似乎显示基于对象的影像分类有很多优势超基于像素的影像分类的优势 而在分类精度等级方面, 这种优势仅适用于具有高空间分辨率的影像. 图像对象具有多种光谱, 空间, 质感, 和上下文特征 为了确保影像分析结果的精度, 对于影像多种特征的全面分析和正确选择最有效的影像特征进行影像分类是至关重要的, 而寻找适当的影像特征的过程中可能会阻碍基于对象的影像分类的正确利用 在这一点上, 建立在统计学的基础上, SEaTH 算法能够用于评价任何数目的影像特征并且计算出其域值 这个 SEaTH 算法能够利用广泛的对象特征因而为一个成功的影像分类提供了基础 这个基于对象的分类使用了由 SEaTH 算法计算出的对象特征和域值, 并产生了很好的分类结果 使用 SEaTH 算法, 可以避免因反复寻找合适的对象特征和正确的域值而延误的时间, SEaTH 算法, 也有助于尽量减少在影像分类中人为的参与, 并有助于在需要对庞大的数据加以处理时提高分类的速度和效率. 论文的最后一点, 实验并讨论了增强的植物指数对使用 MODIS 数据的基于对象的分类的贡献 结果表明, 增强的植物指数不但对监测物候的土地覆盖类型提供了重要信息, 而且有助于区分那些用单日期多光谱影像的光谱信息难加以区分的土地覆盖类型. 基于对象的图像分析, 被视为图像分析的新的范例 不过, 目前它还处在发展中 的阶段, 有许多方面仍需要进一步发展 其中, 图像分割参数的选取和图像分析 结果精度评估是基于对象的影像分析中需要作进一步研究的两个主要议题

TABLE OF CONTENTS 1 Introduction 1.1 Problem formulation... 1 1.2 Hypothesis.. 3 1.3 Research questions. 3 1.4 Research objectives 4 1.5 The outline of the thesis. 4 2 Object-based image analyses 2.1 Image interpretation and perception... 5 2.1.1. Image data structure. 7 2.1.2. The four dimensions of imagery.. 7 2.1.2.1. Spatial resolution.. 8 2.1.2.2. Spectral resolution 9 2.1.2.3. Radiometric resolution.. 9 2.1.2.4. Temporal resolution...9 2.1.3. Multi-spectral image analysis.. 9 2.1.4. Pixel-based method. 10 2.1.5. Object-based image classification... 11 2.2 Image segmentation 13 2.2.1 The development of image segmentation 14

2.2.2. Definition 14 2.2.3. Image segmentation methods.. 16 1) Thresholding.. 16 2) Region growing.. 17 3) Split and merge.. 18 4) Edge based segmentation... 19 5) Watershed segmentation 20 6) Multi-resolution segmentation... 20 2.2.4. Image segmentation evaluation. 23 2.3 Object-based image analysis. 24 2.3.1. Definitions of object-based image analysis 24 2.3.2. Sample- vs. rule-based classification... 25 2.3.3. Fuzzy classification 26 2.3.4. The strength of object-based image analysis.. 27 2.4 Accuracy assessment... 27 2.4.1. Definitions... 28 2.4.2. Non-site/site specific assessment and error matrix 28 2.4.3. Limitations of the error matrix and specifics of object-based accuracy assessment.. 30 References... 32 3 Optimized image segmentation and its effect on classification accuracy Abstract. 35 Key words. 36 3.1 Introduction 36 3.2 Study area and data. 38 3.2.1 Study area. 38 3.2.2 Land cover classes 39 3.2.3 Earth observation data.. 40 3.3 Methods... 42 3.3.1 Image segmentation and region growing in SPRING. 42 3.3.2 Evaluation of segmentation quality.. 45 3.3.3 Classification, accuracy assessment and McNemar s test. 48 3.4 Results and Discussions 51 3.4.1 Image segmentation results. 51 3.4.2 Evaluation of segmentation with objective function.. 53 3.4.2.1 Calculation of variance and spatial autocorrelation of segmented images. 53 3.4.2.2 Evaluation of segmented images by objective function. 54 3.4.3 Pixel and segment based classifications.. 56 3.5 Conclusions. 59

Acknowledgement 60 References 60 4 A comparison of the performance of pixel based and object based classifications over images with various spatial resolutions Abstract 65 Key words 66 4.1 Introduction... 66 4.2 The study area and data.... 69 4.2.1 The study area.. 69 4.2.2 Data.. 69 4.3 Methodology... 72 4.3.1 Image pre-processing.. 72 4.3.2 Generating the multi-spectral images with coarser spatial.. 72 4.3.3 Pixel-based image classification. 74 4.3.4 Object-based image analysis 75 4.3.5 Accuracy assessment of the classification results.. 78 4.4 Results and discussion.. 80 4.4.1 Spectral separability analysis of land-cover classes 80 4.4.2 Pixel based classification results... 82 4.4.3 Object based image analysis results 82 4.4.4 The comparison of pixel based and OBIA results... 83 4.5 Conclusions 88 Acknowledgement.. 89 References... 89 5 Research on the effects of image segmentation to object oriented image classification Abstract. 95 Key words. 96 5.1 Introduction 96 5.2 Methods.. 97 5.2.1 OBIA in ecognition.... 97 5.2.1.1 Multi-resolution image segmentation. 98 5.2.1.2 The fuzzy classifier. 99 5.2.1.3 Hierarchical network classifier.... 100 5.2.1.4 Important object features.... 100 5.2.2 SEaTH algorithm. 102 5.2.3 Image preparation by principle component analysis... 108 5.3 The study area and data. 109

5.4 Results and discussion... 110 5.5 Conclusions 118 Acknowledgement... 119 References 119 6 MODIS EVI data as an ancillary data for an object based image analysis with multispectral MODIS data Abstract.. 123 Key words... 124 6.1 Introduction... 124 6.2 Study area and data 125 6.2.1 The study area.. 125 6.2.2 Earth Observation data 126 6.3 Methods. 128 6.3.1 Object based image analysis 128 6.3.2 Accuracy assessment.. 129 6.3.3 The test of McNemar... 130 6.4 Results 131 6.4.1 Phenology of the land-cover types.. 131 6.4.2 Separability analysis of the land-cover types.. 133 6.4.3 OBIA with multispectral MODIS imagery. 135 6.4.4 OBIA with MODIS multispectral image data and EVI data. 136 6.4.5 Comparison and discussion. 137 6.5 Conclusions 138 Acknowledgement 139 References. 139 7 Conclusions 7.1 The contribution of the thesis. 143 7.1.1 The effects of image segmentation to the classification accuracy 143 7.1.2 OBIA with different spatial resolution images. 144 7.1.3 OBIA with semi-automatic feature extraction algorithm.. 146 7.1.4 The contribution of MODIS EVI data to OBIA 147 7.2 Further studies. 148 7.2.1 Parameter selection for image segmentation 148 7.2.2 Accuracy assessment of OBIA..... 148 7.3 General conclusions..... 149 References. 152