طبقه‌بندی کاربری اراضی کشاورزی با استفاده از تصاویر ماهواره‌ای سنتینل و شبکه عصبی پیچشی سه‌بعدی عمیق (مطالعه موردی: شهرکرد)

نوع مقاله : مقاله پژوهشی

نویسندگان

1 گروه سنجش از دور و فتوگرامتری، دانشکده مهدسی نقشه برداری، دانشگاه صنعتی خواجه نصیرالدین طوسی، تهران

2 استاد گروه فتوگرامتری و سنجش از دور- دانشگاه صنعتی خواجه نصیرالدین طوسی

چکیده

کشاورزی به ­عنوان عامل محرک رشد و توسعه اقتصادی در کشورهای مختلف دنیا شناخته شده است. در این بین تولید نقشه­های سطح زیرکشت به­واسطه طبقه­بندی کاربری اراضی کشاورزی با استفاده از تصاویر سنجش­ از دوری، یکی از راهکارهای موثر در تصمیم­گیری­های کلان این حوزه و تامین امینت غذایی جامعه به­شمار می­رود. در این پژوهش اراضی کشاورزی با استفاده از تصاویر چندزمانه نوری (سنتینل-2) و رادار با روزنه مجازی (سنتینل-1) به کاربری مختلف محصولات کشاورزی پاییزه و بهاره (شامل گندم، جو، ذرت، یونجه، سیب­زمینی و چغندقند) طبقه­بندی شد. کلیه مراحل مربوط به آماده­سازی تصاویر ماهواره­ای، در سامانه برخط گوگل ارث انجین انجام پذیرفته است. جهت طبقه­بندی نیز، از شبکه عصبی پیچشی عمیق سه­بعدی با ساختاری نوین استفاده گردید. شبکه طراحی شده، علاوه بر استفاده از کرنل­های سه­بعدی با امکان استخراج همزمان اطلاعات همسایگی و زمانی هر پیکسل، از اتصالات فرار لایه­های قبلی بهره برده است. این اتصالات فرار، برخلاف شبکه­های پیچشی معمولی پیش­خور، سبب استفاده از خروجی لایه­های پیچشی قبلی در لایه­های جدید می­شوند. شبکه طراحی شده به­کمک داده­های واقعیت زمینی بدست آمده از بازدیدهای میدانی وسیع از منطقه مطالعاتی واقع در شهر شهرکرد به­صورت انتها-به-انتها مورد آموزش و ارزیابی قرار گرفته است. پس از تقسیم­بندی داده­های واقعیت زمینی به دو دسته آموزشی و ارزیابی، ارزیابی شبکه طی 50 بار اجرا داده­های آموزشی و ارزیابی متنوع، به­طور میانگین 6/91% محاسبه شده است. اتصالات فرار طراحی شده، سبب افزایش دقت طبقه­بندی هر کاربری شده و دقت نهایی طبقه­بندی را 2% افزایش دادند. روش ارائه شده با دو نوع زمانی و زمانی-مکانی روش­های جنگل تصادفی و ماشین­ بردار پشتیبان نیز مورد مقایسه قرار گرفت که با اختلاف حداقل 2.4 درصدی، عملکرد بهتری از خود نشان داد.

کلیدواژه‌ها


عنوان مقاله [English]

Classification of Croplands Using Sentinel-2 Satellite Images and a Novel Deep 3D Convolutional Neural Network (Case Study: Shahrekord)

نویسندگان [English]

  • Alireza Taheri Dehkordi 1
  • Mohammad Javad Valadan Zoej 2
1 Department of photogrammetry and remote sensing, Faculty of Geodesy and Geomatics Engineering, Khaje Nasir Toosi university of technology, Tehran
2 Professor in the Department of Photogrammetry and Remote Sensing, K.N.Toosi university of technology
چکیده [English]

Agriculture has been recognized as the main motive for economic growth and development in different countries of the world. In the meantime, mapping croplands through the classification of remote sensing images is one of the effective solutions in decision making and providing food security to the community. In this research, croplands are classified into different classes of agricultural products (including wheat, barley, corn, alfalfa, potatoes, and Sugar beets) using multi-temporal optical (Sentinel-2) and synthetic aperture radar (Sentinel-1) satellite images. All the steps related to the preparation of satellite images, have been conducted in the Google Earth Engine online processing platform. A novel three-dimensional deep convolutional neural network is used as the classifier. The designed network, in addition to three-dimensional kernels with the ability to extract spatial and temporal information of each pixel simultaneously, uses some escape connections of the previous layers. These connections, contrary to the feed-forward convolutional networks, feed the output of the previous layers to the new layers. After dividing the ground truth data into two categories of training and evaluation and assessing the performance of the network with 50 different training and evaluation data, the network’s overall accuracy was calculated 91.6% on average. According to the final results, the designed escape connections increased the overall accuracy of classification by 2%. The proposed network was also compared with temporal and spatial-temporal Random Forests and Support Vector Machines which showed a better performance with a difference of at least 2.4%.

کلیدواژه‌ها [English]

  • Remote Sensing
  • Convolutional Neural Network
  • Deep learning
  • Cropland Classification
  • Sentinel satellite images
Boulze, H., Korosov, A., & Brajard, J. (2020). Classification of sea ice types in Sentinel-1 SAR data using convolutional neural networks. Remote Sensing, 12(13), 2165.
Brinkhoff, J., Vardanega, J., & Robson, A. J. (2020). Land cover classification of nine perennial crops using sentinel-1 and-2 data. Remote Sensing, 12(1), 96.
Carranza-García, M., García-Gutiérrez, J., & Riquelme, J. C. (2019). A framework for evaluating land use and land cover classification using convolutional neural networks. Remote Sensing, 11(3), 274.
Carrasco, L., O’Neil, A.W., Morton, R.D., & Rowland, C.S. (2019). Evaluating combinations of temporally aggregated Sentinel-1, Sentinel-2 and Landsat 8 for land cover mapping with Google Earth Engine. Remote Sensing, 11(3), 288.
Chakhar, A., Hernández-López, D., Ballesteros, R., & Moreno, M. A. (2021). Improving the Accuracy of Multiple Algorithms for Crop Classification by Integrating Sentinel-1 Observations with Sentinel-2 Data. Remote Sensing, 13(2), 243.
Chakhar, A., Ortega-Terol, D., Hernández-López, D., Ballesteros, R., Ortega, J. F., & Moreno, M. A. (2020). Assessing the accuracy of multiple classification algorithms for crop classification using Landsat-8 and Sentinel-2 data. Remote Sensing, 12(11), 1735.
Chang, L., Chen, Y. T., Wang, J. H., & Chang, Y. L. (2021). Rice-Field Mapping with Sentinel-1A SAR Time-Series Data. Remote Sensing, 13(1), 103.
Gorelick, N., Hancher, M., Dixon, M., Ilyushchenko, S., Thau, D., & Moore, R. (2017). Google Earth Engine: Planetary-scale geospatial analysis for everyone. Remote sensing of Environment, 202, 18-27.
Guidici, D., & Clark, M. L. (2017). One-Dimensional convolutional neural network land-cover classification of multi-seasonal hyperspectral imagery in the San Francisco Bay Area, California. Remote Sensing, 9(6), 629.
Ioffe, S., & Szegedy, C. (2015). Batch normalization: Accelerating deep network training by reducing internal covariate shift. In International conference on machine learning, 448-456.
Jin, X., Kumar, L., Li, Z., Feng, H., Xu, X., Yang, G., & Wang, J. (2018). A review of data assimilation of remote sensing and crop models. European Journal of Agronomy, 92, 141-152.
Joshi, N., Baumann, M., Ehammer, A., Fensholt, R., Grogan, K., Hostert, P., & Waske, B. (2016). A review of the application of optical and radar remote sensing data fusion to land use mapping and monitoring. Remote Sensing, 8(1), 70.
Kamilaris, A., & Prenafeta-Boldú, F. X. (2018). A review of the use of convolutional neural networks in agriculture. The Journal of Agricultural Science, 156(3), 312-322.
Karthikeyan, L., Chawla, I., & Mishra, A. K. (2020). A review of remote sensing applications in agriculture for food security: Crop growth and yield, irrigation, and crop losses. Journal of Hydrology, 586, 124905.
Kattenborn, T., Leitloff, J., Schiefer, F., & Hinz, S. (2021). Review on Convolutional Neural Networks (CNN) in vegetation remote sensing. ISPRS Journal of Photogrammetry and Remote Sensing, 173, 24-49.
Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems, 25, 1097-1105.
Li, Y., Zhang, H., & Shen, Q. (2017). Spectral–spatial classification of hyperspectral imagery with 3D convolutional neural network. Remote Sensing, 9(1), 67.
Ma, L., Liu, Y., Zhang, X., Ye, Y., Yin, G., & Johnson, B. A. (2019). Deep learning in remote sensing applications: A meta-analysis and review. ISPRS journal of photogrammetry and remote sensing, 152, 166-177.
Mandal, D., Kumar, V., Bhattacharya, A., Rao, Y. S., Siqueira, P., & Bera, S. (2018). Sen4Rice: A processing chain for differentiating early and late transplanted rice using time-series Sentinel-1 SAR data with Google Earth engine. IEEE Geoscience and Remote Sensing Letters, 15(12), 1947-1951.
Mazzia, V., Khaliq, A., & Chiaberge, M. (2020). Improvement in land cover and crop classification based on temporal features learning from Sentinel-2 data using recurrent-convolutional neural network (R-CNN). Applied Sciences, 10(1), 238.
Rezaee, M., Mahdianpari, M., Zhang, Y., & Salehi, B. (2018). Deep convolutional neural network for complex wetland classification using optical remote sensing imagery. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 3030-3039.
Sharma, A., Liu, X., Yang, X., & Shi, D. (2017). A patch-based convolutional neural network for remote sensing image classification. Neural Networks, 95, 19-28.
Singha, M., Dong, J., Sarmah, S., You, N., Zhou, Y., Zhang, G., & Xiao, X. (2020). Identifying floods and flood-affected paddy rice fields in Bangladesh based on Sentinel-1 imagery and Google Earth Engine. ISPRS Journal of Photogrammetry and Remote Sensing, 166, 278-293.
Van Tricht, K., Gobin, A., Gilliams, S., & Piccard, I. (2018). Synergistic use of radar Sentinel-1 and optical Sentinel-2 imagery for crop mapping: a case study for Belgium. Remote Sensing, 1642.
Xiao, J., Wu, H., Wang, C., & Xia, H. (2018). Land cover classification using features generated from annual time-series Landsat data. IEEE Geoscience and Remote Sensing Letters, 15(5), 739-743.
Xu, L., Zhang, H., Wang, C., Zhang, B., & Liu, M. (2019). Crop classification based on temporal information using sentinel-1 SAR time-series data. Remote Sensing, 11(1), 53.
Zhai, Y., Wang, N., Zhang, L., Hao, L., & Hao, C. (2020). Automatic crop classification in northeastern China by improved nonlinear dimensionality reduction for satellite image time series. Remote Sensing, 12(17), 2726.
Zhao, H., Chen, Z., Jiang, H., Jing, W., Sun, L., & Feng, M. (2019). Evaluation of three deep learning models for early crop classification using sentinel-1A imagery time series—A case study in Zhanjiang, China. Remote Sensing, 11(22), 2673.
Zhong, L., Hu, L., & Zhou, H. (2019). Deep learning based multi-temporal crop classification. Remote sensing of environment, 221, 430-443.