106759

Master Thesis submitted within the UNIGIS MSc programme presentada para el Programa UNIGIS MSc

Department of Geoinformatics - Z_GIS Departamento de Geomática – Z_GIS University of Salzburg I Universidad de Salzburgo

Validación de una Metodología de Muestreo para la Evaluación de Exactitud.

Caso: Cartografía de Bosque Nativo en Villa Soriano, Uruguay. by

María Eugenia Riaño 12041719 A thesis submitted in partial fulfilment of the requirements of the degree of Master of Science (Geographical Information Science & Systems) – MSc (GISc) Advisor I Supervisor: Leonardo Zurita Arthos PhD

Montevideo - Uruguay, Agosto 2023

Compromiso de Ciencia Por medio del presente documento, incluyendo mi firma personal certifico y seguro que mi tesis es completamente el resultado del mi propio trabajo. He citado todas las fuentes que he usado en mi tesis y en todos los casos he indicado su origen.

Firma

Montevideo, 9 de agosto de 2023

Agradecimientos A la Dirección General Forestal del Ministerio de Ganadería, Agricultura y Pesca, y a la Dirección Nacional de Cambio Climático del Ministerio de Ambiente de Uruguay, en especial a Cecilia Penengo y Leonardo Boragno, por su apoyo e interés en los resultados de esta investigación.

A Ramón Álvarez, Director del Instituto de Estadística de la Facultad de Ciencias Económicas y de Administración de la Universidad de la República, por permitir que este proyecto se haya convertido en una línea de trabajo dentro de mis actividades de investigación.

A mi tutora Laure Collet, por sus aportes, sugerencias, y por su orientación durante este proceso.

Finalmente, a mi familia, en especial a Gastón, por la comprensión y el acompañamiento durante esta etapa, y el apoyo incondicional en la consecución de esta meta.

1

RESUMEN Los mapas de uso/cobertura de suelos se construyen a partir de la aplicación de un algoritmo de clasificación a una imagen satelital. Por medio de éste se asigna a cada pixel una categoría de uso/cobertura de suelo. Los algoritmos pueden cometer errores en la clasificación. Los errores son de omisión, cuando existen píxeles de una clase que no se incluyen en su cobertura cartográfica, y de comisión, cuando dentro de la cobertura cartográfica de una clase se encuentran píxeles que no pertenecen a ella. La evaluación de exactitud o validación cartográfica es el proceso por el cual se estiman los errores de clasificación del mapa de uso/cobertura de suelos, obteniendo de este modo una estimación de la superficie para las distintas clases del mapa, junto con sus respectivos intervalos de confianza. Las estimaciones se obtienen a partir de una muestra, y de aquí la importancia del diseño muestral a aplicar en el proceso de validación.

Los diseños tradicionalmente recomendados asignan igual probabilidad de selección a los píxeles que componen la cartografía. En el caso de que se tenga una clase pequeña, estos tipos de diseño han mostrado ser ineficientes, con baja capacidad de detección de errores de comisión y omisión. El objetivo de esta investigación es analizar el desempeño de diseños muestrales que incorporan información auxiliar en la validación cartográfica del Bosque Nativo en la región de Villa Soriano, Uruguay. La información auxiliar considerada es la probabilidad predicha por el algoritmo de pertenecer a la clase Bosque Nativo. Los píxeles más verosímiles de ser Bosque Nativo tendrán mayor probabilidad de ser seleccionados en la muestra. Con la aplicación de este diseño se procura mejorar la capacidad de detección de los errores de comisión y omisión, y así mejorar la precisión de la superficie estimada de Bosque Nativo en el área de estudio.

La metodología aplicada consiste en determinar las superficies asociadas a los errores de comisión, omisión y al Bosque Nativo, mediante el relevamiento completo del área de estudio, para luego mediante la generación de múltiples muestras comparar las estimaciones con el verdadero valor poblacional de los parámetros de interés. Las muestras se generan con tres diseños, los dos más utilizados en validación cartográfica (Estratificados Simple y Sistemático) y el diseño propuesto que incorpora información auxiliar (Estratificado con Probabilidad Proporcional al tamaño). De la simulación de muestras se obtienen las varianzas de los estimadores, medida clave del desempeño de los mismos.

Se obtiene como resultado que el diseño que incorpora información auxiliar es más eficiente en la estimación de todos los parámetros. La mayor reducción de la varianza se da en el caso de la omisión, multiplicando la cantidad de casos detectados hasta cuatro veces respecto a los diseños utilizados tradicionalmente en los procesos de validación. Al mejorar la precisión de la superficie estimada de omisión, disminuye el error de muestreo de la estimación de la superficie de Bosque Nativo. Reducir el intervalo de confianza asociado a la superficie del Bosque Nativo contribuye a un mejor control y monitoreo en pos de la conservación de este recurso natural. Si bien los resultados son empíricos y acotados al área de estudio, pretenden ser un antecedente para aplicaciones futuras de diseños que incorporan información auxiliar en evaluaciones de exactitud y ser un aporte para la mejora de las estimaciones que surgen de los procesos de validación.

Palabras claves: evaluación de exactitud, algoritmos de clasificación, muestreo.

2

ABSTRACT Land use/land cover maps (LULC) are created by applying a classification algorithm to a satellite image. In this way, each pixel is assigned to a LULC class. Algorithms can fail in predicting LULC classes, producing two types of errors. These are omission errors, when a pixel of a class is not included in the mapped coverage, and commission errors, when a pixel within the mapped coverage of a class does not belong to it. Accuracy assessment is the process of estimating classification errors in a LULC map, providing the basis to estimate the area of LULC classes, and their respective confidence intervals. The estimates are obtained from a sample, and the sample design to apply in accuracy assessment becomes critical.

Traditionally, recommended sampling designs assign equal inclusion probabilities to all pixels within a mapped class. For small classes, such designs have shown a low ability detecting commission and omission errors. The objective of this research is to analyze the performance of sampling designs that incorporate auxiliary information in the accuracy assessment of the Native Forest in the Villa Soriano region, Uruguay. The auxiliary information considered is the probability of belonging to the Native Forest class, predicted by the algorithm. The pixels that are more likely to be Native Forest have a higher probability of being included in the sample. The application of this method should improve the ability to detect commission and omission errors, thereby improving the accuracy of the estimated surface of Native Forest in the study area.

The applied methodology begins by determining the areas associated with commission and omission errors and native forest by completely surveying the study area. Then, multiple samples are simulated, to compare the estimates to the true population value of the parameters of interest. Samples are generated using three designs, the two most commonly used in accuracy assessment (Stratified Simple and Systematic) and the proposed design that incorporates auxiliary information (Stratified with Probability Proportional to Size).

Sampling simulation is used to determine the variances of the estimators, a key measure of their performance.

The results show that the design that incorporates additional information is more efficient in estimating all parameters. The largest reduction in variance is achieved in the estimation of the omission area, increasing (up to four times) the number of detected cases, compared to the designs traditionally used in accuracy assessment. Improving the precision of the estimated omission area reduces the sampling error in the estimation of the area of the Native Forest. Reducing the confidence interval for the area estimated of Native Forest contributes to better control and monitoring, regarding the conservation of this natural resource. Although the results are empirical and restricted to the study area, they are intended to serve as a precedent for future applications of designs that incorporate auxiliary information, and to aid improve estimates resulting from accuracy assessment.

Keywords: accuracy assessment, classification algorithms, sampling.

3

Tabla de Contenidos 1.

2.

Introducción ............................................................................................................................... 8 1.1

Antecedentes ..................................................................................................................... 8

1.2

Objetivos y preguntas de investigación ............................................................................ 10

1.2.1

Objetivo General ...................................................................................................... 10

1.2.2

Objetivos Específicos ............................................................................................... 10

1.2.3

Preguntas de Investigación ....................................................................................... 11

1.3

Hipótesis ........................................................................................................................... 11

1.4

Justificación...................................................................................................................... 11

1.5

Alcance ............................................................................................................................. 12

Revisión de Literatura .............................................................................................................. 13 2.1

Conceptos básicos para la clasificación del uso/cobertura de suelos. .............................. 13

2.1.1

Etapas de elaboración de una cartografía de uso/cobertura de suelos. ..................... 13

2.1.2

Índices de Vegetación. ............................................................................................. 15

2.1.3

Clasificación basada en píxeles versus clasificación basada en objetos. ................. 16

2.2

Métodos para la clasificación de imágenes. ..................................................................... 17

2.3 Evaluación de Exactitud. ........................................................................................................ 21 2.3.1 Definiciones básicas. ....................................................................................................... 21 2.3.2 Diseño muestral ............................................................................................................... 23 2.3.3 Diseño de respuesta. ........................................................................................................ 28 2.3.4 Análisis ............................................................................................................................ 30 2.4 3.

Comparación de diseños muestrales................................................................................. 31

Metodología ............................................................................................................................. 35 3.1

Área de Estudio ................................................................................................................ 35

3.2

Flujograma de la Metodología ......................................................................................... 36

3.3

Desarrollo de la Metodología ........................................................................................... 38

3.3.1

Relevamiento de los segmentos del Área de Estudio. .............................................. 38

3.3.2

Cálculo de los tamaños de muestra y asignación por estrato. .................................. 39

3.3.3

Construcción del mosaico con imágenes Sentinel 2 para el año 2016. .................... 40

3.3.4

Cálculo de Índices EVI, NDWI y MSAVI. .............................................................. 40

3.3.5 BN.

Replicación del Algoritmo para la obtención de probabilidad de pertenecer a la clase 40

4

3.3.6 Cálculo de la medida de tamaño de los segmentos basada en las probabilidades predichas por el algoritmo. ....................................................................................................... 43

4.

3.3.7

Selección de muestras con diseños STSI, STSY y STPPS. ..................................... 43

3.3.8

Cálculo de Indicadores de desempeño para los diseños STSI, STSY y STPPS. ...... 44

Resultados ................................................................................................................................ 46 4.1

Relevamiento de los segmentos del Área de Estudio. ...................................................... 46

4.2

Cálculo de los tamaños de muestra y asignación por estrato. .......................................... 47

4.3

Construcción del mosaico con imágenes Sentinel 2 para el año 2016. ............................ 47

4.4

Cálculo de los Índices EVI, NDWI y MSAVI. ................................................................ 48

4.5 Replicación del Algoritmo para la obtención de probabilidad de pertenecer a la clase Bosque Nativo. ............................................................................................................................. 49 4.6 Cálculo de la medida de tamaño de los segmentos basada en las probabilidades predichas por el algoritmo. ........................................................................................................................... 52

5.

6.

4.7

Selección de muestras con diseños STSI, STSY y STPPS. ............................................. 53

4.8

Cálculo de Indicadores de desempeño para los diseños STSI, STSY y STPPS. .............. 56

Análisis de Resultados ............................................................................................................. 60 5.1

Resultados del CART y Probabilidades predichas de pertenecer a la Clase BN. ............ 60

5.2

Estimación del Área de Omisión ...................................................................................... 60

5.3

Estimación del Área de Comisión .................................................................................... 61

5.4

Estimación del Área de BN .............................................................................................. 62

5.5

Discusión .......................................................................................................................... 63

Conclusiones y Recomendaciones ........................................................................................... 69

Referencias Bibliográficas ............................................................................................................... 72

5

ÍNDICE DE TABLAS

Tabla 1. Matriz de confusión para dos clases, expresada en términos de proporción de áreas. ...... 22 Tabla 2. Matriz de confusión para dos clases, expresada en términos de áreas. .............................. 31 Tabla 3. Resultados del relevamiento de los segmentos del Área de estudio. ................................. 46 Tabla 4. Tamaño promedio y desvío estándar en km2 de los segmentos del Área de estudio. ........ 47 Tabla 5. Tamaños de muestra y asignación por estrato. ................................................................... 47 Tabla 6. Indicadores de desempeño para la réplica seleccionada del algoritmo CART. ................. 50 Tabla 7. Probabilidad promedio según estrato. ................................................................................ 53 Tabla 8. Probabilidad promedio por categoría de la matriz de confusión. ....................................... 53 Tabla 9. Valor del SR para los errores de Omisión y Comisión, y el área de BN según el tamaño de muestra y el diseño muestral. ........................................................................................................... 57 Tabla 10. Resultados de las varianzas, eficiencias relativas y efecto diseño de Kish según el tamaño de muestra y el diseño muestral. ...................................................................................................... 57 Tabla 11. Cantidad de casos promedio detectados de Comisión, Omisión y BCC, CV y porcentaje de muestras que no detectan casos de comisión y/u omisión. .......................................................... 59

6

ÍNDICE DE FIGURAS Figura 1. Localización de Villa Soriano, Uruguay. .......................................................................... 35 Figura 2. Flujograma de la Metodología. ......................................................................................... 37 Figura 3. Ciclo de las réplicas del algoritmo CART. ....................................................................... 42 Figura 4. Esquema de la simulación de muestras para los diseños STSI, STSY y STPPS. ............. 44 Figura 5. Clasificación de los segmentos del Área de estudio. ........................................................ 46 Figura 6. Mosaico basado en imágenes Sentinel 2 para el área de estudio. ..................................... 48 Figura 7. Resultados del Índice EVI. ............................................................................................... 48 Figura 8. Resultados del Índice NDWI. ........................................................................................... 49 Figura 9. Resultados del Índice MSAVI. ......................................................................................... 49 Figura 10. Distribución empírica de los Indicadores de desempeño para 100 réplicas del algoritmo CART. .............................................................................................................................................. 50 Figura 11. Árbol de Clasificación estimado en la réplica con mejor desempeño. ........................... 51 Figura 12. Mapa de las Probabilidades predichas por el CART para la clase BN. .......................... 51 Figura 13. Mapa de las Probabilidades predichas por el CART para la clase BN y de la cartografía de BN. .............................................................................................................................................. 52 Figura 14. Mapa de la probabilidad predicha promedio para los segmentos del área de estudio. ... 52 Figura 15. Histogramas para las simulaciones de las estimaciones de las áreas de Omisión, Comisión y de BN para con los diseños STSI, STSY y STPPS ....................................... 54 Figura 16. Histogramas para las simulaciones de las estimaciones de las áreas de Omisión, Comisión y de BN para con los diseños STSI, STSY y STPPS. ...................................... 55 Figura 17. Histogramas para las simulaciones de las estimaciones de las áreas de Omisión, Comisión y de BN para con los diseños STSI, STSY y STPPS. ...................................... 56 Figura 18. Varianza estimada del área de omisión en función de los tamaños de muestra para los diseños STSI, STSY y STPPS.......................................................................................................... 58 Figura 19. Varianza estimada del área de comisión en función de los tamaños de muestra para los diseños STSI, STSY y STPPS.......................................................................................................... 58 Figura 20. Varianza estimada del área de BN en función de los tamaños de muestra para los diseños STSI, STSY y STPPS. ..................................................................................................................... 58

7

ACRÓNIMOS

BCC BN CART CV ECM EVI GEE MSAVI NB NBCC NDWI NIR PPS SI SR ST STPPS STSI STSY SY VPN VPP

Bosque Correctamente Clasificado Bosque Nativo Árboles de Clasificación y Regresión (por su sigla en inglés) Coeficiente de Variación Error Cuadrático Medio Índice de Vegetación Mejorado (por su sigla en inglés) Google Earth Engine Índice de Vegetación Ajustado al Suelo Modificado (por su sigla en inglés) No Bosque No Bosque Correctamente Clasificado Índice Diferencial de Agua Normalizado (por su sigla en inglés) Infrarrojo Cercano (por su sigla en inglés) Diseño con Probabilidades Proporcionales al Tamaño (por su sigla en inglés) Simple (por su abreviatura en inglés) Sesgo Relativo Estratificado (por su abreviatura en inglés) Estratificado con Probabilidad Proporcional al Tamaño (por su sigla en inglés) Estratificado Simple (por su sigla en inglés) Estratificado Sistemático (por su sigla en inglés) Sistemático (por su abreviatura en inglés) Valores Predichos Negativos Valores Predichos Positivos

8

1. Introducción 1.1 Antecedentes La evaluación de exactitud o validación cartográfica es el proceso por el cual se obtiene una estimación de la magnitud de los errores cometidos cuando se construye un mapa de uso/cobertura de suelos, obteniendo de este modo una estimación de la superficie para las distintas clases del mapa, junto con sus respectivos intervalos de confianza.

Partiendo de una imagen satelital, los algoritmos de clasificación asignan un tipo de suelo a cada uno de los píxeles en función de un conjunto de características, como pueden ser las bandas satelitales o índices de vegetación. Los algoritmos, aun siendo muy buenos, pueden cometer errores en la clasificación. Estos errores son de dos tipos: de omisión, cuando un píxel de una clase determinada no es asignado a la cobertura cartográfica de esa clase, y de comisión, cuando es asignado a la cobertura de una clase a la que no corresponde.

Cuando se tiene como objetivo determinar la superficie de un tipo de suelo en particular (una clase de interés), ambos errores deben ser tenidos en cuenta. La cobertura cartográfica puede contener píxeles que no pertenecen a la clase de interés, y a su vez, no contener la totalidad de los píxeles que pertenecen a esta clase.

Obtener la superficie total exacta asociada a los errores de comisión y omisión es casi imposible en la práctica debido a su costo y dificultad, por lo que se debe recurrir a una muestra para la estimación de ambas cantidades (Stehman, 2009). La rigurosidad del procedimiento estadístico utilizado para obtener las estimaciones de los errores de comisión y omisión es lo que permite que el mapa obtenido pueda servir de base para realizar inferencias científicas (McRoberts, 2011). La selección de la muestra se convierte entonces en un componente crítico del procedimiento de validación (Stehman, 2009).

Actualmente, los diseños muestrales recomendados para la selección de la muestra en un proceso de validación cartográfica son diseños estratificados simples o sistemáticos (STSI y STSY respectivamente por su sigla en inglés), con igual probabilidad de selección dentro de cada clase/estrato (Olofsson et al., 2014; Stehman y Czaplewski, 1998; Strahler et al., 2006). En algunas situaciones, estos diseños han mostrado ser ineficientes, presentando errores de muestreo poco aceptables en las estimaciones, debido a la baja capacidad de detección de errores de comisión y omisión. A su vez, si el algoritmo de clasificación tiene buen desempeño, se espera que los errores de omisión y comisión sean pequeños. Esto

9

hace que sea un fenómeno “raro” en términos de muestreo, con una frecuencia muy baja, difícil de detectar con una muestra seleccionada con un diseño STSI o STSY. Olofsson et al. (2014) recomiendan además que las estimaciones de los errores de comisión y omisión tengan una precisión aceptable, es decir, que la amplitud de los intervalos de confianza asociados a las estimaciones sea reducida. Esto hace que se exija un mínimo de precisión a la hora de calcular los tamaños de muestra por estrato. Si la muestra se asignara en forma proporcional al tamaño de cada clase, no podrían obtenerse estimaciones aceptables para las clases más pequeñas.

Por otra parte, en la práctica existen restricciones (presupuestarias, de acceso a información, entre otros) que definen el tamaño de muestra total. Matemáticamente no existe un límite superior para el tamaño de muestra, pero sí existen límites desde el punto de vista logístico, que comprometen la viabilidad de la muestra. En esta situación, la exigencia de una precisión mínima por clase crea un desbalance en la muestra a favor de la clase de interés.

Esto beneficia a la estimación de los errores de comisión. Si el tamaño de muestra se encuentra predeterminado, tener precisión aceptable en la clase de interés implica en muchos casos resignar puntos de precisión en el resto de las clases. Si la clase de interés representa una fracción pequeña de la superficie total los errores de omisión deben buscarse en una superficie muy vasta, y el tamaño de muestra necesario para obtener una estimación aceptable del área de omisión se vuelve prohibitivo.

A modo de ejemplo, en la validación de la cartografía del Bosque Nativo de Uruguay, se utilizó un diseño STSI, en donde los estratos lo constituyeron las clases Bosque Nativo (BN) y No Bosque (NB). El NB se encuentra conformado por todos los tipos de suelo que no corresponden al BN. La superficie asociada a la cartografía de BN es de 835,351 hectáreas, representando un 4.7% del territorio nacional (Riaño et al., 2019). La cartografía estuvo basada en objetos, los que fueron tomados como unidad de muestreo en la validación. Los tamaños de muestra fueron de 1793 y 2330 segmentos respectivamente (Riaño et al., 2019), de los cuales resultaron en 93 casos de errores de comisión y 44 de errores de omisión. El error de comisión se estimó en un porcentaje del 4.5 omisión en un porcentaje del 21.9

%, y el de

7.5 %. El error relativo del primero es de un 22%

mientras que el del segundo es un 34%. La superficie total de BN estimada considera el

10

área estimada de omisión, resultando en 993,830 hectáreas, con un intervalo de confianza de entre 885,934 y 1,101,726 hectáreas. La magnitud de este intervalo oculta cualquier proceso de expansión del BN o de deforestación. Por la dinámica del bosque en Uruguay, en donde la tasa de expansión es pequeña, y en donde los procesos de deforestación existen pero de forma gradual (Nebel y Borsy, 2018), no es posible determinar desde el punto de vista estadístico si hubo un aumento o disminución de la superficie cuando se comparan las cartografías de distintos años. Esto es consecuencia en parte del diseño muestral utilizado en la validación, que conlleva una precisión poco aceptable en la estimación de la superficie de omisión.

Los diseños recomendados en la actualidad no tienen en cuenta ningún tipo de información acerca del comportamiento de los errores de comisión y omisión que pueda ayudar a incrementar la capacidad de detección de los mismos en la muestra. Obtener estimaciones precisas de las coberturas de suelo es fundamental para el monitoreo ambiental, y no es posible en algunas situaciones debido al procedimiento utilizado en la validación.

1.2 Objetivos y preguntas de investigación 1.2.1

Objetivo General

Validar una metodología de muestreo para la evaluación de exactitud del mapa de Bosque Nativo en Villa Soriano, Uruguay, utilizando como información auxiliar a la probabilidad del píxel (u objeto) de pertenecer a la clase de interés.

1.2.2 

Objetivos Específicos

Determinar los errores de comisión y omisión de la cartografía de Bosque Nativo en la región de Villa Soriano, Uruguay.



Comparar las varianzas de las estimaciones obtenidas de las áreas correspondientes a los errores de comisión y omisión.



Comparar las varianzas de las estimaciones obtenidas del área de Bosque Nativo con ambas metodologías.

11

1.2.3 

Preguntas de Investigación

¿Cuáles son las superficies de los errores de comisión y omisión de la cartografía del Bosque Nativo en la región de Villa Soriano, Uruguay?



¿Cuáles son las varianzas obtenidas en la estimación de superficie de los errores de comisión y omisión en la región de Villa Soriano, Uruguay, con la metodología propuesta y actual?



¿Cuál de las metodologías es más eficiente para estimar los errores de comisión, omisión y la superficie de Bosque Nativo en Villa Soriano, Uruguay?

1.3 Hipótesis La hipótesis de trabajo es que los diseños que incorporan como información auxiliar a las probabilidades predichas por el algoritmo de clasificación son más eficientes en términos de varianza (menor error de muestreo) que los diseños actuales con igual probabilidad de selección, en la validación de la cartografía del Bosque Nativo en el área de estudio.

1.4 Justificación Los mapas de cobertura de suelo son una herramienta fundamental para el monitoreo ambiental, lo que es crucial para la gestión sostenible de los recursos naturales y la protección del medio ambiente, así como para la planificación y ordenamiento territorial.

Un proceso de validación que proporcione estimaciones más precisas para las superficies de bosque permitiría acercarse al verdadero valor de la superficie, pudiendo concluir con un mayor respaldo, si esa superficie se mantuvo, aumentó o disminuyó.

Desde el punto de vista de los costos, la validación cartográfica es la etapa final del proceso de la elaboración de un mapa de cobertura, y su realización debería requerir un tiempo acorde con el insumido en las etapas de creación de la propia cartografía.

Actualmente, debido a la metodología recomendada para la validación (Olofsson et al., 2014) se ha convertido en un proceso de uso intensivo de recursos humanos, con un alto costo en tiempos, y sin lograr obtener estimaciones precisas para la magnitud de los errores de comisión y omisión.

12

La utilización del diseño propuesto tendría un impacto directo en la mejora de los resultados del proceso de validación, en términos de eficiencia de las estimaciones, con una reducción de costos en su aplicación. Si el diseño muestral tiene la capacidad de detectar más casos de comisión y omisión, el tamaño de muestra puede ser menor que el requerido en la actualidad.

1.5 Alcance El trabajo realizado en esta investigación es un trabajo empírico y acotado al área de estudio, para el caso del BN en Villa Soriano, Uruguay. No se presentan desarrollos teóricos que permitan inferir los resultados a cualquier región de estudio, ni a otro tipo de suelo. Los resultados obtenidos pueden tener una explicación teórica desde el punto de vista estadístico, pero no es el objetivo de este trabajo.

Por otro lado, se tiene que el relevamiento de las muestras se realiza con imágenes satelitales de alta calidad. En todo proceso de interpretación de imágenes puede haber variabilidad, y los resultados quedan sujetos a ella.

Este trabajo pretende ser un antecedente de uso de diseños muestrales alternativos en el proceso de validación cartográfica, y ser un aporte para la mejora de las estimaciones obtenidas en los procesos de validación y así contribuir al monitoreo de recursos ambientales.

13

2. Revisión de Literatura 2.1 Conceptos básicos para la clasificación del uso/cobertura de suelos.

Los mapas de uso/cobertura de suelo proveen la información necesaria para comprender los procesos de cambio del sistema terrestre (Venter et al., 2022). El término “cobertura” refiere a la representación biofísica observada en la superficie terrestre, mientras que el “uso” alude a la intervención de la actividad humana: con qué fines el hombre utiliza los recursos de la tierra (Chaves et al., 2020). Los mapas de uso/cobertura de suelos permiten el monitoreo de los ecosistemas, lo que es crucial para la gestión sostenible de los recursos naturales y la protección del medio ambiente, así como para la planificación y ordenamiento territorial.

Los mapas de uso/cobertura de suelos son el resultado de la interpretación de datos provenientes de sensoramiento remoto. La adquisición de datos de sensoramiento remoto involucra cuatro elementos: la radiación electromagnética, la luz, el sensor y un objetivo (Macarringue, Bolfe y Pereira, 2022). Si la radiación es medida en muchas longitudes de onda en una banda espectral amplia, la firma espectral resultante se puede utilizar para identificar los componentes de una escena (Shaw y Burke, 2003). La información espectral obtenida mediante sensoramiento remoto es la principal fuente para diferenciar los distintos tipos de suelo. El tipo y la calidad de la fuente de datos, la forma en que las imágenes son calibradas y corregidas por efectos atmosféricos y el tipo de algoritmo de clasificación son factores determinantes para lograr identificar las categorías de suelo con alta precisión (Hall, Townshend y Engman, 1995).

2.1.1 Etapas de elaboración de una cartografía de uso/cobertura de suelos.

Lu y Weng (2007) enumeran una serie de pasos involucrados en la clasificación de imágenes y por ende para la elaboración de una cartografía. A continuación, se describe en forma breve cada una de estas etapas:

-

Selección de datos: el primer paso consiste en elegir las imágenes. Esto depende de la disponibilidad de información, y de la calidad de las mismas para la zona en la que se quiera realizar el mapa.

14

-

Determinación del esquema de clasificación: para obtener un mapa de uso/cobertura de suelos se deben definir las clases, los tipos de suelo que se incluirán en el mapa. Se debe tener en cuenta la resolución con la que se construirá el mapa, la presencia de píxeles “mixtos” si las clases se encuentran muy desagregadas o si la resolución es muy amplia. Se deben pautar reglas, acordar criterios comunes para asignación de clases, de forma que el esquema de clasificación elegido sea coherente con los datos de partida y el objetivo final de elaboración del mapa.

-

Selección de muestras: en esta etapa se eligen las muestras con la que se implementará el algoritmo de clasificación.

-

Pre-procesamiento de imágenes: se realizan las correcciones radiométricas y atmosféricas de la imagen. Esta etapa es muy importante ya que la firma espectral puede variar en imágenes no corregidas e impactar en el resultado de la clasificación.

-

Extracción y selección de variables: en esta etapa se extrae información de las bandas y se crean variables, como ser los índices de vegetación, y se elige qué variables serán incluidas en el algoritmo de clasificación.

-

Selección de algoritmos de clasificación: el mapeo preciso y eficiente del uso/cobertura de suelos, requiere de buenos métodos de clasificación de imágenes (Lam, 2008). Dada la importancia de esta etapa para el desarrollo de este trabajo de investigación, el detalle de la misma se presenta en el apartado 2.2.

-

Procesamiento post-clasificación: en esta etapa se revisa la clasificación obtenida del algoritmo, y en base a conocimiento experto puede corregirse.

-

Evaluación de exactitud: es la última etapa de la elaboración de una cartografía y consiste en estimar los errores cometidos en el proceso de elaboración del mapa.

Dado que este trabajo de investigación se enmarca en esta parte del proceso de elaboración de la cartografía, en el apartado 2.3 se presenta la revisión de literatura correspondiente a esta etapa.

15

2.1.2 Índices de Vegetación.

Los índices de vegetación se encuentran dentro de las variables más utilizadas en la elaboración de mapas de uso/cobertura de suelos, dados su poder explicativo y su capacidad para identificar los distintos tipos de suelo. Existe una amplia variedad de índices. En este apartado se describen utilizados para la identificación del Bosque Nativo de Uruguay.

2.1.2.1 NDWI El presente apartado se basa en Gao (1996). El Índice diferencial del agua normalizado (NDWI por su sigla en inglés) es utilizado para detectar cuerpos de agua. Dado que en muchos casos el BN se encuentra cercano a un cuerpo de agua, este índice sirve para diferenciar ambos tipos de suelo.

donde

es la banda 3 del espectro y

el infrarrojo cercano.

2.1.2.2 EVI La siguiente descripción se basa en Huete et al. (2002). El Índice de Vegetación Mejorado (EVI por su sigla en inglés) es un índice de vegetación que reduce el ruido de fondo, el ruido atmosférico y la saturación. Se calcula como:

donde

es la banda 4 del espectro,

es la banda 2,

corrigen los efectos de la dispersión atmosférica,

y

son coeficientes que

es un factor de ajuste del dosel, y

un

factor de ganancia.

2.1.2.3 MSAVI La presentación de este índice se basa en Qi et al. (1994). El índice de vegetación ajustado al suelo modificado (MSAVI por su sigla en inglés) es un índice que se utiliza para identificar vegetación en lugares donde la vegetación no es densa, minimizando el efecto del suelo desnudo. Se calcula como:

16

(

√(

)

(

))

2.1.3 Clasificación basada en píxeles versus clasificación basada en objetos.

Las cartografías de uso/cobertura de suelos pueden partir de la clasificación directa del píxel, o de un objeto. El análisis de imágenes basado en objetos ha ganado popularidad en los últimos años para la creación de mapas basados en datos obtenidos por sensoramiento remoto (Ye et al., 2018). Los objetos son polígonos que resultan de la aplicación de algoritmos de segmentación. Un algoritmo de segmentación se utiliza con la expectativa de separar una imagen en grupos relativamente homogéneos y semánticamente significativos (Blaschke, 2010).

Las ventajas de trabajar con objetos son tres: la primera es que se minimiza la variabilidad espectral intra – clase, la segunda es que se aprovecha la información espacial implícita en las imágenes (como la forma, tamaño y textura), y la tercera es que los objetos facilitan la integración de relaciones contextuales y semánticas entre los objetos geográficos (Ye et al., 2018). Todo esto evita el efecto “sal y pimienta” implícito en la clasificación directa de los píxeles (Blaschke, 2010).

La segmentación de imágenes tampoco es un proceso sencillo. Muchos factores pueden afectar el resultado de la segmentación: se deben definir parámetros y umbrales que deben ser sometidos a pruebas para evaluar la escala del análisis (Blaschke, 2010), seleccionar las variables para realizar la segmentación, y a su vez evaluar los resultados, lo que hace que sea un proceso de prueba y error que puede insumir tiempo y recursos. Sin embargo, en los años recientes, son cada vez más los ejemplos de aplicaciones de análisis de imágenes basado en objetos, ya que se considera que el desempeño es superior al de la clasificación directa de píxeles.

Trabajar con objetos afecta principalmente a la definición del sistema de clasificación, el trabajo de post-clasificación y a la evaluación de exactitud. En la clasificación de las unidades de análisis se asigna la clase mayoritaria del objeto, pudiendo contener píxeles que no corresponden a la clase mayoritaria. Esto a veces no es tan sencillo, dependiendo del tipo de suelo que se quiera clasificar, debiendo establecer reglas claras para asignar una clase al objeto.

17

2.2 Métodos para la clasificación de imágenes.

En términos generales los métodos utilizados para la clasificación de imágenes son modelos estadísticos en donde la variable de respuesta se encuentra constituida por las clases del mapa a elaborar. Los modelos más tradicionales son métodos paramétricos en donde se asume una distribución de probabilidad para el conjunto de datos. Dentro de estos métodos se encuentran los basados en máxima verosimilitud (Richards, 2013) y los modelos logit multinomiales (Cameron y Trivedi, 2013), entre otros. Yu et al. (2014), en una revisión de 1651 artículos de elaboración de cartografía basada en sensoramiento remoto, encontraron que el método de clasificación por máxima verosimilitud era el más utilizado, con un 32.34% de los casos. Cabe destacar que este estudio fue publicado en el año 2014, y que en los últimos años esto ha cambiado con el advenimiento del big data y el desarrollo tecnológico.

Los métodos más utilizados para clasificación de imágenes en la actualidad son los denominados como algoritmos de aprendizaje automático. Algunos de los algoritmos más utilizados son los basados en árboles de clasificación (Breiman et al., 2017), máquinas de vector de soporte (Cortes y Vapnik, 1995) y redes neuronales (Aggarwal, 2018). La mayor fortaleza de los algoritmos de aprendizaje automático es la capacidad de manejar datos de alta dimensión, por lo que cuentan con el potencial para una clasificación de imágenes efectiva y eficiente a partir de datos de sensoramiento remoto (Maxwell et al., 2018). Son métodos no paramétricos, en donde no se hacen supuestos sobre el comportamiento probabilístico del conjunto de datos. Pueden capturar relaciones no lineales y utilizar distintos tipos de variable como insumo para la clasificación.

Los métodos de clasificación pueden ser categorizados a su vez como supervisados y no supervisados. Los primeros se basan en una muestra de entrenamiento, en donde las clases se encuentran etiquetadas. La mayoría de las aplicaciones de datos de sensoramiento remoto se encuentran dentro de esta categoría. En el caso de los no supervisados, los píxeles u objetos no tienen una clase asignada: los algoritmos buscan agrupaciones que luego deben ser identificadas por el usuario. El más conocido dentro de este tipo de algoritmos es el de agrupación por clusters, en donde se obtienen grupos homogéneos respecto al conjunto de características (Schowengerdt, 2007). Este tipo de análisis es más de tipo exploratorio. Si bien puede obtenerse una clasificación a partir del mismo, es de

18

mayor utilidad cuando se quieren “descubrir” clases o analizar un posible sistema de clasificación.

Los algoritmos de aprendizaje automático para la clasificación de imágenes forestales están en continua evolución, proporcionando metodologías cada vez más avanzadas para el reconocimiento de patrones a partir de imágenes satelitales (Kwenda et al., 2022). La literatura sobre aplicaciones de algoritmos de aprendizaje automático relacionadas con la temática forestal (mapeo de bosques, degradación, detección de cambios, deforestación, detección de incendios) es amplísima. Sólo por mencionar algunos ejemplos, Ahmed et al.

(2015) comparan los resultados de una regresión múltiple con el algoritmo de bosques aleatorios aplicado a series temporales de Landsat y muestras LiDAR, para caracterizar disturbios en la cobertura de copas en la Isla de Vancouver, Canadá, obteniendo un desempeño superior en la aplicación de bosques aleatorios. Fragou et al. (2020) aplican máquinas de vector soporte a una serie de imágenes Landsat para identificar cambios en la cobertura de suelos en la región de Attica en Grecia, obteniendo una exactitud global de 0.96, 0.89 y 0.99 para los años de estudio (1993, 2001 y 2010). Hermosilla et al. (2022), aplican bosques aleatorios a los ecosistemas dominados por bosques en Canadá, subdividiendo el territorio en una grilla de 150x150km, permitiendo flexibilidad en el algoritmo utilizado en cada región, obteniendo un resultado en la evaluación de exactitud de una precisión global de 77.9%

1.4%, logrando una mejora en el indicador respecto a

trabajos anteriores.

Cuando se trabaja con algoritmos de aprendizaje automático, debe tenerse en cuenta el problema del sobreajuste (Maxwell et al., 2018). Este problema ocurre cuando el algoritmo funciona muy bien en la muestra de entrenamiento, pero falla al realizar predicciones fuera de la muestra, que es la base de la elaboración un mapa de uso/cobertura de suelos. Cuando se elige la muestra para entrenar el algoritmo, ésta debe ser particionada en una muestra de entrenamiento propiamente dicha y una muestra de test. Con la primera se ajusta el algoritmo, y con la segunda se lo evalúa. De esta forma, las medidas de desempeño asociadas al modelo utilizado no se encuentran sesgadas y no sobreajustan a los datos con los que se estimó el algoritmo de clasificación. Algunas de las medidas de desempeño más utilizadas se basan en la matriz de confusión, como ser la sensibilidad, la especificidad y los valores predichos positivos (VPP) y negativos (VPN) (Kuhn, 2008).

19

Las muestras de entrenamiento y de test por lo general se identifican en terreno o con una imagen satelital de alta calidad. El algoritmo se construye en base a la muestra de entrenamiento, obteniendo como resultado una clasificación en base a la información espectral (o derivada, como puede ser un índice de vegetación). Esto permite luego predecir la clase a la que pertenece cada píxel u objeto en base a las variables que el algoritmo selecciona como explicativas.

Utilizando la notación de Murphy (2013), en términos genéricos, para una variable categorías, un algoritmo de clasificación es una función valores de variables explicativas

con

que al aplicarse al conjunto de

, disponibles para los datos de entrenamiento

, predice para cada píxel u objeto la clase

a la que pertenece, con

, como se

establece en la ecuación (1): ̂ donde

(

(

)

(

)

) es la probabilidad de pertenecer a la clase

(1) dadas la

muestra de entrenamiento y los valores de las variables de entrada. Para clasificar a una observación en una de las

categorías, la función

asigna aquella en donde el píxel u

objeto tiene mayor probabilidad de pertenecer. La predicción de la clase no es el resultado primario del algoritmo: éstos predicen las probabilidades de pertenencia a cada clase de las unidades del mapa, y en base a ellas, las unidades del mapa son asignadas a las clases.

A modo de ejemplo, en el caso de los Árboles de Clasificación y Regresión (CART por su sigla en inglés), el modelo de predicción se construye realizando particiones binarias del espacio generado por las variables de entrada (Breiman et al., 1917). Cada partición se obtiene maximizando la diferencia entre dos grupos de acuerdo a una de las variables de entrada. Esta diferencia se encuentra basada en un criterio, como la entropía o el Índice de Gini (Aggarwal, 2018). Para todas las variables se busca el punto de corte que más separa al conjunto de datos, de acuerdo al criterio seleccionado. Luego, de todas ellas se elige la que maximiza esa diferencia. Así se define el primer nodo, el principal. Con el mismo método se definen los nodos subyacentes, hasta que se cumple con una regla de parada y el árbol deja de crecer. Una vez obtenido el árbol, se tienen nodos terminales, con una composición de las clases. El nodo terminal se clasifica con la clase mayoritaria, y la probabilidad de pertenecer a esa clase coincide con la frecuencia de la clase en el nodo terminal. Los árboles de clasificación y regresión han sido destacados por su fácil

20

interpretación y su capacidad predictiva (Briand et al., 2009). Sin embargo, también son conocidos por ser inestables (Breiman et al., 2017; Last et al., 2002; Philipp et al., 2016).

Pequeños cambios en la muestra de entrenamiento puede provocar grandes cambios en el resultado final del CART (Philipp et al., 2016). Si el algoritmo es inestable, se tendrá variabilidad en las medidas de desempeño (Liu y Motoda, 1998). Esto tiene como consecuencia, para el caso específico de clasificación de imágenes, que la clasificación de un píxel u objeto pueda variar de acuerdo a la muestra de entrenamiento.

Las probabilidades de pertenencia a las distintas clases pueden variar dependiendo del algoritmo de clasificación utilizado (Caruana y Niculescu-Mizil, 2006), y no necesariamente tienen que ser cercanas a uno para que un algoritmo clasifique una observación en una clase en particular. Esto depende del desempeño global del algoritmo, de la presencia de clases con baja frecuencia, entre otros factores. Las probabilidades son una medida de la similitud de los píxeles u objetos respecto a una clase: no todos los píxeles u objetos clasificados en una misma categoría tienen igual probabilidad, y los que no lo son, no necesariamente tienen una probabilidad drásticamente diferente a la de los píxeles u objetos que fueron clasificados como tal.

Un punto a tener en cuenta es la unidad del mapa. Cuando son píxeles, los algoritmos asignan directamente al píxel la probabilidad de pertenecer a una determinada clase. En el caso de trabajar con objetos existen dos formas de proceder: la primera es que se mantenga la clasificación de los píxeles y que luego se clasifique al objeto por mayoría (Geneletti y Gorte, 2003; Li et al., 2013), la segunda es que se obtengan los valores agregados de las variables utilizadas en la clasificación para cada objeto, y que luego los objetos se clasifiquen directamente por el algoritmo, de acuerdo a los valores agregados de las variables de entrada (Thomas et al., 2003; van der Sande et al., 2003). Si los segmentos utilizados son mixtos o poco homogéneos respecto a una clase, esto puede ser un problema para la clasificación. La dificultad de identificar los objetos con características reales de la geografía del territorio puede generar confusión en cuanto a las clases y producir errores en el mapa (Geneletti y Gorte, 2003; Lang, 2008). Por este motivo la importancia de utilizar un algoritmo de segmentación eficiente, que minimice estas situaciones en el resultado final.

21

2.3 Evaluación de Exactitud.

2.3.1 Definiciones básicas.

Aun trabajando con algoritmos de clasificación y datos muy precisos, se pueden cometer errores en el proceso de elaboración de una cartografía. La evaluación de exactitud consiste en estimar la magnitud de la superficie de los errores cometidos junto con sus respectivos intervalos de confianza. McRoberts (2011) advierte que si los mapas no cuentan con una medida de sesgo y precisión no tienen utilidad para realizar inferencias científicas. En sus palabras, “si las estimaciones de los parámetros poblacionales derivadas del mapa no pueden ser caracterizadas en términos probabilísticos el mapa no puede servir como base para inferencias científicas; desde una perspectiva inferencial, serían algo más que una foto bonita” (p. 716). Los mapas son el producto de un proceso complejo, y muchas veces se entiende que éste concluye cuando se llega a la versión del mapa final. Este error se comete con frecuencia y no se cuenta en muchos casos con una medida asociada de la precisión del mapa, lo que impide realizar inferencias a partir de la cartografía creada.

La exactitud se define como el grado de acuerdo entre el mapa producido y la clasificación de referencia (Olofsson et al., 2013). La clasificación de referencia se obtiene de una fuente de mayor calidad que la utilizada para la elaboración de la cartografía y es considerada como la “verdad absoluta” cuando se la compara con los resultados del mapa.

Dado que los datos de referencia tienen un alto costo de ser producidos, se trabaja a partir de una muestra, y es así que surge la necesidad de obtener medidas de la incertidumbre asociada a las estimaciones obtenidas en el proceso de validación.

Los datos se presentan en una matriz de error o confusión, en donde por lo general la clasificación de referencia se presenta en las columnas y la obtenida del mapa en las filas de la matriz. En la Tabla 1 se presenta la matriz de confusión sugerida por Olofsson et al.

(2014).

22

Tabla 1. Matriz de confusión para dos clases, expresada en términos de proporción de

áreas. Fuente: Olofsson et al., 2014 Referencia Clase 1 Mapa

en donde

Clase 2

Clase 1 Clase 2 Total

Total

1

es la proporción de la superficie clasificada en la celda .

y

indican las

marginales de la tabla. En base a la matriz de confusión, se tienen tres medidas para la evaluación de exactitud: la exactitud global, la del usuario y la del productor (Olofsson et al., 2013).

-

Exactitud global: es la proporción del área total en la que los datos de referencia concuerdan con el mapa. En el caso de tener

clases la exactitud global es:

∑ -

(2)

Exactitud del usuario: para una clase en particular, es la proporción del área del mapa que se corresponde con la misma categoría en terreno. Para la clase

la

exactitud del usuario se define como: (3) -

Exactitud del productor: para una clase en particular, es la proporción del área estimada en terreno que se corresponde con la misma categoría en el mapa. La exactitud del productor para la clase es: (4)

En base a la exactitud del usuario y del productor se definen los errores de comisión y omisión como

y

respectivamente. El error de comisión corresponde a la

proporción de área del mapa que fue asignada a una clase, y que en la realidad no se corresponde con la misma. El error de omisión es la proporción de área estimada de una clase determinada que no se pudo detectar en el proceso de elaboración del mapa.

Una medida de concordancia muy utilizada en la evaluación de exactitud es el coeficiente Kappa (Cohen, 1960). Varios autores recomiendan no utilizar este coeficiente para reportar la exactitud (Pontius Jr y Millones, 2011; Morales-Barquero et al., 2019; Olofsson et al.,

23

2014), debido a que los supuestos que asume no son sostenibles en el contexto de validación cartográfica.

La evaluación de exactitud se realiza en tres etapas: la elección del diseño muestral, la recolección de los datos de referencia (diseño de respuesta), y la de análisis o estimación (Stehman y Czaplewski, 1998).

2.3.2 Diseño muestral En el muestreo de poblaciones finitas existen dos paradigmas para realizar inferencias: el de la inferencia basada en el diseño, y el de la inferencia basada en modelos. La diferencia entre ambos paradigmas radica en la fuente de la aleatoriedad: en el primer caso, la aleatoriedad proviene del mecanismo de selección de la muestra. En el segundo, proviene de asumir un modelo generador de datos, una distribución que responde a un supuesto del investigador. El primer enfoque es el más utilizado en estadísticas oficiales, ya que proporciona un marco objetivo, en donde los resultados no dependen del modelo asumido.

La inferencia en un proceso de validación también se realiza bajo el paradigma de la inferencia basada en el diseño.

El diseño muestral es la función que asigna las probabilidades de selección a las posibles muestras de la población. Formalmente (en base a Särndal et al., 1992), sea

la población

objetivo (en el caso presente el conjunto de píxeles o de segmentos) de donde se selecciona una muestra , y

el conjunto de todas las muestras posibles. El diseño muestral se define

como: ( en donde

)

( ) para cualquier

es una variable aleatoria cuya distribución de probabilidad se encuentra

especificada por la función

( ). Sea

un elemento cualquiera de la población

, se define a la función indicadora de la muestra como: { La probabilidad de inclusión del elemento

es entonces: (

)

Esta probabilidad depende del diseño muestral, y se calcula como:

24

∑ ( )

La probabilidad de inclusión del elemento muestras que contienen al elemento

es la suma de las probabilidades de las

. Para que el diseño se considere aleatorio,

La inferencia se realiza en función de las probabilidades de inclusión, y es por eso que se le denomina como “inferencia basada en el diseño”. A modo de ejemplo, el estimador de un total para una variable

se obtiene como:

̂

∑

∑

(5)

Es decir, el valor de la variable

para cada elemento ,

, es ponderado por el inverso de

la probabilidad de inclusión,

, y es así como se realiza inferencia, “expandiendo” los

valores de la muestra hacia la población.

Los diseños muestrales más utilizados en la evaluación de exactitud son los diseños STSI, STSY y por conglomerados.

2.3.2.1 Diseño simple (SI).

En un diseño SI la muestra se selecciona sin remplazo y con igual probabilidad de selección. Si la población

es de tamaño

y la muestra

de tamaño , las probabilidades

de selección son (Särndal et al., 1992): (6) Los elementos seleccionados con un diseño SI pueden encontrarse en cualquier lugar de la superficie de estudio.

2.3.2.2 Diseño sistemático (SY).

En un diseño sistemático también se tienen probabilidades de selección constantes para todos los elementos de la población, pero el esquema de selección es distinto al del diseño simple. En el diseño SY se selecciona al azar un “arranque aleatorio”

(Särndal et al.,

1992), y luego se dan saltos a una distancia fija , la cual se denomina como intervalo de muestreo. La muestra en este caso sigue un patrón regular, y en muchos casos es preferido al diseño SI ya que asegura una cobertura espacial de toda la población objetivo. El

25

intervalo de muestreo se determina en función de la población total muestra , de forma que

[

]. El arranque aleatorio

y el tamaño de

se elige al azar entre

y

con

igual probabilidad. La probabilidad de que una muestra sistemática sea seleccionada es entonces

, lo que lleva a que la probabilidad de inclusión coincida con la del diseño SI,

y se calcula de acuerdo a la fórmula (6).

2.3.2.3 Diseño estratificado (ST).

En los diseños estratificados la población una muestra

es particionada en estratos,

, y se selecciona

dentro de cada estrato, en forma independiente (Särndal et al., 1992). En la

evaluación de exactitud los estratos comúnmente lo conforman las clases que se validan.

En cada estrato se aplica un diseño para la selección de la muestra

. Por lo general, se

utiliza el mismo, y de ahí el nombre “estratificado simple” o “estratificado sistemático”, pero podrían llegar a utilizarse diseños distintos por estrato. Si el tamaño del estrato

es

, bajo un diseño STSI o STSY las probabilidades de selección son: (7) donde

es el tamaño de muestra del estrato

. El diseño estratificado es de los más

utilizados en validación cartográfica. Es el recomendado por Olofsson et al. (2014), en su artículo de buenas prácticas a aplicarse en un proceso de evaluación de exactitud. Zhang et al. (2020), Wickham et al. (2017) y Camacho Sanabria et al. (2017) son algunos de muchos ejemplos de procesos de validación cartográfica en donde se utilizan diseños estratificados.

2.3.2.4 Diseño con probabilidades proporcionales al tamaño (PPS).

No todos los diseños muestrales tienen que tener igual probabilidad de selección. Para que un diseño sea aleatorio tiene que cumplir con que todas las unidades muestrales tengan probabilidad positiva de inclusión, pudiendo tomar cualquier valor, tal que

. En

los diseños proporcionales al tamaño las probabilidades de inclusión se calculan en función de una variable auxiliar

(Särndal et al., 1992), de forma que: ∑

(10)

26

Se puede demostrar que si la variable interés

se encuentra correlacionada con la variable de

, el diseño proporcional al tamaño es más eficiente que un diseño simple en

términos de varianza (Skinner, 2016). Los diseños muestrales que incorporan información auxiliar presentan un mejor desempeño que los que no. La información puede ser utilizada en la estratificación (Ahamed et al., 2021; Singh et al., 2018), en la propia selección como en el diseño PPS (Skinner, 2016), y también en la etapa de estimación (Estevao y Särndal, 1999; Pandey et al., 2021). Siempre que se tenga algún tipo de información auxiliar, el diseño se podrá mejorar, más aún si la información con la que se cuenta está correlacionada con el fenómeno que se quiera estudiar.

En el caso de la evaluación de exactitud no se han encontrado aplicaciones de diseño PPS para la elección de la muestra. Ye et al. (2018) examinaron 209 artículos publicados entre 2003 y 2017 de las revistas más importantes de sensoramiento remoto, enfocándose en la validación de cartografía de uso/cobertura de suelos, no encontrando ningún caso que aplique este diseño. Los autores mencionan la posibilidad de aplicar este tipo de diseños en el caso de que la unidad de análisis sean segmentos, y que estos a su vez sean muy heterogéneos en tamaño. Un diseño PPS que utilice al tamaño de los polígonos como variable auxiliar podría evitar sesgos es las estimaciones de área, respecto a un diseño con probabilidades constantes.

Las probabilidades predichas por el algoritmo de clasificación son una medida de la similitud de los píxeles u objetos, respecto a las diferentes clases del mapa. Estas probabilidades pueden utilizarse como información auxiliar en un diseño PPS. Los errores de omisión y comisión deberían presentar una probabilidad similar a la de pertenecer a la clase de interés, y esto puede ser utilizado en el diseño para aumentar el poder de detección de errores de comisión y omisión. De esta forma, se puede lograr una mejor precisión para las medidas de exactitud y para la estimación de las superficies de las clases de interés.

2.3.2.5 Elección de la unidad de muestreo.

Las unidades de muestreo utilizadas comúnmente en un proceso de validación son píxeles, bloques de píxeles o segmentos (Stehman y Wickham, 2011). La elección de la unidad de muestreo debe considerar principalmente el diseño para la recolección de datos de referencia y la unidad mínima del mapa. De acuerdo a Congalton y Green (2008), la elección del píxel como unidad de muestreo es una opción “muy pobre” por ser una

27

partición arbitraria del suelo que no sigue la forma del paisaje, y en términos prácticos, si los datos de referencia se obtienen en terreno, es muy difícil de alinear exactamente los límites del píxel para luego observar el tipo de suelo que le corresponde. Sin embargo, en la revisión sistemática realizada por Morales-Barquero et al. (2019), un 35.2% de los trabajos utilizan al píxel como unidad de análisis. La disponibilidad de imágenes de alta resolución permite reducir el impacto del problema planteado por Congalton y Green (2008), a la vez que se obtiene una reducción considerable en los costos de relevamiento de los datos de referencia.

Congalton y Green (2008) recomiendan tomar a la unidad mínima del mapa como unidad de muestreo. De acuerdo a los resultados de la revisión realizada por Ye et al. (2018), este criterio se respeta en la amplia mayoría de los casos. Cuando la unidad de muestreo son objetos, pueden existir píxeles que no son de la clase en la cual el objeto fue etiquetado. Es crucial mantener el criterio utilizado en la elaboración de la cartografía para asignar las clases a los objetos seleccionados en la muestra. Más allá de la discusión en cuanto a las ventajas y desventajas de las posibles unidades de muestreo, la definición de la misma es clave en todo el proceso de validación, y define las reglas para determinar la concordancia entre los datos de referencia y las categorías del mapa.

2.3.2.6 Tamaño de muestra.

El tamaño de muestra se define en función del diseño muestral utilizado. Olofsson et al.

(2014) proponen algunas fórmulas para el cálculo del tamaño de muestra, como la correspondiente al diseño STSI, definida como: (∑ [ ( ̂ )]

en donde del usuario

) (

(11)

)∑

es la proporción mapeada de la clase , √ (

), y ( ̂ )

√ ̂(

es el desvío estándar de la exactitud ̂ ) es el desvío estándar de la precisión

global al que se desea llegar.

En la práctica muchas veces sucede que el tamaño de muestra viene determinado por los costos del relevamiento. Los cálculos a priori pueden realizarse, pero si no existe presupuesto para llevar a cabo el relevamiento, se debe sacrificar precisión o confianza, y

28

así llegar a una cifra realizable, siempre y cuando el error en la estimación siga siendo aceptable.

2.3.3 Diseño de respuesta.

Esta etapa se refiere al protocolo que se implementa para la obtención de los datos de referencia, en pos de que la clasificación obtenida sea objetiva y consistente.

2.3.3.1 Elección de la fuente para los datos de referencia.

El primer paso es elegir la fuente de información. Las tres alternativas son: recolectar datos en terreno, utilizar fotos aéreas de alta resolución, u otros mapas temáticos. Utilizar un mapa anterior para validar una cartografía recién elaborada no es lo más común, debido a que pudo haber cambios en terreno no capturados por el mapa previo, y a que el esquema de clasificación puede ser diferente, entre otras desventajas mencionadas por Congalton y Green (2008).

La elección entre recolectar los datos de referencia en terreno y obtenerlos de fotos aéreas, depende principalmente de los costos y de la calidad de las imágenes con la que se generó el mapa. Por un tema de costos, es muy frecuente que se utilicen fotos aéreas para generar los datos de referencia, pero si no existen imágenes con una calidad superior a la que se generó el mapa, la alternativa es recolectar los datos en terreno (Congalton y Green, 2008).

Ambas fuentes de información tienen sus ventajas y desventajas, más allá de los costos (Congalton y Green, 2008; Olofsson et al., 2014). Utilizar imágenes de alta calidad permite en primer lugar tener acceso a la totalidad de la muestra e identificar exactamente la unidad de análisis, sea píxel u objeto. En lo que se refiere al acceso, cuando se relevan datos en terreno, pueden ocurrir dos situaciones: que no se permita el acceso a la unidad seleccionada, o que éste sea físicamente difícil de alcanzar. Una práctica muy común es remplazar estas unidades por otras más accesibles. Esto no es deseable ya que altera la muestra original, pudiendo afectar las inferencias que se realicen a partir de ella.

En cuanto a la identificación de las unidades en terreno se tiene la dificultad de delinear el píxel u objeto en la superficie. Los GPS no son perfectos y un error de pocos metros puede cambiar la posición del polígono a relevar, pudiendo llevar a que se etiquete el dato de referencia con una clase que no corresponda.

29

Una desventaja de utilizar imágenes aéreas es que la interpretación de la clase no es directa, el resultado depende de las habilidades de los intérpretes para identificar las clases (Congalton y Green, 2008). Además de la habilidad del intérprete, existen clases que son difíciles de discriminar, aun con imágenes de calidad muy alta. Ante la presencia de unidades mixtas los resultados pueden ser diferentes dependiendo de quién lo interprete.

Esto en terreno no ocurre, al poder observar directamente el tipo de suelo en la unidad seleccionada.

El momento en el que se deben recolectar los datos de referencia es crucial para la obtención de resultados consistentes en la validación. Se debe ser lo más cercano en el tiempo posible al de la fecha de las imágenes utilizadas para la elaboración del mapa, y esto en la práctica puede ser definitorio para la elección de la fuente de datos de referencia.

2.3.3.2 Esquema de clasificación.

El esquema de clasificación refiere a los criterios utilizados para determinar la clase de la unidad de muestreo seleccionada. Éste debe ser el mismo que el utilizado para la elaboración del mapa. El desafío se presenta en los píxeles o polígonos que no son homogéneos, teniendo que definir reglas para clasificación de estas unidades en una única categoría. Este conjunto de reglas define al esquema de clasificación, y es crucial para el resultado de la evaluación de exactitud.

2.3.3.3 Objetividad y consistencia.

De acuerdo a Congalton y Green (2008), el diseño de respuesta debe cumplir con tres condiciones para que los resultados de la evaluación de exactitud sean confiables y replicables: que los datos de referencia sean independientes de los datos de entrenamiento, que la recolección de datos sea consistente en todos los sitios de muestreo, e implementar un control de calidad en todas las etapas del proceso de recolección de datos.

Sobre el primer aspecto, los datos de referencia no pueden ser los mismos que se utilizaron como muestra de entrenamiento para la elaboración del mapa. Como se explicó en los apartados anteriores, desde el punto de vista estadístico esto lleva a tener sobreajuste, y las estimaciones de los errores pueden verse afectadas. Desde un punto de vista de recursos humanos, es deseable que el equipo de trabajo a cargo de la elaboración de la cartografía no esté implicado en la recolección de los datos de referencia. El objetivo de la evaluación

30

de exactitud es obtener una medida del error asociada, y no es recomendable que las mismas personas, de alguna manera, se auditen a sí mismas.

En cuanto a la consistencia en el proceso de recolección de datos, refiere a que se implemente el mismo protocolo en todos los sitios de muestreo, utilizando el mismo esquema de clasificación y los mismos criterios para la obtención de los datos de referencia. Tanto sea en terreno o utilizando fotos aéreas, las decisiones a tomar frente a una serie de situaciones que se pueden presentar deben ser las mismas en todo el equipo de recolección de datos.

Por último, siempre es bueno realizar un control de calidad en todo proceso de recolección de información. En el caso de recolectar datos en terreno, la “re-visita” a sitios seleccionados, para controlar que los datos hayan sido recabados en el sitio correspondiente y el esquema de clasificación aplicado. Cuando se trata de interpretar fotos aéreas, se puede revisar la clasificación y la posición al igual que en el terreno, pero además se pueden obtener medidas asociadas a la “variabilidad” del intérprete (Olofsson et al., 2014), de forma de constatar la consistencia en la interpretación de las imágenes utilizadas como datos de referencia.

2.3.4 Análisis El plan de análisis detalla los estimadores a utilizar para obtener las estimaciones de los errores asociados al mapa y de las superficies de las clases de interés. La forma de los estimadores y de sus respectivas varianzas dependen del diseño muestral utilizado. En este apartado se presentan los estimadores para la superficie total de la clase de interés, y de los indicadores de exactitud asociados al mapa. Para simplificar la notación se considerarán dos clases, como fue presentado en el apartado 2.3.1 y se seguirá la notación utilizada en el apartado 2.3.2.

2.3.4.1 Estimación de la superficie de la clase de interés y de los indicadores.

El punto de partida es estimar los valores

de la Tabla 1. Para ello es necesario estimar

las superficies de las clases de interés. La matriz de confusión puede expresarse en términos de áreas, como se presenta en la Tabla 2, en donde ̂ total de la celda , con

.

representa la superficie

31

Tabla 2. Matriz de confusión para dos clases, expresada en términos de áreas.

Referencia Mapa

Clase 1 ̂ ̂ ̂

Clase 1 Clase 2 Total

Clase 2 ̂ ̂ ̂

Total ̂ ̂

Los estimadores ̂ se obtienen como (Strahler et al., 2006): ̂ donde

∑

(12)

es el subconjunto de la muestra correspondiente a la celda

confusión,

y

son el expansor y el área del píxel u objeto

de la matriz de seleccionado en la

muestra. Los totales de filas y columnas se obtienen como la suma de las estimaciones de las celdas.

Las estimaciones de las celdas ̂ se obtienen como el cociente entre los totales ̂ y (la superficie total). De la misma manera se obtienen las estimaciones de las marginales ̂ y ̂ , dividiendo el total estimado de las marginales entre la superficie total.

Las estimaciones de la exactitud global ̂ , del usuario ̂ y del productor ̂ se obtienen sustituyendo en las ecuaciones (2), (3) y (4) los valores

y

por sus estimaciones

̂ , ̂ y ̂ (Olofsson et al., 2013).

2.4 Comparación de diseños muestrales.

Considerando la estimación de un mismo parámetro poblacional, los diseños muestrales son evaluados por medio de la varianza de los estimadores. La mayoría de los diseños muestrales no presentan una forma analítica para la varianza que permita compararlos en forma teórica, por lo que a priori, se desconoce qué diseño será el más eficiente ante una situación determinada. Cabe destacar que la eficiencia del diseño y de los estimadores depende de la población objeto de estudio.

Por otra parte, los costos de relevamiento de cualquier muestra son altos, por lo que en la práctica no es viable seleccionar muestras con distintos diseños para decidir cuál es el mejor para la población objeto de estudio. Como solución a este problema se construyen

32

poblaciones artificiales (Stehman, 1992) o se releva de forma completa una población real (Congalton, 1988; Stehman, 1992) con el fin de evaluar la performance de los diseños a aplicar. Los parámetros poblacionales en ambos casos (medias, varianzas) son conocidos.

De esta forma es posible seleccionar múltiples muestras con diferentes diseños y comparar las estimaciones con el verdadero valor del parámetro poblacional, y así evaluar el desempeño de cada diseño. Tomar más de una muestra es necesario para eliminar la posibilidad de obtener una muestra que no sea representativa (Congalton, 1988), y para que los resultados no queden sujetos a la realización de una única muestra. La simulación de muestras ofrece una alternativa de bajo costo, además de brindar la posibilidad de controlar el experimento y realizar análisis de sensibilidad (Yim et al., 2009).

De acuerdo a Räty et al. (2020), como resultado de las simulaciones se obtienen T muestras para cada diseño,

, y en cada una de ellas se estima el parámetro de

interés. Si es un total se obtendrán R estimaciones, ̂ ∑

̂ , en donde

̂

(13)

es el promedio de las estimaciones, que servirá como punto de referencia para evaluar el sesgo de los estimadores obtenidos con los diferentes diseños (Räty et al., 2020). La varianza empírica se obtiene como: ( ̂)

(̂

∑

) .

(14)

( ̂) no tiene en cuenta el sesgo del estimador. En este caso se debe utilizar el Error Cuadrático Medio (ECM) que mide las diferencias al cuadrado con el verdadero valor del parámetro en lugar de

. Räty et al. (2020) lo definen como: ( ̂)

∑

(̂

)

(15)

Dentro de las temáticas de sensoramiento remoto y forestal existen diversos antecedentes que utilizan esta metodología para comparar la eficiencia de diferentes diseños de muestreo. Congalton (1988) realiza una simulación con 400 réplicas para estimar la varianza del porcentaje de píxeles mal clasificados con cinco diseños muestrales (SI, SY, por conglomerados, STSI y STSY no alineado). Utiliza tres imágenes reales correspondientes a un área forestal, a una de pastizales y a una región agrícola. Para determinar los píxeles mal clasificados trabaja con dos clasificaciones, utilizando una de

33

ellas como de referencia. Los resultados arrojan que los diseños más eficientes son el SI y el STSI. Stehman (1992) compara la eficiencia de los diseños SI, SY y STSY no alineado para estimar la proporción de píxeles mal clasificados en ocho poblaciones (algunas artificiales y otras reales), con distintos patrones espaciales para el error de clasificación. Simula 1500 réplicas para cada diseño y para distintos tamaños de muestra. Se llega a la conclusión de que los diseños SY son más eficientes que el SI. Stehman (1992) atribuye esta diferencia, respecto al trabajo de Congalton (1988) a una posible periodicidad en los datos utilizados en este último estudio, lo que hace ineficientes a los diseños SY. Magnussen et al. (2020) construyen dos poblaciones artificiales forestales, la primera con una fuerte correlación espacial positiva, y la segunda con un patrón aleatorio, con el fin de evaluar los estimadores de varianza para el diseño SY en inventarios forestales. Se trabaja con diferentes tamaños de muestra, y al tratarse de muestras SY, en donde la cantidad de muestras posibles es acotada, se obtuvo la distribución exacta de los estimadores, al simular todas las muestras posibles. Se obtuvo como resultado que el diseño SI sobreestima la varianza del diseño SY, y que los estimadores utilizados para aproximar la varianza de este diseño presentan un desempeño similar.

Para comparar los diseños deben considerarse medidas respecto al sesgo y la varianza. En cuanto al sesgo Magnussen et al. (2020) utilizan el promedio del sesgo relativo (SR), propuesto inicialmente por Kish y Frankel (1974): ∑

̂

|

|

(16)

Cabe destacar que al generarse la población o al relevarse en forma completa,

es

conocido. En cuanto a la comparación de varianzas, la medida más sencilla (Yim et al., 2009; Magnussen et al., 2020) es el cociente de las varianzas obtenidas con las réplicas: si se tienen dos diseños, 1 y 2, este indicador se calcula como: ( ̂)

( ̂)

(17)

Räty et al. (2020) proponen la misma medida pero en términos del ECM: ( ̂)

( ̂)

(18)

34

Otra alternativa es comparar los Coeficientes de Variación (CV), definidos como √

( ̂)

(19)

El CV es una medida de la dispersión relativa de la estimación. Cuanto menor es el CV, más eficiente es el estimador en términos de varianza.

Es importante destacar que para poder comparar estimadores éstos deben ser insesgados o aproximadamente insesgados, por eso la importancia del indicador propuesto en la ecuación 16.

Por último, el efecto diseño de Kish (Kish, 1965) es una medida de “inflación” de la varianza que es utilizada cuando se tienen diseños con probabilidades distintas de inclusión. Se define como: [ donde

( )

∑

√

muestrales, con ̅

∑

promedian los valores de

(

̅)

( )]

(20)

̅ es el coeficiente de variación de los pesos

. Para obtener un indicador aplicable a las réplicas, se obtenidos en cada muestra, tal que: ∑

(21)

Las ecuaciones fueron presentadas tomando como parámetro a un total poblacional. Las varianzas y los indicadores presentados en las ecuaciones 13 a 19 pueden ser utilizados para cualquier parámetro de interés.

35

3. Metodología 3.1 Área de Estudio El área de estudio es una zona rural al este del poblado de Villa Soriano en el departamento de Soriano, Uruguay (ver Figura 1). La superficie total del área de estudio es de 32.95 km2, en donde el BN representa 10.15

km2 de acuerdo a la cartografía de BN del 2016

(Proyecto REDD+ Uruguay, 2019). Al norte se encuentra enmarcada por el Río Negro, que divide al país en dos regiones (norte y sur), y que confluye en el Río Uruguay (Praderi y Vivo, 1969). Es una región principalmente de cultivo agrícola, específicamente de cultivos de secano (cebada, avena, girasol), con presencia a su vez de campo natural (MGAP, 2020).

Figura 1. Localización de Villa Soriano, Uruguay.

El tipo de bosque observado en el área de estudio es principalmente fluvial, seguido por el bosque de parque. El primero, como denomina su nombre, se caracteriza por su ubicación en los márgenes de ríos y arroyos (Nebel y Borsy, 2018). El bosque de parque es el más difícil de interpretar en teledetección, dada su baja densidad, característica que lo define.

De acuerdo con Nebel y Borsy (2018), en la región Sur del país, los bosques de parque y

36

fluviales se encuentran deteriorados debido al avance agropecuario, rasgo que se evidencia en el área de estudio.

3.2 Flujograma de la Metodología Para la consecución de los objetivos propuestos, la metodología a aplicar es similar a las utilizadas por Congalton (1988), Magnussen et al. (2020), Räty et al. (2020), Stehman (1992) y Yim et al. (2009): conociendo de antemano el valor real de los parámetros de interés (relevando en forma completa el área de estudio), se simulan muestras con diferentes diseños y se determina cuál es el más eficiente utilizando las métricas presentadas en las fórmulas 13 a 21.

El objetivo del presente trabajo es evaluar el desempeño del diseño STPPS (Särndal et al., 1992) utilizando como información auxiliar a la probabilidad de los segmentos de pertenecer a la clase BN. Cabe destacar que los autores en los que se basa la metodología a aplicar se enfocan en comparar los diseños tradicionalmente utilizados en validación cartográfica (STSI y STSY). En el presente trabajo se debe agregar una serie de pasos adicionales a la metodología propuesta por los autores anteriores, dado que deben obtenerse las probabilidades de los segmentos de pertenecer a la clase BN para la selección de muestras con el diseño STPPS. El flujograma que contiene el detalle de la metodología se presenta en la Figura 2. Se observan dos ramas en paralelo que luego se unen en el paso de la selección de muestras.

La primera consiste en los pasos iniciales de la metodología empleada por Congalton (1988), Magnussen et al. (2020), Räty et al. (2020), Stehman (1992) y Yim et al. (2009): se relevan los segmentos del área de estudio con el fin de conocer los valores poblacionales de los errores de comisión, omisión y del área de BN y se procede a calcular los tamaños de muestra, requisito para la simulación de muestras. La segunda consiste en los pasos necesarios para obtener las probabilidades de pertenecer a la clase BN. A grandes rasgos, partiendo de la construcción del mosaico Sentinel 2 en el área de estudio, se calculan los índices de vegetación, y se replica el algoritmo de clasificación, obteniendo finalmente la probabilidad de los segmentos de pertenecer a la clase BN.

37

Figura 2. Flujograma de la Metodología.

Una vez obtenidas estas probabilidades, se está en condiciones de realizar la simulación de las muestras con los tres diseños a analizar: los propuestos por Olofsson et al. (2014); Stehman y Czaplewski (1998); Strahler et al. (2006) (STSI y STSY), y el que incorpora la probabilidad de pertenecer a la clase BN como información auxiliar (Särndal et al., 1992) (STPPS). Luego se obtienen los indicadores de desempeño y por último se llega a determinar el diseño más eficiente para la estimación de los errores de comisión y omisión, y de la superficie de BN en el área de estudio.

La metodología propuesta permite obtener medidas de desempeño para el diseño STPPS, y de esta forma validar a este diseño como metodología de muestreo alternativa para la evaluación de exactitud de la cartografía de BN en el área de estudio. Por medio de la simulación de muestras se logran obtener las distribuciones empíricas de los errores de comisión, omisión y de la superficie de BN para los tres diseños. A partir de las mismas se

38

obtienen las varianzas de los estimadores y se puede evaluar de esta forma el desempeño del diseño propuesto frente a los tradicionales utilizados en evaluación de exactitud.

En la siguiente sección se presenta el detalle de las definiciones adoptadas y los supuestos realizados (en caso de ser necesario) en cada paso de la metodología aplicada.

3.3 Desarrollo de la Metodología 3.3.1

Relevamiento de los segmentos del Área de Estudio.

En el área de estudio se tiene un total de 2.902 segmentos que fueron relevados con el fin de conocer el total de errores de comisión y omisión, y su área asociada, de acuerdo a la metodología propuesta por Congalton (1988), Magnussen et al. (2020), Räty et al. (2020), Stehman (1992) y Yim et al. (2009). El total de segmentos de la clase BN es de 1.126 y el de la clase NB es de 1.776. Cada segmento se clasifica de acuerdo a las celdas de la matriz de confusión: -

Bosque Correctamente Clasificado (BCC): el segmento pertenece a la clase BN y se encuentra clasificado como BN.

-

No Bosque Correctamente Clasificado (NBCC): el segmento pertenece a la clase NB y se encuentra clasificado como NB.

-

Error de comisión: el segmento pertenece a la clase NB pero se encuentra clasificado como BN.

-

Error de omisión: el segmento pertenece a la clase BN pero se encuentra clasificado como NB.

Como establecen Congalton y Green (2008), los datos de referencia pueden obtenerse de imágenes de una calidad superior a las utilizadas en la elaboración del mapa. En el presente estudio se eligen las ortoimágenes del año 2017 - 2018 (IDEuy, 2018b). Las imágenes son de cobertura nacional y tienen una resolución de 32 cm. Para la región que contiene el área de estudio, el vuelo se realizó entre los meses de Enero y Noviembre de 2017, y en Febrero de 2018 (IDEuy, 2018a). El mosaico de imágenes Sentinel 2 en el que se basa la cartografía se construyó con imágenes de Enero, Noviembre y Diciembre del año 2016. Se entiende que la distancia en el tiempo entre el mosaico construido de Sentinel 2 y el vuelo que genera las imágenes de referencia es corta y que, a pesar de diferir en 24 meses en el peor de los casos, puede ser tomada como datos de referencia. El proceso de expansión del bosque nativo de Uruguay es lento, y la deforestación se encuentra controlada por planes

39

de manejo del Ministerio de Ganadería Agricultura y Pesca (Nebel y Borsy, 2018) por lo que no se constatarían grandes cambios en el período de tiempo considerado. De todas formas, para los casos de errores de comisión y omisión, se revisaron además imágenes de Google Earth para el año 2016 y el propio mosaico de Sentinel 2 utilizado para la clasificación.

El criterio utilizado para definir si un segmento es de BN es el mismo que se utilizó en la edición de la cartografía del año 2016. Si un segmento presenta una cobertura de BN mayor al 50% se lo considera como BN (Riaño et al., 2019).

3.3.2

Cálculo de los tamaños de muestra y asignación por estrato.

Los tamaños de muestra se definen asumiendo un diseño STSI, de acuerdo a la fórmula 11, propuesta por Olofsson et al. (2014).

Tomando como referencia los resultados de la

exactitud del usuario para las clases BN y NB de la validación del año 2016, los valores de en la fórmula 11 se toman como 0.95 y 0.98 respectivamente (Riaño et al., 2019). Los valores de

son 0.308 y 0.692, correspondientes a las proporciones del área de BN y

NB. Cabe destacar que el área de estudio es pequeña, y que si los tamaños de muestra se calculan para una precisión muy alta, coincidirán con el tamaño de la población, o con una fracción muy alta de la misma. Esto en la práctica no ocurre, ya que la cantidad de segmentos totales de una cartografía es enorme y siempre se estará muestreando una fracción ínfima de la población. Para que el ejercicio se asemeje más a la realidad, se trabaja con muestras cuyo tamaño no exceda el 10% de la población total. A raíz de esta decisión pueden obtenerse errores absolutos grandes en las estimaciones de interés. Esto no constituye un problema para los objetivos de la investigación, ya que el análisis se basa en comparar diseños y evaluar eficiencias relativas.

Se trabaja entonces con tres tamaños de muestra, en función del desvío estándar de la exactitud global,

( ̂ ) de la fórmula 11. La asignación de la muestra entre estratos se

realiza en forma proporcional. Se tiene el recaudo de que haya más de 50 observaciones por estrato de acuerdo a Olofsson et al.

(2014). Se calculan además los errores de

muestreo asociados a un nivel de confianza del 95%, como el producto entre ( ̂ ) y el percentil 0.975 de una normal estándar.

40

3.3.3

Construcción del mosaico con imágenes Sentinel 2 para el año 2016.

Previo a la construcción de un mosaico, se deben realizar las correcciones atmosféricas, geométricas y radiométricas a la imagen (Lu y Weng, 2007). En el caso de imágenes Sentinel 2 no es necesario, ya que las imágenes disponibles al público tienen incorporadas las tres correcciones.

Para la obtención del mosaico se replica el programa de Google Earth Engine (GEE) disponible en la metodología de la cartografía de BN 2016 (Proyecto REDD+ Uruguay, 2019) en el área de estudio. Como se mencionó en el apartado anterior, se eligen imágenes en los meses de enero, noviembre y diciembre de 2016. Las fechas elegidas corresponden al fin de la primavera y comienzo del verano, en donde la actividad fotosintética del bosque nativo puede ser mejor capturada por la señal espectral (Proyecto REDD+ Uruguay, 2019). Se eligen las imágenes con menos de un 20% de cobertura de nubes. Para enmascarar las nubes se utiliza la función landsat.simpleCloudScore adaptada a Sentinel, de la plataforma GEE. Finalmente, el mosaico se construye utilizando la mediana como medida de resumen.

3.3.4

Cálculo de Índices EVI, NDWI y MSAVI.

El cálculo de los índices de vegetación se realiza con el paquete estadístico R (R Core Team, 2022). Para el EVI se toma

,

,

y

, al igual que en la

elaboración de la cartografía de BN de 2016 (Proyecto REDD+ Uruguay, 2019). Los coeficientes son los mismos que los adoptados en el algoritmo MODIS – EVI (Huete et al., 2002) .

3.3.5

Replicación del Algoritmo para la obtención de probabilidad de pertenecer a la clase BN.

El programa de GEE disponible en la metodología de la cartografía de BN 2016 (Proyecto REDD+ Uruguay, 2019) funciona en forma parcial, y no permite replicar las probabilidades de los segmentos de pertenecer a la clase BN. Esto debido a que no cuenta con la muestra de entrenamiento original utilizada en la clasificación. Por este motivo debe buscarse una alternativa para obtener una aproximación a estas probabilidades.

Se propone como solución generar muestras de entrenamiento en donde los segmentos de la clase BN se eligen de la cartografía de BN, y replicar así el algoritmo de clasificación.

41

En este paso existe una diferencia fundamental respecto a la muestra de entrenamiento original: en esta última, las clases son BN y NB, en las muestras replicadas las clases se definen en base a la cartografía ya obtenida. Las probabilidades obtenidas son las probabilidades de que el píxel haya sido cartografiado como BN. Esta diferencia es sutil pero muy importante, en el sentido de que al replicar el algoritmo tomando como clase a la cartografía de BN, se está teniendo en cuenta el proceso de edición. Esto puede ser favorable al caso de la validación, ya que tiene en cuenta todos los cambios realizados respecto a la clasificación original. Los errores de comisión y omisión no sólo pueden ser error de un algoritmo, sino de la interpretación realizada en la etapa de edición. Para simplificar la lectura del documento, se continuará denominando a la probabilidad de pertenencia a la clase BN de la misma forma, pero debe tenerse en cuenta que en realidad corresponde a la probabilidad de pertenecer a la cartografía de BN. El trabajar con la cartografía de BN como clase tiene sus ventajas a la hora de la selección de las muestras de entrenamiento y de replicar el algoritmo de clasificación. En primer lugar, al ya encontrarse la clase predeterminada, el tamaño de muestra no queda condicionado a los recursos, en el sentido de que no hay que relevar una muestra de entrenamiento para determinar la clase.

Por otro lado, considerando que una de las desventajas del CART es su sensibilidad a la muestra de entrenamiento (Breiman et al., 2017; Last et al., 2002; Philipp et al., 2016), que la clase BN se encuentre predeterminada por la cartografía facilita la selección de múltiples muestras y así, analizar la variabilidad en el desempeño predictivo de los árboles obtenidos. En este caso, en donde se intenta replicar un resultado con información limitada, es importante asegurar que la muestra de entrenamiento tenga un desempeño aproximado al de la muestra original, que vistos los resultados de la validación ( ̂ y ̂

̂

.25 ), fue al menos aceptable (Riaño et al., 2019). De esta forma, el

CART es replicado 100 veces, con las mismas variables de entrada, y los mismos tamaños de muestra que en la elaboración de la cartografía de BN 2016, obteniendo para cada réplica los valores de sensibilidad, especificidad, VPP y VPN. También cabe destacar que el CART original fue construido sobre la base de una muestra de entrenamiento a nivel país. En este caso la muestra de entrenamiento se encuentra acotada al área de estudio, con lo cual los resultados pueden diferir.

42

En la Figura 3 se presenta de forma esquemática las etapas de la replicación del algoritmo.

Figura 3. Ciclo de las réplicas del algoritmo CART.

El primer paso es construir un raster stack con las variables de entrada. Éstas son las bandas azul, verde, roja, NIR, SWIR 1 y SWIR 2, y los índices de vegetación EVI, NDWI y MSAVI, las utilizadas en la elaboración de la cartografía de BN 2016 (Proyecto REDD+ Uruguay, 2019). Los procesos sobre los raster se realizan con la librería raster de R (Hijmans, 2021). La selección de las muestras dentro y fuera de la cartografía de BN se realiza con un diseño simple, utilizando la función st_sample de la librería sf (Pebesma, 2018) de R. Al igual que en la elaboración de la cartografía de BN 2016, se toma un 80% de la muestra como muestra de entrenamiento (Proyecto REDD+ Uruguay, 2019). La partición de la muestra en conjuntos de entrenamiento y de test, la estimación del CART y el cálculo de indicadores se realizan con la librería caret de R (Kuhn, 2008).

43

Se elige la réplica con mejor desempeño. Para ello se definen umbrales para la sensibilidad y el VPP, los indicadores asociados a la clase BN. Si bien es deseable tener altos valores de especificidad y VPN, se prioriza la performance en la clase minoritaria. A priori no es posible definir un valor para el umbral, dado que éste depende del problema en cuestión. A partir de la distribución empírica que se obtienen con las réplicas para la sensibilidad y el VPP se define un umbral para ambos indicadores.

Una vez elegida la réplica que presenta mejor desempeño, se realiza la predicción para todos los píxeles del área de estudio, obteniendo así el raster con las probabilidades de pertenecer a la clase BN. 3.3.6

Cálculo de la medida de tamaño de los segmentos basada en las probabilidades predichas por el algoritmo.

Para cada segmento se calcula el promedio de las probabilidades obtenidas en el paso anterior, y luego este valor se toma como medida de tamaño en la fórmula 10 para calcular las probabilidades de inclusión de los segmentos en la muestra. Se realiza un análisis descriptivo de las probabilidades de acuerdo a las categorías de la matriz de confusión.

3.3.7

Selección de muestras con diseños STSI, STSY y STPPS.

Para la selección de las muestras se utiliza la función strata de la librería sampling (Tillé y Matei, 2021) de R. Los distintos diseños a aplicar en cada estrato se especifican en el argumento method de la función. El diseño STSI es el método por defecto.

Cabe destacar que los segmentos son polígonos irregulares y que, si se implementa un diseño STSY con una grilla regular de puntos, puede ocurrir que al diferir los tamaños de los segmentos, no se seleccionen con la misma probabilidad (los más grandes tendrían mayor probabilidad de selección). Para evitar este problema y que la muestra quede espacialmente balanceada (Stehman, 2009), como ocurre cuando se selecciona una grilla regular de puntos, los polígonos se ordenan de acuerdo a las coordenadas de los centroides.

De esta forma los segmentos tienen igual probabilidad de inclusión, y se mantiene la cobertura espacial en toda la superficie.

Para el caso del diseño STPPS se especifican las probabilidades obtenidas en la ecuación 11 para el estrato de NB. En el caso del estrato BN, en donde se busca detectar una mayor cantidad de casos de comisión, se debe dar mayor probabilidad a aquellos segmentos

44

dentro de la cartografía menos “parecidos” al BN. Para que esto ocurra se utiliza como probabilidad de selección al complemento de las probabilidades calculadas con la fórmula 11. Es decir, los segmentos con menor probabilidad de haber sido mapeados como BN tendrán una mayor probabilidad de selección.

Para cada tamaño de muestra y diseño se realizan 1000 simulaciones, al igual que Yim et al. (2009), de acuerdo al esquema de la Figura 4.

Figura 4. Esquema de la simulación de muestras para los diseños STSI, STSY y STPPS.

La preparación de la base refiere a la creación de variables necesarias para la selección de la muestra, como ser el estrato, la clasificación de la matriz de confusión, las probabilidades de inclusión y las áreas de los segmentos, entre otras.

3.3.8

Cálculo de Indicadores de desempeño para los diseños STSI, STSY y STPPS.

Los indicadores a calcular son el SR para evaluar el sesgo de las estimaciones (Magnussen et al., 2020), y la eficiencia relativa respecto al diseño STSI de acuerdo a la ecuación 17 (Yim et al., 2009). En el caso que se presenten estimaciones con un sesgo no despreciable, se calculará la eficiencia relativa en términos del ECM, de acuerdo a la ecuación 18 (Räty et al., 2020). Para ayudar a la interpretación de los resultados se presentará además la

45

cantidad de casos detectados promedio de errores de comisión y omisión. Por otro lado, dado que el área de BN total es obtenida como la suma de las estimaciones del área de BCC y el área de omisión, se presenta el total de casos de BCC para complementar el análisis respecto a la superficie de BN total estimada.

46

4. Resultados 4.1 Relevamiento de los segmentos del Área de Estudio.

Los resultados del relevamiento se presentan en la Tabla 3. Como se puede apreciar, los porcentajes de los errores de comisión y omisión son pequeños, lo que hace que sean difíciles de detectar en una muestra, principalmente el caso de los errores de comisión, con un porcentaje menor al 1%.

Tabla 3. Resultados del relevamiento de los segmentos del Área de estudio.

Cantidad Bosque Correcto 1090 No Bosque Correcto 1581 Comisión 28 Omisión 194 Total 2902

% 37,56 54,79 0,96 6,69 100

El área correspondiente a los errores de comisión y omisión es de 0.366 y 1.75 km2 respectivamente. En la Figura 5 se presentan los segmentos junto con su clasificación de acuerdo a las categorías de la matriz de confusión. Se observa en general, que los errores de omisión se encuentran cercanos a los clasificados como BN.

Figura 5. Clasificación de los segmentos del Área de estudio.

En la Tabla 4 se presentan la superficie promedio y el desvío estándar de los segmentos por clase. En promedio, los segmentos de NB son superiores en 0.03 km2 a los segmentos de

47

BN. A su vez, el desvío estándar refleja una mayor dispersión para la clase NB. Esto implica una mayor variabilidad en tamaño de los segmentos de esta categoría.

Tabla 4. Tamaño promedio y desvío estándar en km2 de los segmentos del Área de estudio.

Clase

Promedio

Desvío Estándar

BN NB Total

0.009 0.012 0.011

0.007 0.027 0.022

4.2 Cálculo de los tamaños de muestra y asignación por estrato.

El resultado del cálculo de los tamaños de muestra se realiza tomando como valores de ( ̂ ) 0.01, 0.012 y 0.014. La asignación entre estratos se realiza en forma proporcional al tamaño. En la Tabla 5 se presentan los resultados obtenidos.

Tabla 5. Tamaños de muestra y asignación por estrato.

( ̂) 0.01 0.012 0.014

Error al 95% 0.02 0.024 0.027

Bosque 96 69 51

No Bosque 151 108 81

Total 247 177 132

4.3 Construcción del mosaico con imágenes Sentinel 2 para el año 2016.

El mosaico obtenido al replicar el programa de GEE disponible en la metodología de la cartografía de BN del 2016 (Proyecto REDD+ Uruguay, 2019) se presenta en la Figura 6.

El BN coincide en la mayoría de los casos con el verde más intenso. Se observa un gradiente en el color en algunas zonas, pudiendo corresponder a la variabilidad de la densidad del BN en el área de estudio.

48

Figura 6. Mosaico basado en imágenes Sentinel 2 para el área de estudio.

4.4 Cálculo de los Índices EVI, NDWI y MSAVI. Los raster correspondientes a los índices de vegetación se presentan en las Figura 7 a 9. El patrón observado en el EVI (Figura 7) es similar al de los verdes más intensos del mosaico construido con imágenes Sentinel 2 (Figura 6). Se observa que el índice NDWI distingue claramente al curso de agua (Figura 8). El MSAVI (Figura 9) muestra un resultado más segmentado que el EVI, con los valores más altos en general asignados al BN, pero diferenciando a su vez los tipos de suelo en las categorías dentro del NB.

Figura 7. Resultados del Índice EVI.

49

Figura 8. Resultados del Índice NDWI.

Figura 9. Resultados del Índice MSAVI.

4.5 Replicación del Algoritmo para la obtención de probabilidad de pertenecer a la clase Bosque Nativo.

Como resultado se tienen 100 réplicas del algoritmo, y por ende 100 valores de los indicadores de desempeño evaluados sobre la muestra de test. En la Figura 10 se presentan los histogramas de los cuatro indicadores de desempeño (sensibilidad, especificidad, VPP y VPN).

30 20 0

5 10

Frequency

25 15 5 0

Frequency

35

50

0.85

0.90

0.95

1.00

0.65

0.70

0.85

0.90

0.95

1.00

0.90

0.95

Especificidad

20 0

5 10

Frequency

20 15 10 5 0

Frequency

0.80

30

Sensibilidad

0.75

0.90

0.92

0.94

0.96

0.98

0.65

VPP

0.70

0.75

0.80

0.85

VPN

Figura 10. Distribución empírica de los Indicadores de desempeño para 100 réplicas del algoritmo CART.

Para los indicadores asociados al NB (especificidad y VPN) se obtiene un mejor desempeño que para los indicadores asociados al BN (sensibilidad y VPP). La sensibilidad y el VPP tienen mínimos de un 65% mientras que para la especificidad y el VPN es de un 85% y 90% respectivamente. Visto que la sensibilidad y el VPP presentan baja performance en algunas muestras, se elige una réplica que maximice en primer lugar la sensibilidad y luego el VPP. Los indicadores de desempeño para la réplica seleccionada se presentan en la Tabla 6. Se tienen altos valores de la sensibilidad y de la especificidad (es decir, las dos clases tienen un alto porcentaje de coincidencia entre el valor real y la predicción), y un valor alto del VPP, aunque sin llegar a la magnitud del VPN. La precisión global indica que un 93,81% de los datos de test se encuentran bien clasificados en la matriz de confusión.

Tabla 6. Indicadores de desempeño para la réplica seleccionada del algoritmo CART.

Precisión Global 0.9381

Sensibilidad 0.9423

Especificidad 0.9367

VPP 0.8305

VPN 0.9801

El árbol de clasificación correspondiente a la réplica seleccionada se presenta en la Figura 11. En los nodos terminales se observan las probabilidades de pertenecer a la clase BN y la frecuencia relativa de los casos de la muestra en el nodo terminal. La predicción se realiza

51

de acuerdo a la banda azul: si esta vale 881 o más, la observación se clasifica como NB. En caso contrario se clasifica como BN. El mayor error se tiene en el nodo de BN, con un 20% de casos de la muestra de entrenamiento que no corresponden a la categoría BN.

1

NB .75 .25 100% yes

blue >= 881 no

2

3

NB .97 .03 72%

B .20 .80 28%

Figura 11. Árbol de Clasificación estimado en la réplica con mejor desempeño.

En las Figuras 12 y 13 se presenta el mapa de las probabilidades predichas de pertenecer a la clase BN junto a la cartografía de BN en el área de estudio. Se observa que estas probabilidades siguen el patrón del BN observado en las Figuras 5 y 6. En la Figura 13, se observa además que las que “escapan” a la cartografía son contiguas o se encuentran a una distancia muy pequeña de la misma.

Figura 12. Mapa de las Probabilidades predichas por el CART para la clase BN.

52

Figura 13. Mapa de las Probabilidades predichas por el CART para la clase BN y de la cartografía de BN.

4.6 Cálculo de la medida de tamaño de los segmentos basada en las probabilidades predichas por el algoritmo.

En la Figura 14 se presenta el mapa con el promedio de las probabilidades predichas por el CART para cada segmento. Se observa que las probabilidades más altas siguen el patrón espacial del BN en el área de estudio, y que las más bajas se encuentran asociadas principalmente a las áreas agrícolas y de pasturas correspondientes a la clase NB. Próximas a las áreas de BN se observan valores intermedios, con un verde más claro en la Figura 14.

Figura 14. Mapa de la probabilidad predicha promedio para los segmentos del área de estudio.

53

En las Tablas 7 y 8 se presentan el promedio de las probabilidades por estrato y por categoría de la matriz de confusión, junto con sus respectivos desvíos estándar. Como es de esperar, el promedio de la probabilidad de pertenecer a la clase BN es notoriamente superior dentro de la cartografía de BN. En la Tabla 8 se observan las diferencias en los promedios de las probabilidades para las distintas categorías de la matriz de confusión. El valor más alto se obtiene para el BCC, siendo muy similar al promedio de la cartografía de BN (Tabla 7). Para el caso de la omisión, se observa que el promedio es superior al del NBCC, pero sin llegar al promedio del BCC. En el caso de los errores de comisión el promedio es menor al de la clase BCC. Los errores de omisión y comisión presentan mayor variabilidad que los correctamente clasificados, de acuerdo a los valores del desvío estándar.

Tabla 7. Probabilidad promedio según estrato.

Categoría de Clasificación Probabilidad Promedio BN 0.7237 NB 0.1252

Desvío estándar 0.1306 0.1798

Tabla 8. Probabilidad promedio por categoría de la matriz de confusión.

Categoría de Clasificación Probabilidad Promedio BCC 0.728 NBCC 0.0839 Omisión 0.46 Comisión 0.601

Desvío Estándar 0.123 0.127 0.197 0.244

4.7 Selección de muestras con diseños STSI, STSY y STPPS. Como resultado de las 1000 muestras generadas se obtiene una distribución empírica para cada parámetro de interés, para cada diseño y tamaño de muestra. Los resultados se resumen en los histogramas presentados en las Figuras 15 a 17.

Para el área de omisión y el área de BN se observa que a medida que aumenta el tamaño de muestra, las distribuciones son más simétricas y regulares. En el caso del área de comisión las distribuciones son irregulares para los tres tamaños de muestra. Esto se debe a que corresponde a un porcentaje muy pequeño de la población (Tabla 3). El área de BN al ser la que representa mayor porcentaje en la muestra entre los parámetros considerados, es la que muestra mayor regularidad, alcanzando un histograma similar al de una normal para los tres diseños, aun con el menor tamaño de muestra.

54

Diseño STPPS

0

1

2

3

4

5

150 100 0

0

0

50

50

50

Frequency

100

Frequency

150 100

Frequency

200

200

250

250

150

Diseño STSY

300

Diseño STSI

0.5

1.0

1.5

2.0

2.5

3.0

1.0

Área de omisión

2.0

2.5

3.0

Área de omisión

200

500

150

Frequency

100

300

Frequency

200

200 0.0

0.5

1.0

1.5

2.0

2.5

3.0

0

0

0

100

50

100

Frequency

300

400

400

1.5

250

Área de omisión

0.0

1.0

1.5

2.0

2.5

0.0

0.2

0.4

0.6

0.8

1.0

1.2

350

Área de Comisión

50

100

Frequency

200

8

10

12

14

16

Área de Bosque

18

0

0

0

50

50

100

150

Frequency

250

150

300

300 250 200 150 100

Frequency

0.5

Área de Comisión

350

Área de Comisión

8

10

12

14

Área de Bosque

16

10

12

14

16

Área de Bosque

Figura 15. Histogramas para las simulaciones de las estimaciones de las áreas de Omisión, Comisión y de BN para con los diseños STSI, STSY y STPPS

55

Diseño STSY

Diseño STPPS

100

Frequency

150

100 80

0

1

2

3

4

0

0

0

20

50

50

40

60

Frequency

200 150 100

Frequency

250

120

200

300

140

350

Diseño STSI

0.5

1.0

1.5

2.0

2.5

3.0

3.5

1.0

1.5

Área de omisión

2.0

2.5

3.0

Área de omisión

0.0

0.5

1.0

1.5

2.0

2.5

150 0.0

0.5

1.0

1.5

2.0

0.0

0.2

Área de Comisión

0.4

0.6

0.8

1.0

1.2

Área de Comisión

100

Frequency

Frequency 10

12

14

Área de Bosque

16

0

0

0

50

50

50

100

Frequency

100

150

150

200

150

Área de Comisión

100

Frequency

50 0

0

0

100

200

Frequency

200 100

Frequency

300

300

200

400

400

Área de omisión

10

12

14

Área de Bosque

16

9

10

11

12

13

14

15

Área de Bosque

Figura 16. Histogramas para las simulaciones de las estimaciones de las áreas de Omisión, Comisión y de BN para con los diseños STSI, STSY y STPPS.

56

Diseño STSY

Diseño STPPS

200 100

150

Frequency

100 80 60

Frequency 0.5

1.0

1.5

2.0

2.5

3.0

3.5

0

0

0

20

50

50

40

100

Frequency

150

250

120

300

200

140

Diseño STSI

0.5

1.0

1.5

2.0

2.5

3.0

3.5

1.5

Área de omisión

400

2.5

3.0

0.0

0.5

1.0

1.5

100 80 60

Frequency

0

0

0

20

50

100

40

200

Frequency

150 100

Frequency

300

200

120

250

2.0

Área de omisión

140

Área de omisión

0.0

0.5

1.0

1.5

0.0

Área de Comisión

0.2

0.4

0.6

0.8

Área de Comisión

9

10

11

12

13

14

Área de Bosque

15

100

Frequency

0

0

0

50

50

50

100

Frequency

150 100

Frequency

150

150

200

200

250

200

Área de Comisión

9

10

11

12

13

14

Área de Bosque

15

9

10

11

12

13

14

Área de Bosque

Figura 17. Histogramas para las simulaciones de las estimaciones de las áreas de Omisión, Comisión y de BN para con los diseños STSI, STSY y STPPS.

4.8 Cálculo de Indicadores de desempeño para los diseños STSI, STSY y STPPS. Los resultados de los distintos indicadores de desempeño se presentan de la Tabla 9 a 11.

En la Tabla 9 se presentan los resultados de los SR. En el caso de las áreas de omisión y de BN no se observan problemas de sesgo. Para el área de comisión, se tienen valores del SR de hasta un 7.1%, en el caso del diseño STSY con

.

57

Tabla 9. Valor del SR para los errores de Omisión y Comisión, y el área de BN según el tamaño de muestra y el diseño muestral.

STSI STSY STPPS

Omisión 0.011 0.000 0.005

Área Comisión 0.014 0.031 0.060

Bosque 0.006 0.001 0.003

STSI STSY STPPS

0.009 0.002 0.005

0.064 0.071 0.014

0.004 0.000 0.001

STSI STSY STPPS

0.001 0.004 0.004

0.046 0.007 0.022

0.004 0.002 0.001

Los resultados de las eficiencias relativas y del efecto diseño de Kish se presentan en la Tabla 10 y en las Figuras 18 a 20. En estas últimas se grafican las varianzas en función de los tamaños de muestra, para cada parámetro y diseño. Como se observa, a medida que el tamaño de muestra aumenta, la varianza o el ECM decaen. El diseño STPPS siempre se encuentra por debajo de los diseños STSI y STSY. El comportamiento de estos últimos dos diseños varía de acuerdo al parámetro y al tamaño de muestra. Por otro lado el efecto de Kish indica una notoria diferencia en el diseño STPPS, duplicando el efecto obtenido en los diseños STSI y STSY para todos los tamaños de muestra.

Tabla 10. Resultados de las varianzas, eficiencias relativas y efecto diseño de Kish según el tamaño de muestra y el diseño muestral.

Omisión STSI STSY STPPS

Área 1.773 0.465 1.753 0.340 1.752 0.215

STSI STSY STPPS STSI STSY STPPS

Comisión 1.000 0.732 0.462

Área 0.371 0.355 0.341

0.266 0.246 0.111

1.770 0.346 1.751 0.319 1.744 0.189

1.000 0.923 0.546

0.343 0.340 0.361

1.751 0.234 1.746 0.298 1.761 0.133

1.000 1.273 0.567

0.383 0.363 0.374

BN 1.000 0.924 0.417

Área 11.605 11.549 11.580

1.525 1.518 1.336

1.000 0.996 0.876

Efecto Kish 1.002 1.002 2.100

0.148 0.139 0.099

1.000 0.936 0.668

11.583 11.541 11.534

1.327 1.484 1.079

1.000 1.118 0.813

1.005 1.005 2.102

0.142 0.135 0.037

1.000 0.955 0.262

11.586 11.563 11.548

0.825 0.997 0.661

1.000 1.209 0.801

1.002 1.002 2.103

58

0.5 0.3

STSI STSY

STPPS

0.1

Varianza estimada

Área de Omisión

130

176

246

Tamaño de muestra

Figura 18. Varianza estimada del área de omisión en función de los tamaños de muestra para los diseños STSI, STSY y STPPS.

0.0 0.1 0.2 0.3

ECM

Área de Comisión STSI

STSY

STPPS

130

176

246

Tamaño de muestra

Figura 19. Varianza estimada del área de comisión en función de los tamaños de muestra para los diseños STSI, STSY y STPPS.

1.0 1.4

STSY STSI STPPS

0.4

Varianza estimada

Área de Bosque

130

176

246

Tamaño de muestra

Figura 20. Varianza estimada del área de BN en función de los tamaños de muestra para los diseños STSI, STSY y STPPS.

En la Tabla 11 se presenta la cantidad de casos promedio de casos de comisión y omisión, junto con el CV de la estimación y el porcentaje de muestras sin capacidad de detección de casos de comisión y/u omisión. También se presenta la cantidad de casos promedio obtenida para la clase BCC y sus respectivos CV. Tanto para el caso de la omisión como el

59

de comisión, el diseño STPPS aumenta el tamaño de muestra promedio obtenido respecto a los diseños STSI y STSY. En el caso de la omisión este aumento es mayor que en el caso de la comisión. Por otro lado se observa que en el caso de la comisión, los diseños STSI y STSY tienden a no detectar casos de comisión en un porcentaje superior al del diseño STPPS. Tabla 11. Cantidad de casos promedio detectados de Comisión, Omisión y BCC, CV y porcentaje de muestras que no detectan casos de comisión y/u omisión.

STSI STSY STPPS

Omision Comisión BCC Promedio CV % Ceros Promedio CV % Ceros Promedio CV 8.880 0.309 0.001 1.611 0.74 0.186 49.389 0.024 8.973 0.308 0 1.598 0.84 0.2 49.402 0.027 32.725 0.118 0 2.312 0.66 0.095 48.549 0.033

STSI STSY STPPS

11.91 11.859 43.432

0.262 0.210 0.125

0 0 0

2.245 2.206 3.185

0.625 0.612 0.467

0.095 0.075 0.001

66.755 66.794 65.815

0.021 0.020 0.023

STSI STSY STPPS

16.596 16.578 60.912

0.218 0.246 0.069

0 0 0

3.159 3.085 4.376

0.522 0.400 0.428

0.035 0.017 0

92.841 92.915 91.624

0.018 0.013 0.020

60

5. Análisis de Resultados 5.1 Resultados del CART y Probabilidades predichas de pertenecer a la Clase BN. El modelo replicado sólo incluye una variable explicativa, la banda azul (ver Figura 11) y presenta una precisión global del 93.81% (Tabla 6). Es necesario recordar que el modelo fue replicado sólo para el área de estudio y que un modelo a nivel país puede diferir. Sin embargo algunos autores han obtenido un mayor desempeño al subdividir el área objeto de estudio en subregiones (Hermosilla et al., 2022), dando una mayor flexibilidad al algoritmo en cuanto a la selección de variables por región, pudiendo ser esta una alternativa a explorar en la elaboración de futuras cartografías de BN. Los resultados que muestra la Tabla 8 respecto a los errores de comisión y omisión son razonables con la presencia de segmentos mixtos, los más difíciles de clasificar en la etapa de edición. En el caso de la omisión, el promedio es superior a la clase NBCC, indicando la presencia de píxeles clasificados como BN dentro de los segmentos. Para el caso de los errores de comisión, el promedio es más bajo que el de la categoría BCC, mostrando la existencia de píxeles de NB en dichos segmentos. Esto se ve reflejado también en los valores del desvío estándar, en donde las clases correspondientes a los errores de comisión y omisión presentan mayor variabilidad. Tanto para la clase BCC y NBCC se espera que los segmentos sean homogéneos respecto a los píxeles que componen el segmento. En cambio, en el caso de segmentos mixtos (los más factibles de ser errores de omisión o comisión), la variabilidad es mayor, ya que dentro de los mismos se encuentran píxeles de ambas clases.

Que en el estrato NB los valores más altos de las probabilidades correspondan a los casos de omisión, y que en el estrato BN los valores más bajos correspondan a los casos de comisión reflejan un escenario favorable al diseño STPPS en donde se utilizan estas probabilidades como información auxiliar para mejorar la eficiencia de los estimadores de las áreas de omisión, comisión y de BN. 5.2 Estimación del Área de Omisión En términos generales, la superficie de omisión del área de estudio es correctamente estimada con los tres diseños muestrales para los diferentes tamaños de muestra. El SR indica el porcentaje de la diferencia entre la estimación y el verdadero valor del parámetro poblacional. Como se puede apreciar en la Tabla 9 es a lo sumo de un 1.1% en el caso del

61

diseño STSI, con el tamaño de muestra más pequeño. El resto de las SR son menores, por lo que se concluye que ninguno de los diseños presenta un problema de sesgo en la estimación del área de omisión.

Para todos los tamaños de muestra, el diseño STPPS es más eficiente que los diseños STSI y STSY (Tabla 10 y Figura 18) en términos de varianza. La distribución empírica del estimador del área de omisión se encuentra más concentrada en el caso del diseño STPPS, como puede observarse en los histogramas presentados en las Figura 15 a 17.

La eficiencia relativa es mayor para el tamaño de muestra más pequeño, reduciendo la varianza en un 54%. Para los tamaños de muestra de 177 y 247 se reduce en aproximadamente un 45%. Si bien el diseño STPPS presenta una mayor eficiencia para estos dos tamaños de muestra, la varianza tiene una caída superior en el diseño STSI, como se observa en la Figura 16.

La cantidad de casos detectados con el diseño STPPS es en promedio casi cuatro veces la cantidad de casos detectada por los diseños STSI y STSY para los diferentes tamaños de muestra (Tabla 11). Esto ayuda a que las estimaciones sean más eficientes. A su vez el CV de la cantidad de casos detectados para el diseño STPPS es menor para todos los tamaños de muestra. Esto significa que además de tener una mayor capacidad de detección de casos de omisión, la cantidad de casos detectados es más estable entre las muestras posibles que en los diseños STSI y STSY. Para el diseño STSY se tiene que a medida que aumenta el tamaño de muestra, pierde eficiencia respecto al STSI. De acuerdo a la Figura 5 la omisión se encuentra concentrada en algunas zonas, y en la mayoría de los casos son contiguas a la cartografía de BN. Si bien no es objeto de estudio en este análisis, la eficiencia de los diseños SY en general depende del patrón espacial que muestre el fenómeno de estudio (Congalton, 1988; Magnussen et al., 2020; Stehman, 1992). Si el patrón presenta algún tipo de aglomeración o ciclo, el diseño STSY puede ser menos eficiente que el STSI. El análisis del patrón espacial de la omisión en el caso del BN es un tema que puede abordarse en futuras investigaciones.

5.3 Estimación del Área de Comisión El caso de los errores de comisión es el más difícil de estimar, ya que representa aproximadamente al 1% del total de segmentos. A diferencia del caso de la omisión, las

62

estimaciones presentan un pequeño sesgo para algunos diseños y tamaños de muestra. El mayor es de un 7.1% para el diseño STSY con

. Dado que el área de comisión es

muy pequeña, y que los tamaños de muestra en el estrato BN también lo son (Tabla 4), es esperable que alguna de las estimaciones presente algún tipo de sesgo. Por este motivo es que en lugar de utilizar como indicador la eficiencia relativa en términos de la varianza estimada, se utiliza en términos del ECM. Con el diseño STPPS el ECM del área de los errores de comisión se reduce para todos los tamaños de muestra (Tabla 10 y Figura 19), aunque para

el SR es de

aproximadamente un 7% (Tabla 9). El comportamiento de los diseños STSI y STSY es muy similar, el segundo apenas más eficiente que el primero. Para

, se tiene una

reducción del 75% de la eficiencia relativa con el diseño STPPS. Se observa que para se tiene la menor eficiencia relativa, con una reducción de aproximadamente un 33% del ECM. La cantidad de casos detectados de errores de comisión es en promedio un 40% superior (aproximadamente) a la de los diseños STSI y STSY. En el mejor de los casos, el total de errores de comisión encontrado es de 4, lo que puede dar cierta inestabilidad a la estimación. Si bien el objetivo de este trabajo no es evaluar en términos absolutos a los estimadores, esto puede explicar que la eficiencia relativa no sea siempre decreciente.

A diferencia del caso de los errores de omisión, se tienen muestras en donde no se logra detectar ningún caso de comisión. Para el diseño STPPS se tiene un máximo del 7.8% con el tamaño de muestra menor, frente a un 18.6% del diseño STSI y un 20% del diseño STSY. Al aumentar el tamaño de muestra se reduce este porcentaje. En el caso de los diseños STSI y STSY siguen existiendo muestras que no detectan los casos de comisión aun con el tamaño de muestra más grande.

5.4 Estimación del Área de BN Al igual que para el área de omisión, el área de BN no presenta problemas de sesgo (Tabla 9).

Como sucedió para el área de comisión y omisión, la varianza estimada de la superficie de BN también es menor para el diseño STPPS, considerando todos los tamaños de muestra (Tabla 10 y Figura 20). Si se analizan las eficiencias relativas, se observa que ésta es

63

decreciente en función del tamaño de muestra, pero la magnitud es menor a las eficiencias relativas de la estimación de las áreas de comisión y omisión. La ganancia en eficiencia va de un 12.4% a casi un 20% para el tamaño de muestra más grande. Cabe destacar que la superficie de BN se estima como la superficie estimada de BCC, más el área de omisión.

El área de omisión representa un 15.2% del área estimada de BN, y en la eficiencia del estimador tiene más peso el área de BCC. Si se analiza la cantidad de casos promedio de BCC en los tres diseños (Tabla 11), se observa que el tamaño de muestra es similar, por lo que la ganancia en eficiencia del STPPS se explica únicamente por la ganancia en eficiencia al estimar la superficie del error de omisión.

5.5 Discusión Los resultados de la presente investigación corroboran la hipótesis de trabajo: el diseño STPPS que incorpora como información auxiliar a las probabilidades predichas por el algoritmo de clasificación es más eficiente en términos de varianza que los diseños STSI y STSY, con iguales probabilidades de selección, en la validación de la cartografía del BN en el área de estudio.

Se dio respuesta a las preguntas de investigación: 

¿Cuáles son las superficies de los errores de comisión y omisión de la cartografía del BN en la región de Villa Soriano, Uruguay?

Los errores de comisión y omisión de obtienen como resultado del relevamiento del área de estudio. Corresponden a un 0.96% y un 6.69% de los segmentos respectivamente, con un área de 0.366 km2 en el caso del error de comisión y de 1.75 km2 en el caso del error de omisión. 

¿Cuáles son las varianzas obtenidas en la estimación de la superficie de los errores de comisión y omisión en la región de Villa Soriano, Uruguay, con la metodología propuesta y actual?

El resultado de las varianzas de las estimaciones de las superficies de los errores de comisión y omisión con la metodología propuesta (diseño STPPS) y la actual (diseños STSI y STSY) fueron presentados en la Tabla 10 para tres tamaños de muestra. Se observa

64

que a medida que aumenta el tamaño de muestra la varianza disminuye, y que las más pequeñas se obtienen con el diseño STPPS. 

¿Cuál de las metodologías es más eficiente para estimar los errores de comisión, omisión y la superficie de BN en Villa Soriano, Uruguay?

La metodología más eficiente para estimar tanto los errores de comisión y omisión como la superficie de BN en Villa Soriano, Uruguay, es la que utiliza un diseño STPPS, incorporando como información auxiliar a la probabilidad predicha por el CART de pertenecer a la clase BN. Con los resultados obtenidos se puede decir que la metodología aplicada fue adecuada al poder dar respuesta a las preguntas de investigación y corroborar la hipótesis planteada en la sección 1.3. La simulación de múltiples muestras con los distintos diseños y tamaños aseguró que los resultados no estuvieran condicionados a una realización en particular, proporcionando una visión global y objetiva para el análisis de los estimadores objetos de estudio.

Un aspecto a destacar es la aproximación de la clase BN por la clase “mapeado como BN”, que si bien consistió en una decisión práctica para poder llevar adelante la investigación, permitió considerar en el proceso el efecto de la edición manual, que es posterior a la predicción del algoritmo. Surge la pregunta de si a la hora de la validación es mejor utilizar esta probabilidad o la original que surge del algoritmo. A su vez, considerar la clase “mapeado como BN” da la posibilidad de seleccionar infinitas muestras de entrenamiento, al ya contar con una clasificación predeterminada. Incluso podría llegar a implementarse un algoritmo diferente que prediga mejor esta clase. Esta es una clara línea de investigación a futuro en el contexto de validación cartográfica.

Por otro lado, a partir del algoritmo de clasificación no sólo se obtienen las probabilidades de los píxeles u objetos de pertenecer a una determinada clase. Se evidencian además las variables que son determinantes en la clasificación. En la presente investigación la única variable que el CART selecciona es la banda azul (Figura 11). Éstas variables también se muestran como candidatas a incorporar en las probabilidades de inclusión, ya que son las que determinan en el caso del CART los nodos terminales y luego su composición. Los algoritmos de clasificación proporcionan cuantiosa información que puede ser incorporada

65

al diseño muestral de varias maneras. La propuesta en la presente investigación no es la única, abriendo la puerta a otras estrategias que consideren incorporar otro tipo de información o diseño a implementar.

Si bien se pudo corroborar la hipótesis de trabajo y responder a las preguntas de investigación, se deben puntualizar algunas limitaciones y aspectos a mejorar, que surgieron del desarrollo de la presente investigación.

-

El área de estudio es pequeña, y para que el ejemplo se asemeje a la realidad (como se fundamentó en el apartado 3.3.2), los tamaños de muestra son calculados de forma que no excedan un 10% de la población total. Esto hace que cuando se asigna la muestra entre estratos (de forma proporcional) la cantidad de casos para el estrato BN es de a lo sumo de 96 casos, cuando

. Como los segmentos con

errores de comisión representan aproximadamente el 1% del total, son difíciles de detectar aun con el diseño STPPS. La cantidad de casos promedio para

es

4.376 (Tabla 11), siendo muy baja para obtener estimaciones consistentes. También se observa que es la estimación con mayor problema de sesgo (Tabla 9); si bien la magnitud es pequeña, es notoriamente superior a los casos de omisión y área de BN. En los histogramas presentados en las Figuras 15 a 17 se observa que la distribución de la estimación del área del error de comisión es asimétrica e irregular en su forma, a diferencia de las estimaciones en los casos de omisión y del área de BN. En futuras investigaciones podría trabajarse con una asignación distinta a la proporcional, en donde se tengan más casos en el estrato de BN, y así poder llegar a detectar más casos de errores de comisión y por ende obtener estimaciones más consistentes.

-

De acuerdo al árbol de clasificación obtenido (Figura 11), las probabilidades de pertenecer a la clase BN toma sólo dos valores: 0.80 y 0.03. En el estrato NB, se tienen segmentos de mayor tamaño en promedio que en el estrato BN (lo que es razonable con las categorías asociadas al NB, como los cultivos agrícolas, con una mayor superficie y continuidad que el BN de la región), y también con mayor varianza. Esto implica que cuando se calcula el promedio de las probabilidades a nivel de segmento en el estrato NB, se tenga un mayor gradiente en el resultado, con una varianza mayor de las probabilidades promedio obtenidas en este estrato

66

(Tabla 8). Esto es favorable a la detección de errores de omisión con el diseño STPPS. Para el caso del BN, el valor de las probabilidades presenta menor varianza (son más parecidos entre sí) y esto puede perjudicar el desempeño del diseño STPPS. Si bien se obtiene una ganancia en eficiencia en la estimación del área de comisión, ésta podría ser mayor si los valores de las probabilidades de inclusión presentaran mayor variabilidad, permitiendo identificar de mejor manera aquellos segmentos “menos parecidos” que pueden asociarse con un error de comisión. Otros algoritmos que produzcan mayor variabilidad en las probabilidades predichas a nivel de píxeles, podrían presentar un mejor desempeño en la estimación del área de comisión.

-

La menor eficiencia en la estimación del área de BCC, componente del área total de BN, puede deberse a dos factores: 

La variabilidad de los pesos muestrales del diseño STPPS, reflejada en el efecto de Kish.



La variabilidad en los tamaños de los segmentos.

Como se observa en la Tabla 8, el efecto de Kish es el doble en el caso del diseño STPPS, para todos los tamaños de muestra. Al calcular las probabilidades de inclusión en función de una variable auxiliar se tiene este costo: el de aumentar la variabilidad de las estimaciones, sólo por el hecho de trabajar con pesos muestrales diferentes. Para los errores de comisión y omisión, la cantidad de casos detectados por el diseño STPPS es notoriamente superior a la detectada por los diseños STSI y STSY, y esto contrarresta el efecto de Kish. Cuando se estima el área de BCC, los tamaños de muestra son similares con los tres diseños (Tabla 11), por lo que el efecto de Kish no se compensa con un aumento del tamaño de muestra.

Se agrega por otra parte el problema de la irregularidad de la superficie de los segmentos. Las estimaciones de las áreas se realizan multiplicando el área de cada segmento por el peso de la muestra (ecuación 5). Si éste es constante, como en el caso de los diseños STSI y STSY, sólo se observa la variabilidad de la superficie de los segmentos. Si los pesos no son constantes como en el caso del STPPS, la

67

variabilidad se incrementa. Una posible solución sería tener en cuenta el tamaño de los segmentos en las probabilidades de selección, calculando por ejemplo la suma de las probabilidades de pertenecer a la clase BN en lugar de la media, cuando se calcula la medida de tamaño agregada a nivel de segmento. De esta forma se tendría en cuenta la irregularidad del tamaño de los segmentos, al menos en forma indirecta. Cabe señalar que ninguno de los diseños presentados tiene en cuenta el tamaño del segmento. En condiciones en donde se tienen segmentos irregulares en tamaño esto debería ser tenido en cuenta para mejorar las estimaciones (Ye et al., 2018).

Otra alternativa para mitigar el efecto de Kish sería tomar como unidad de análisis al píxel. En este caso la superficie de la unidad de muestreo sería constante, por lo que la única variabilidad reflejada en las estimaciones sería la de los pesos muestrales. Tomar al píxel como unidad de análisis aunque la cartografía se haya basado en segmentos es posible (Ye et al., 2018), pero implicaría en este caso un cambio en la estrategia metodológica, y deberían reverse varios aspectos.

-

En la cartografía de BN del año 2016 el error de omisión fue de un 22.75%, mientras que el de comisión fue de un 1.39%, representando una superficie de 234,716 y 38,119 hectáreas respectivamente (Riaño et al., 2019). En el área de estudio la omisión representa un 15.2% de la superficie, y el error de comisión un 3.6%. Para el caso de la omisión, el escenario es menos favorable que el nacional y aun así se obtuvieron resultados prometedores que favorecen al diseño STPPS. Para el caso del error de comisión, el escenario es favorable respecto a la cartografía nacional, con un porcentaje mayor en el área de estudio. Aunque se logran mejores resultados con el diseño STPPS, las estimaciones son menos estables, con distribuciones irregulares para todos los tamaños de muestra.

Como fue mencionado en los párrafos anteriores, un tamaño de muestra pequeño junto a un gradiente acotado en las probabilidades de inclusión, pueden explicar en parte este comportamiento. Dado que el error de comisión puede considerarse como un fenómeno “raro” en términos de muestreo, dada su baja frecuencia, una alternativa podría ser estimarlo bajo otro enfoque metodológico, como ser el de la Estimación en Áreas Pequeñas (Rao y Molina, 2015). Como se mencionó en el

68

comienzo del apartado 2.3.2, existen dos tipos de inferencia en muestreo de poblaciones finitas: basada en el diseño o en modelos. La presente investigación, y los procesos de validación cartográfica en general, se desarrollan bajo el primer enfoque. El contexto de SAE es una metodología de estimación propuesta en el contexto de la inferencia basada en modelos. Llevar el problema de evaluación de exactitud al marco de la inferencia basada en modelos implica un desafío metodológico no menor, que puede ser abordado en investigaciones futuras.

69

6. Conclusiones y Recomendaciones El objetivo de la presente investigación consistió en analizar el desempeño de un diseño de muestreo que incorpora a las probabilidades de pertenecer a la clase BN en la selección de la muestra, respecto a las metodologías de muestreo utilizadas tradicionalmente en procesos de evaluación de exactitud. Los resultados muestran que la aplicación de esta metodología mejora la eficiencia de las estimaciones de las superficies de los errores de comisión, omisión y de BN en la región de Villa Soriano, Uruguay. Se confirma así la hipótesis de trabajo y se valida de esta forma el diseño aplicado, como una alternativa a los diseños usualmente implementados.

Las varianzas obtenidas con el diseño STPPS son menores para todos los tamaños de muestra y los parámetros considerados. Las estimaciones obtenidas no presentan grandes problemas de sesgo, aun para el caso del error de comisión que dada su baja frecuencia, es el más desafiante de estimar.

Los mejores resultados se obtienen para

la superficie de omisión, multiplicando la

cantidad de casos detectados casi cuatro veces respecto a los diseños tradicionales utilizados en validación cartográfica. Las probabilidades de pertenecer a la clase BN logran identificar adecuadamente los casos de omisión, observando además su cercanía con la cartografía de BN. En el caso del error de comisión también se mejora la eficiencia de los estimadores, pero como fue argumentado previamente, la distribución del estimador es irregular y deberían mejorarse algunos aspectos para lograr un resultado más concluyente sobre las estimaciones. De todas formas, para poder lograr una estimación más precisa del área de BN, es necesaria una reducción de la varianza del error de omisión y se considera que es un aporte haber logrado mejorar la eficiencia de este estimador.

La estimación del área de BN muestra entonces una reducción de la varianza con el diseño STPPS. Se aprecia que con el mismo tamaño de muestra se logra mejorar la estimación respecto a los diseños utilizados actualmente en los procesos de validación cartográfica. La disminución en la varianza podría ser aún mayor si se utilizara una medida que considere los tamaños de los segmentos de la cartografía. Poder estimar el área de BN con mayor precisión contribuye a poder mejorar el control y monitoreo de este valioso recurso natural.

70

Los resultados de esta investigación pretenden ser un antecedente para aplicaciones futuras de diseños que incorporan información auxiliar en evaluaciones de exactitud y ser un aporte para la mejora de las estimaciones que surgen de los procesos de validación. Sin embargo la investigación es empírica y acotada al área de estudio. No se presentan desarrollos teóricos que permitan generalizar los resultados y se debe tener cierta cautela en su aplicación ya que el diseño utilizado también plantea desafíos desde un punto de vista estadístico. Se incorporan probabilidades de inclusión que provienen de un algoritmo de clasificación, que tiene su propia variabilidad, cuando tradicionalmente las variables auxiliares utilizadas en diseños con probabilidad proporcional al tamaño vienen dadas.

Dilucidar las propiedades de un diseño que tenga probabilidades de inclusión provenientes de un algoritmo o modelo es un problema estadístico y se invita a futuros colegas e investigadores a avanzar en esta línea de investigación.

Si se quiere evitar este problema, podrían utilizarse diseños del tipo STPPS que utilice otro tipo de información auxiliar. A modo de ejemplo podrían utilizarse los índices de vegetación, los valores de las bandas, aquellas variables que sean determinantes a la hora de definir una clase. La aplicación de esta variante del diseño STPPS también puede ser una opción a la hora de definir un diseño muestral para validación cartográfica.

Desde un punto de vista computacional, la generación del raster de probabilidades puede ser intensiva, sobre todo si la cobertura cartográfica de la clase que se pretende validar es muy vasta. Se recomienda el uso de herramientas de procesamiento en la nube, como GEE, que a su vez permite realizar otros procesos como el enmascaramiento de nubes, generación de índices de vegetación, entre otros.

Sobre el caso particular del proceso de elaboración de la cartografía de BN en Uruguay, es necesario destacar el impacto del algoritmo de segmentación en el proceso de evaluación de exactitud. Los segmentos son las unidades de muestreo, y su forma y tamaño tienen consecuencias principalmente en el relevamiento de la muestra de validación. Se observan segmentos muy irregulares, y en algunos casos mixtos. Esto perjudica el trabajo de edición y puede llevar a una mala clasificación. Si bien la segmentación es un proceso demandante desde el punto de vista computacional, se recomienda profundizar en este problema para minimizar en particular la cantidad de segmentos mixtos. El uso de diferentes métodos o parámetros en la segmentación puede mejorar la composición de los polígonos resultantes.

71

Por otro lado, el CART se aplica sobre los píxeles del mosaico de imágenes Sentinel 2, y la segmentación se realiza en forma independiente. La clase dentro del segmento se asigna por mayoría, y luego se edita. Una alternativa a podría ser aplicar el algoritmo tomando al segmento como unidad, es decir, obtener medidas agregadas a nivel de segmento, y luego implementar el algoritmo de clasificación. Esto puede ayudar al trabajo de edición, ya que se contaría con una medida asociada a los polígonos mixtos previa a la clasificación.

Por último, se exhorta a colegas e investigadores a la aplicación de diseños muestrales que utilicen información auxiliar en los procesos de validación, de forma de generar antecedentes que luego puedan aportar a la construcción de conocimiento en esta línea de investigación.

72

Referencias Bibliográficas Aggarwal, C. C. (2018). Neural Networks and Deep Learning. Springer International Publishing. https://doi.org/10.1007/978-3-319-94463-0 Ahamed, M. I., Gupt, B. K. y Phukon, M. (2021). Methods of Stratification for a Generalised Auxiliary Variable Optimum Allocation. Mathematics and Statistics, 9(5), 617-629. https://doi.org/10.13189/ms.2021.090501 Ahmed, O. S., Franklin, S. E., Wulder, M. A. y White, J. C. (2015). Characterizing standlevel forest canopy cover and height using Landsat time series, samples of airborne LiDAR, and the Random Forest algorithm. ISPRS Journal of Photogrammetry and Remote Sensing, 101, 89-101. https://doi.org/10.1016/J.ISPRSJPRS.2014.11.007 Blaschke, T. (2010). Object based image analysis for remote sensing. ISPRS Journal of Photogrammetry and Remote Sensing, 65(1), 2-16. https://doi.org/10.1016/J.ISPRSJPRS.2009.06.004 Breiman, L., Friedman, J. H., Olshen, R. A. y Stone, C. J. (2017). Classification And Regression Trees. Routledge. https://doi.org/10.1201/9781315139470 Briand, B., Ducharme, G. R., Parache, V. y Mercat-Rommens, C. (2009). A similarity measure to assess the stability of classification trees. Computational Statistics & Data Analysis, 53(4), 1208-1217. https://doi.org/10.1016/J.CSDA.2008.10.033 Camacho Sanabria, R., Camacho Sanabria, J. M., Balderas Plata, M. Á. y Sánchez López, M. (2017). Cambios de cobertura y uso de suelo: estudio de caso en Progreso Hidalgo, Estado de México. Madera y Bosques, 23(3), 39-60. https://doi.org/10.21829/myb.2017.2331516 Cameron, A. C. y Trivedi, P. K. (2013). Regression Analysis of Count Data. Cambridge University Press. https://doi.org/10.1017/CBO9781139013567 Caruana, R. y Niculescu-Mizil, A. (2006). An empirical comparison of supervised learning algorithms. Proceedings of the 23rd international conference on Machine learning ICML ’06, 161-168. https://doi.org/10.1145/1143844.1143865 Cohen, J. (1960). A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104 Congalton, R. G. (1988). A Comparison of Sampling Schemes Used in Generating Error Matrices for Assessing the Accuracy of Maps Generated from Remotely Sensed Data.

Photogrammetric Engineering and Remote Sensing. Vol. 54(5), 593-600.

Congalton, R. G. y Green, K. (2008). Assessing the Accuracy of Remotely Sensed Data.

73

CRC Press. https://doi.org/10.1201/9781420055139 Cortes, C. y Vapnik, V. (1995). Support-vector networks. Machine Learning, 20(3), 273297. https://doi.org/10.1007/BF00994018 Chaves, M. E. D., Picoli, M. C. A. y Sanches, I. D. (2020). Recent Applications of Landsat 8/OLI and Sentinel-2/MSI for Land Use and Land Cover Mapping: A Systematic Review. Remote Sensing, 12(18). https://doi.org/10.3390/rs12183062 Estevao, V. M. y Särndal, C.-E. (1999). The use of auxiliary information in design-based estimation for domains. Survey Methodology. Vol. 25 (2), 213-221.

Fragou, S., Kalogeropoulos, K., Stathopoulos, N., Louka, P., Srivastava, P. K., Karpouzas, S., P. Kalivas, D. y P. Petropoulos, G. (2020). Quantifying Land Cover Changes in a Mediterranean Environment Using Landsat TM and Support Vector Machines.

Forests, 11(7). https://doi.org/10.3390/f11070750 Gao, B. C. (1996). NDWI—A normalized difference water index for remote sensing of vegetation liquid water from space. Remote Sensing of Environment, 58(3), 257-266. https://doi.org/10.1016/S0034-4257(96)00067-3 Geneletti, D. y Gorte, B. G. H. (2003). A method for object-oriented land cover classification combining Landsat TM data and aerial photographs. International Journal of Remote Sensing, 24(6), 1273-1286. https://doi.org/10.1080/01431160210144499 Hall, F. G., Townshend, J. R. y Engman, E. T. (1995). Status of remote sensing algorithms for estimation of land surface state parameters. Remote Sensing of Environment, 51(1), 138-156. https://doi.org/10.1016/0034-4257(94)00071-T Hermosilla, T., Wulder, M. A., White, J. C. y Coops, N. C. (2022). Land cover classification in an era of big and open data: Optimizing localized implementation and training data selection to improve mapping outcomes. Remote Sensing of Environment, 268, 112780. https://doi.org/10.1016/J.RSE.2021.112780 Hijmans, R. J. (2021). raster: Geographic Data Analysis and Modeling. https://rspatial.org/raster/pkg/index.html Huete, A., Didan, K., Miura, T., Rodriguez, E. P., Gao, X. y Ferreira, L. G. (2002).

Overview of the radiometric and biophysical performance of the MODIS vegetation indices. Remote Sensing of Environment, 83(1-2), 195-213. https://doi.org/10.1016/S0034-4257(02)00096-2 IDEuy. (2018a). Informe de Calidad elaborado por IDE Uruguay a partir de los controles independientes aplicados por ITC S.A. Recuperado el 15 de abril de 2023 en https://visualizador.ide.uy/static/html/metacalidad/RN03_IIC.pdf

74

IDEuy. (2018b). Mosaico de Imágenes Digitales de Cobertura Nacional. Recuperado el 15 de abril de 2023 en https://visualizador.ide.uy/geonetwork/srv/spa/catalog.search#/metadata/8704a06e149c-4b4d-9374-7fbd4a82baff Kish, L. (1965). Survey Sampling. John Wiley & Sons.

Kish, L. y Frankel, M. R. (1974). Inference from Complex Samples. Journal of the Royal Statistical Society. Series B (Methodological), 36(1), 1-37. http://www.jstor.org/stable/2984767 Kuhn, M. (2008). Building Predictive Models in R Using the caret Package. Journal of Statistical Software, 28(5). https://doi.org/10.18637/jss.v028.i05 Kwenda, C., Gwetu, M. y Dombeu, J. V. F. (2022). Machine Learning Methods for Forest Image Analysis and Classification: A Survey of the State of the Art. IEEE Access, 10, 45290-45316. https://doi.org/10.1109/ACCESS.2022.3170049 Lam, N. S.-N. (2008). Methodologies for Mapping Land Cover/Land Use and its Change.

En S. Liang (Ed.), Advances in Land Remote Sensing: System, Modeling, Inversion and Application (pp. 341-367). Springer Netherlands. https://doi.org/10.1007/978-14020-6450-0_13 Lang, S. (2008). Object-Based Image Analysis (T. Blaschke, S. Lang, y G. J. Hay (eds.)).

Springer Berlin Heidelberg. https://doi.org/10.1007/978-3-540-77058-9 Last, M., Maimon, O. y Minkiv, E. (2002). Improving stability of decision trees.

International Journal of Pattern Recognition and Artificial Intelligence, 16(02), 145159. https://doi.org/10.1142/S0218001402001599 Li, X., Meng, Q., Gu, X., Jancso, T., Yu, T., Wang, K. y Mavromatis, S. (2013). A hybrid method combining pixel-based and object-oriented methods and its application in Hungary using Chinese HJ-1 satellite images. International Journal of Remote Sensing, 34(13), 4655-4668. https://doi.org/10.1080/01431161.2013.780669 Liu, H., y Motoda, H. (1998). Feature Selection for Knowledge Discovery and Data Mining . Springer.

Lu, D., y Weng, Q. (2007). A survey of image classification methods and techniques for improving classification performance. International Journal of Remote Sensing, 28(5), 823-870. https://doi.org/10.1080/01431160600746456 Macarringue, L. S., Bolfe, É. L. y Pereira, P. R. M. (2022). Developments in Land Use and Land Cover Classification Techniques in Remote Sensing: A Review. Journal of Geographic Information System, 14(01), 1-28. https://doi.org/10.4236/jgis.2022.141001

75

Magnussen, S., McRoberts, R. E., Breidenbach, J., Nord-Larsen, T., Ståhl, G., Fehrmann, L., y Schnell, S. (2020). Comparison of estimators of variance for forest inventories with systematic sampling - results from artificial populations. Forest Ecosystems, 7(1), 17. https://doi.org/10.1186/s40663-020-00223-6 Maxwell, A. E., Warner, T. A. y Fang, F. (2018). Implementation of machine-learning classification in remote sensing: an applied review. International Journal of Remote Sensing, 39(9), 2784-2817. https://doi.org/10.1080/01431161.2018.1433343 McRoberts, R. E. (2011). Satellite image-based maps: Scientific inference or pretty pictures? Remote Sensing of Environment, 115(2), 715-724. https://doi.org/10.1016/J.RSE.2010.10.013 MGAP. Ministerio de Ganadería, Agricultura y Pesca (2020). Actualización de Cobertura y Uso del Suelo del Uruguay al año 2020/2021. Recuperado el 15 de abril de 2023 https://www.gub.uy/ministerio-ganaderia-agriculturapesca/comunicacion/noticias/actualizacion-cobertura-uso-del-suelo-del-uruguay-ano20202021 Morales-Barquero, L., Lyons, M. B., Phinn, S. R. y Roelfsema, C. M. (2019). Trends in Remote Sensing Accuracy Assessment Approaches in the Context of Natural Resources. Remote Sensing, 11(19). https://doi.org/10.3390/rs11192305 Murphy, K. P. (2013). Machine learning : a probabilistic perspective. MIT Press.

Nebel, J. P., y Borsy, P. (2018). Actualización del manual de manejo de Bosque Nativo en Uruguay. Versión 2018. Ministerio de ganadería, agricultura y pesca. 1ª edición, Abril 2018, Montevideo - Uruguay. Recuperado el 15 de abril de 2023 en https://www.gub.uy/ministerio-ganaderia-agricultura-pesca/sites/ministerioganaderia-agricultura-pesca/files/documentos/publicaciones/libromanual_de_bosque.pdf Olofsson, P., Foody, G. M., Herold, M., Stehman, S. V., Woodcock, C. E. y Wulder, M. A. (2014). Good practices for estimating area and assessing accuracy of land change.

Remote Sensing of Environment, 148, 42-57. https://doi.org/10.1016/J.RSE.2014.02.015 Olofsson, P., Foody, G. M., Stehman, S. V. y Woodcock, C. E. (2013). Making better use of accuracy data in land change studies: Estimating accuracy and area and quantifying uncertainty using stratified estimation. Remote Sensing of Environment, 129, 122-131. https://doi.org/10.1016/J.RSE.2012.10.031 Pandey, A. K., Usman, M. y Singh, G. N. (2021). Optimality of ratio and regression type estimators using dual of auxiliary variable under non response. Alexandria Engineering Journal, 60(5), 4461-4471. https://doi.org/10.1016/j.aej.2021.03.031

76

Pebesma, E. (2018). Simple Features for R: Standardized Support for Spatial Vector Data.

The R Journal, 10(1), 439-446. https://doi.org/10.32614/RJ-2018-009 Philipp, M., Zeileis, A., y Strobl, C. (2016). A Toolkit for Stability Assessment of TreeBased Learners. Proceedings of COMPSTAT 22nd International Conference on Computational Statistics, Oviedo, 23 August 2016, 315-325.

Pontius Jr., R. G. y Millones, M. (2011). Death to Kappa: birth of quantity disagreement and allocation disagreement for accuracy assessment. International Journal of Remote Sensing, 32(15), 4407-4429. https://doi.org/10.1080/01431161.2011.552923 Praderi, R. y Vivo, J. (1969). Ríos y Lagunas (Vol. 36). Nuestra Tierra.

Proyecto REDD+ Uruguay. (2019). Metodología aplicada en la elaboración del mapa de cobertura de Bosque Nativo de Uruguay para el año 2016 con imágenes Sentinel 2.

Bernardi, L., Boccardo, A., Miguel, C., Olivera, J., Penengo, C., Rama, G., Serafini, J. y Kindgard, A. Ministerio de Ganadería, Agricultura y Pesca - Ministerio de Vivienda, Ordenamiento Territorial y Medio Ambiente. Montevideo. Recuperado el 15 de abril de 2023 en https://www.gub.uy/ministerio-ganaderia-agriculturapesca/sites/ministerio-ganaderia-agricultura-pesca/files/documentos/publicaciones/15.

Sentinel_2_Metodología_Mapa_Bosque_Nativo_2016_Proyecto_REDD%2B_UY_0. pdf Qi, J., Chehbouni, A., Huete, A. R., Kerr, Y. H. y Sorooshian, S. (1994). A modified soil adjusted vegetation index. Remote Sensing of Environment, 48(2), 119-126. https://doi.org/10.1016/0034-4257(94)90134-1 R Core Team. (2022). R: A Language and Environment for Statistical Computing.

Recuperado el 14 de julio de 2023 en https://www.r-project.org/ Rao, J. N. K. y Molina, I. (2015). Small Area Estimation. Wiley. https://doi.org/10.1002/9781118735855 Räty, M., Kuronen, M., Myllymäki, M., Kangas, A., Mäkisara, K. y Heikkinen, J. (2020).

Comparison of the local pivotal method and systematic sampling for national forest inventories. Forest Ecosystems, 7(1), 54. https://doi.org/10.1186/s40663-020-00266-9 Riaño, E., Bernardi L., Boccardo, A., Miguel, C., Olivera, J., Penengo, C. y Rama, G. (2019). Metodología y resultados de la validación del mapa de cobertura de Bosque Nativo de Uruguay para el año 2016 con imágenes Sentinel 2. Recuperado el 15 de abril de 2023 en https://www.gub.uy/ministerio-ganaderia-agriculturapesca/comunicacion/publicaciones/metodologia-resultados-validacion-del-mapacobertura-bosque-nativo-0 Richards, J. A. (2013). Remote Sensing Digital Image Analysis. Springer Berlin Heidelberg. https://doi.org/10.1007/978-3-642-30062-2

77

Schowengerdt R. A.. (2007). Remote Sensing. Elsevier. https://doi.org/10.1016/B978-0-12369407-2.X5000-1 Särndal, C.-E., Swensson, B. y Wretman, J. (1992). Model Assisted Survey Sampling (1.a ed.). Springer- Verlag New York.

Shaw, G. A., y Burke, H. K. (2003). Spectral Imaging for Remote Sensing. Lincoln laboratory journal, 14(1), 3-28.

Singh, H. P., Yadav, A. y Pal, S. K. (2018). An efficient use of two auxiliary variables in stratified random sampling. International Journal of Agricultural and Statistical Sciences, 14(2), 739-747.

Skinner, C. J. (2016). Probability Proportional to Size (PPS) Sampling. En Wiley StatsRef: Statistics Reference Online (pp. 1-5). Wiley. https://doi.org/10.1002/9781118445112.stat03346.pub2 Stehman, S. V. (1992). Comparison of systematic and random sampling for estimating the accuracy of maps generated from remotely sensed data. Photogrammetric Engineering and Remote Sensing, 58, 1343-1350.

Stehman, S. V. (2009). Sampling designs for accuracy assessment of land cover.

International Journal of Remote Sensing, 30(20), 5243-5272. https://doi.org/10.1080/01431160903131000 Stehman, S. V. y Czaplewski, R. L. (1998). Design and Analysis for Thematic Map Accuracy Assessment: Fundamental Principles. Remote Sensing of Environment, 64(3), 331-344. https://doi.org/10.1016/S0034-4257(98)00010-8 Stehman, S. V. y Wickham, J. D. (2011). Pixels, blocks of pixels, and polygons: Choosing a spatial unit for thematic accuracy assessment. Remote Sensing of Environment, 115(12), 3044-3055. https://doi.org/10.1016/j.rse.2011.06.007 Strahler, A. H., Boschetti, L., Foody, G. M., Friedl, M. A., Hansen, M. C., Herold, M., Mayaux, P., Morisette, J. T., Stehman, S. V., y Woodcock, C. E. (2006). Global land cover validation: Recommendations for evaluation and accuracy assessment of global land cover maps. European Communities, Luxembourg, 51(4), 1-60.

Thomas, N., Hendrix, C. y Congalton, R. G. (2003). A Comparison of Urban Mapping Methods Using High-Resolution Digital Imagery. Photogrammetric Engineering and Remote Sensing, 69(9), 963-972.

Tillé, Y., y Matei, A. (2021). sampling: Survey Sampling. Recuperado el 15 de abril de 2023 en https://cran.r-project.org/package=sampling van der Sande, C. J., de Jong, S. M. y de Roo, A. P. J. (2003). A segmentation and

78

classification approach of IKONOS-2 imagery for land cover mapping to assist flood risk and flood damage assessment. International Journal of Applied Earth Observation and Geoinformation, 4(3), 217-229. https://doi.org/10.1016/S03032434(03)00003-5 Venter, Z. S., Barton, D. N., Chakraborty, T., Simensen, T. y Singh, G. (2022). Global 10 m Land Use Land Cover Datasets: A Comparison of Dynamic World, World Cover and Esri Land Cover. Remote Sensing, 14(16). https://doi.org/10.3390/rs14164101 Wickham, J., Stehman, S. V., Gass, L., Dewitz, J. A., Sorenson, D. G., Granneman, B. J., Poss, R. V. y Baer, L. A. (2017). Thematic accuracy assessment of the 2011 National Land Cover Database (NLCD). Remote Sensing of Environment, 191, 328-341. https://doi.org/10.1016/j.rse.2016.12.026 Ye, S., Pontius Jr, R. G. y Rakshit, R. (2018). A review of accuracy assessment for objectbased image analysis: From per-pixel to per-polygon approaches. ISPRS Journal of Photogrammetry and Remote Sensing, 141, 137-147. https://doi.org/10.1016/J.ISPRSJPRS.2018.04.002 Yim, J. S., Kleinn, C., Kim, S. H., Jeong, J.-H. y Shin, M. Y. (2009). A comparison of systematic sampling designs for forest inventory. Journal of Korean Society of Forest Science, 98(2), 133-141.

Yu, L., Liang, L., Wang, J., Zhao, Y., Cheng, Q., Hu, L., Liu, S., Yu, L., Wang, X., Zhu, P., Li, X., Xu, Y., Li, C., Fu, W., Li, X., Li, W., Liu, C., Cong, N., Zhang, H., …

Gong, P. (2014). Meta-discoveries from a synthesis of satellite-based land-cover mapping research. International Journal of Remote Sensing, 35(13), 4573-4588. https://doi.org/10.1080/01431161.2014.930206 Zhang, D., Wang, H., Wang, X. y Lü, Z. (2020). Accuracy assessment of the global forest watch tree cover 2000 in China. International Journal of Applied Earth Observation and Geoinformation, 87, 102033. https://doi.org/10.1016/J.JAG.2019.102033