Miércoles, 08 Junio 2016 17:16

Extrayendo datos del DERA con Python

Los Datos Espaciales de Referencia de Andalucía para escalas intermedias -DERA- "es un repertorio de bases cartográficas de diferente naturaleza geométrica (puntos, líneas, polígonos, imágenes raster) referidas al territorio andaluz". Más información en esta página del Instituto de Estadística y Cartografía de Andalucía.

Los datos pueden descargarse en un archivo comprimido zip por cada uno de los bloques. Dentro de cada zip la información se encuentra accesibles por capas en formato shapefile (.shp), en sistema de referencia geodésico ETRS89 y proyectadas en UTM huso 30.

Filtrado de datos con SIG

La extensión espacial de las capas es el ámbito geográfico de la comunidad autónoma de Andalucía. Esto significa que por ejemplo en la capa sv01_sanidad_centro_salud.shp se encuentran todos los centros de salud existentes en Andalucía y sus diferentes tipologías. Si queremos trabajar con una selección de datos, por ejemplo por provincia, deberemos:

  • Descarga el zip correspondiente desde la web del IECA
  • Descomprimirlo el zip
  • Abrir un Sistema de Información Geográfica (ArcGIS, QGIS, gvSIG...)
  • Cargar la capa (ej. sv01_sanidad_centro_salud.shp)

Normalmente las capa del DERA incluyen información del municipio y provincia, por lo que podemos hacer una consulta por el atributo que deseemos, seleccionar los datos y crear una nueva capa a partir de la selección.

Una vez que tenemos los datos en nuestro SIG, se nos pueden plantear algunas preguntas:

  • ¿Qué ocurre si la capa no dispone de un atributo como municipio o provincia que permita filtrarla? Esto puede suceder para capas de tipo lineal o poligonal cuya extensión supere un límite administrativo.
  • ¿Cómo extraer información de ámbitos geográficos definidos por nosotros? Este puede ser el caso de un barrio, o la delimitación de una mancomunidad. En este caso debemos contar con la capa de delimitación y a continuación seleccionar los elementos geométricos (ej. centros de salud) mediante una consulta espacial (superposición, dentro de, toca...).
  • ¿Y si quiero obtener todos los datos de un bloque temático, como por ejemplo "Servicios", para un barrio? En este caso, tendremos que repetir la operación anterior para cada una de las capas.

Trabajando con Python y GDAL

Algunos de los problemas que he planteado antes pueden solucionarse con las herramientas de creación de modelos de procesado integradas en los SIG. En el siguiente enlace a MappingGIS hay una sencilla guía de cómo hacerlo en QGIS.

Como sigo con el aprendizaje de Python que comencé con dxf2gmlcatastro he decidido crear un pequeño código que haga lo siguiente:

  • Descomprimir un archivo zip de capas Shape, en este caso del DERA.
  • Localizar una archivo poligonal que va a ser usado para "recortar" las capas Shape del zip
  • Crear una carpeta donde almacenar las nuevas capas recortadas.
  • Generar nuevas capas recortadas en una carpeta concreta y con un sufijo (_clip).
  • Borrar la carpeta donde se ha descomprimido el zip.

Los requisitos para ejecutar el código son

  • Tener instalado Python.
  • Tener instalada la librería GDAL/OGR.

Un ejemplo

$ python clipShapesZip.py 'G15_Patrimonio.zip' 'clip_area.shp' 'clipFolder'

Como nota importante comentar que si el geoproceso se aplica sobre una lineal o poligonal, la función hará su función y "recortará" las geometrías a partir del la capa indicada.

Como he venido comentando en las dos últimas entradas, en el repositorio de GitHub de SIGdeletras podéis encontrar el script dxf2gmlcatastro permite transformar un archivo de parcela catastral CAD con extensión DXF al formato GML establecido por Catastro para conseguir su validación gráfica en la Sede Electrónica del Catastro.

Tras verlo con algunos compañeros, presentarlo en las última reunión de Geoinquietos Córdoba y recibir varios correos de personas interesadas en usarlo, la conclusión a la que he llegado es la de que por muy útil que sea una herramienta si la gente no sabe utilizarla ya se está perdiendo el sentido básico que motiva su creación.

En esta línea, y poco después de publicar el script, Óscar Martínez de MásqueSIG escribió una estupenda entrada en la que explicaba cómo usar dxf2gmlcatastro en gvSIG. Siguiendo las reflexiones de Óscar, podemos decir que integrar código en un SIG como gvSIG, o en nuestro caso QGIS, permite:

  • Al poder integrar el código en un SIG que trabaja con Python y GDAL, el uso inicial de la librería es más fácil.
  • No estamos limitados a la instalación en un sistema operativo concreto ya tanto gvSIG como QGIS son SIG multiplataforma.
  • Podemos mejorarlo usando las funcionalidades que nos ofrece el propio SIG (cuadros de dialogo, interfaz visual...).
  • Se podría integrar en la barra de herramientas o incluso convertirlo en una extensión.

En conclusión y como dice Óscar …”que pueda llegar a más gente, que al final es para lo que lo hacemos”.

Definir la variable PYTHONPATH

La variable PYTHONPATH es utilizada en QGIS para acceder a los módulos de Python. Esta variable ya se define durante la instalación apuntando a una carpeta denominada Python dentro del directorio de instalación del programa, o en la carpeta .qgis2 en Linux. A pesar de ello, vamos a añadir una ruta nueva más accesible donde vamos a guardar nuestro módulo.

Los pasos a seguir son los siguientes:

  • Abrir QGIS.
  • Ir al menú Configuración>Opciones.
  • En la pestaña Sistema, buscamos el apartado Entorno.
  • Activamos la opción “Usar variables personalizadas…”
  • Pinchamos en el botón “Añadir” y definimos la variable con las siguientes opciones:
    • Aplicar: “Poner a continuación”
    • Variable: PYTHONPATH
    • Valor: Carpeta donde vamos a guardar nuestros archivos Python (ej. C:\scriptsqgis)
  • Pinchamos en Aceptar y reiniciamos QGIS.

 

Usar dxf2gmlcatastro en QGIS.

Lo primero que debemos hacer es descarga el código, o hacer un git clone,  de dxf2gmlcatastro desde el repositorio de GitHub y copiar los archivos en la carpeta definida en PYTHONPATH (ej. C:\scriptsQGIS).

Lo primero es comprobar que QGIS accede a la nueva ruta que hemos añadido a PYTHONPATH. Una vez ejecutado de nuevo QGIS,  vamos a abrir la consola de Python integrada (Complementos > Consola de Python) y escribimos import dxf2gmlcatastro y después pulsamos "Intro". Si hemos seguido correctamente los pasos anteriores no nos debería devolver ningún error.

A continuación vamos a ejecutar la función crea_gml de dxf2gmlcatastro que convertirá nuestro archivo DXF al GML de Catastro. Dentro de la función tendremos de añadir los argumentos que nos indiquen:

  • Dónde se encuentra el archivo DXF (ej. 'C:\carpeta\archivoparcela.dxf')
  • El lugar y el nombre del GML(ej. 'C:\carpeta\gmlcatastro.gml')
  • El código EPSG del Sistema de Referencia de Coordenadas del DXF. (Los SRC admitidos son 25828, 25829, 25830 y 25831)
dxf2gmlcatastro.crea_gml('C:\carpeta\archivoparcela.dxf', 'C:\carpeta\gmlcatastro.gml', '25830')

Si todo ha ido correcto podemos cargar el nuevo GML en QGIS y comprobar que se ha generado correctamente y que incluye los atributos según el modelo de Inspire.

Crear un script con PyQGIS personalizado

Una vez que disponemos de dxf2gmlcatastro podemos crear otros fragmentos de código para integrarlo en QGIS. Aquí os dejo un ejemplo que carga el GML en QGIS.

Para crear este archivo hemos usado el editor de código de QGIS y una vez terminado lo hemos salvado en nuestro equipo con el nombre catastroQGIS.py. Sólo deberemos cargar el archivo en el terminal de Python de QGIS y cambiar la ruta y nombre de los archivos para utilizarlo cada vez que queramos.


El archivo catastroQGIS.py se encuentra en la carpeta ejemplo del repositorio GitHub

 

Dentro del programa de la 11ª reunión de Geoinquietos Córdoba voy a realizar de mini taller donde explicar cómo se usa el script Pyhton dxf2gmlcatastro que estoy generando para convertir un archivo CAD DXF al formato GML definido por tras la Resolución conjunta Catastro-Registro.

Desde hace unos meses he empezado a aprender Python y su aplicación temas geo. Este ejercicio de programación me está sirviendo bastante para ir adquiriendo los conocimientos básicos de este lenguaje. Además de las lecturas y pruebas, la ayuda de Marcos Ortega de Indavelopers está siendo crucial.

Un rápido sondeo ha puesto de manifiesto que la mayoría de las personas que asistente a las reuniones de geoinquietos usan Windows. Aunque todo la programación está hecha en Linux (Ubuntu), he montado una máquina virtual con Virtual Box para ver los pasos a dar para poder ejecutar el script en este sistema operativo. Existe una manera más rápida de configurar GDAL para Python que es instalando OSGeo4W y usar la shell incorporada. Pero como siempre es un buen momento para aprender he decido tomar el camino más largo y aprovechar para escribir esta entrada.

Instalación de Python

Para instalar Python es necesario entrar en el apartado de descargas de la página de Pyhton) y bajarse la versión del lenguaje que se quiera instalar según el sistema operativo. Para esta guía hemos utilizado Python 3.4.4 - 2015-12-21 Windows x86 MSI installer.

Una vez descargada, ejecutamos el archivo e instalamos según la configuración por defecto. El único aspecto al que en principio hay que atender es a marcar, si no lo está, la casilla que añade python.exe a nuestro PATH.

Terminada la instalación, accedemos a Sistema>Configuración avanzada del sistema y pinchamos en el botón Variables del entorno. Desde aquí, podemos comprobar que se ha añadido la ruta a la carpeta de Python, en nuestro caso "C:\Python34", para la variable PATH. Editamos esta variable y añadimos también las rutas C:\Python34\Lib\site-packages\ y C:\Python34\Scripts.

Instalación de GDAL

Para poder usar la biblioteca geoespacial GDAL con Python es necesario tener instalados los binarios con anterioridad. Esta parte de la entrada recoge la guía en inglés del siguiente enlace.

Lo primero es saber la versión del compilador que estamos utilizando. Para ello buscamos en nuestros programas IDLE (Python GUI) dentro de la carpeta de Python y lo ejecutamos. En la información de inicial podemos apreciar la versión del compilador (MSC v.1600). En este mismo texto obtendremos la arquitectura de nuestra máquina (32 o 64 bits).

Recopilados estos datos, entramos en la web www.gisinternals.com para acceder a los archivos de GDAL según nuestra configuración (ej. release-1600-gdal-1-11-3-mapserver-6-4-2). Una vez en la página de descarga, localizaremos el enlace del core de GDAL (Generic installer for the GDAL core components), descargamos e instalamos. Para nuestro equipo el archivo descargado ha sido gdal-111-1600-core.msi

Tras la instalación, tendremos que volver a editar de nuevo las variables del entorno y añadiremos a PATH, precedida de punto y coma, la dirección de la carpeta de GDAL de nuestro equipo (ej. ;C:\Program Files (x86)\GDAL).

A continuación debemos añadir dos variables nuevas:

  • GDAL_DATA que apunte a la carpeta gdal-data (C:\Program Files (x86)\GDAL\gdal-data)
  • GDAL_DRIVER_PATH que apunte a la carpeta gdalplugins (C:\Program Files (x86)\GDAL\gdalplugins)

Para comprobar que hemos realizado correctamente la instalación accederemos al Símbolo del sistema como administrador y escribiremos gdalinfo --version. Si todo es correcto obtrendremos la versión de GDAL instalada

Instalación de Python bindings

Para poder utilizar GDAL con Python vamos a instalar los bindings que se encuentran en la misma web que hemos descargado los archivos binarios de GDAL. Un binding es una adaptación de una biblioteca para ser usada en un lenguaje de programación distinto de aquel en el que ha sido escrita.

Como partimos de una instalación de Python 3, descagaremos e instalamos el archivo GDAL-1.11.3.win32-py3.3.msi

Para terminar, vamos a acceder de nuevo la GUI de Python IDLE y escribiremos el siguiente código importando GDAL en Python

import gdal

Si no nos devuelve ningún mensaje de error, hemos terminado nuestra instalación.

Si queréis empezar trastear con Python y GDAL os recomiendo seguir los ejemplos de Python GDAL/OGR Cookbook.. También puede puede revisar el curso "Geoprocessing with Python using Open Source GIS" de la Utah State University.

Este artículo continua la entrada anterior en la se expusieron algunos de los usos de los comandos gdalinfo y gdaltranslate de la librería GDAL. En el siguiente texto nos vamos a centrar en el comando gdalwarp. Este comando se usa para hacer reproyecciones del Sistema de Referencia de Coordenadas de una imagen georeferenciada.

Reproyección de una imagen georeferenada con gdalwarp

El uso básico es sencillo: partimos de la base de que la imagen ya posee un SRC definido, tras el comando indicaremos el SRC de salida usando el código EPSG (ej. -t_srs "EPSG:4326"), el fichero a reproyectar y el nombre la imagen proyectada.

$ gdalwarp  -t_srs "EPSG:4326"  -of GTiff img.tif img4326.tif

Las opciones de gdalwarp son muchos más variadas establecer un valor sin datos (- dstnodata) o usar una archivo vectorial para recortar la imagen de salida (-cutline). Todas las opciones pueden consultarse en la siguiente dirección http://www.gdal.org/gdalwarp.html

De ED50 a ETRS89

En España, a partir del 1 de enero de 2015  y según  el Real Decreto 1071/2007 , de 27 de julio, por el que se regula el sistema geodésico de referencia oficial en España, "...toda la cartografía y bases de datos de información geográfica y cartográfica producida o actualizada por las Administraciones Públicas deberá compilarse y publicarse conforme a lo que se dispone en este real decreto” o lo que es lo mismos debe estar encontrarse en el ETRS89. Más información en esta página del IGN.

Para facilitar la transformación del datum ED50 a ETRS89, el Instituto Geográfico Nacional ha generado dos rejillas (Península y Baleares) en formato NTV2. Estas rejillas pueden ser descargadas desde la web del IGN.  Las rejillas pueden añadidas  usadas en la mayoría de los SIG pero también podemos utilizarla directamente usando GDAL con el comando gdalwarp. En la web de Mappingis podréis encontrar un artículo de su uso en QGIS.

Si queremos trasformar con gdalwarp una imagen en ED50 UTM30N (EPGS:23030) a ETRS89 (EPGS:25830), lo primero será descargar la correspondiente rejilla a nuestro ordenador. Tras el comando debemos añadir los SRC de entrada (-s_srs) y salida (-t_srs), pero en esta ocasión añadiendo los parámetros de la librería PROJ.4 e indicando la ruta de la rejilla del IGN tras la opción nadgrids.

Suponiendo que hemos almacenado la rejilla de la península en nuestro disco duro C: en la carpeta "rejillas", el comando quedaría así:

$ gdalwarp -s_srs "+init=epsg:23030 +nadgrids=C/:rejilla/PENR2009.gsb +wktext" -t_srs "+init=epsg:25830 +nadgrids=null +wktext" -of GTiff img23030.tif img25830.tif

Un poco de programación: procesando de múltiples imágenes con gdalwarp

Como he comentado al principio, todo este textazo tiene en primer lugar una función didáctica para mi. El segundo aspecto por el que merece utilizar los comando de estas librerías es el hecho de poder crear nuestros propios fragmentos de código o scripts que nos ayuden a mejorar nuestra vida..al menos desde el punto de vista informático. Creo que en esta búsqueda de la felicidad, podría ser interesante hacer un un pequeño script que por ejemplo convirtiera a formato GeoTiff y mejorara el tamaño de, ¿porqué no?, 200 ficheros.

Creamos un script utilizando el shell de Linux con la extensión sh (ej. ed50etrs89.sh). El script está pensado para ser utilizado desde el terminal de Linux. Si alguno se lo trabaja para Windows o Mac, y quiere que lo ponga en la entrada avisad por correo.

El código hace lo siguiente:

  • Localiza las imágenes con la extensión JPG que se encuentran en el mismo directorio del archivo  ed50etrs89.sh
  • Reproyecta  y comprime las imágenes a ETRS89 UTM 30N usando la rejilla del IGN localizada en en mismo directorio del script.
  • Salva las imágenes con el sufijo “_25830”  y en formato GeoTiff
  • Usa gdalinfo para generar una archivo de texto con los metadatos de las imágenes reproyectadas.

 

Si es necesario le asignamos, los correspondientes permisos de ejecución con chmod

$ chmod +x ed50etrs89.sh

Y a continuación, lo ejecutamos

$ ./ed50etrs89.sh

GDAL (http://www.gdal.org/) es una biblioteca de software para la lectura y escritura de formatos de datos geoespaciales publicada bajo la MIT License por la Fundación OSGeo. Con esta librería se pueden realizar multitud de operaciones de transformación y procesamiento sobre gran variedad de datos raster y vectoriales.

En la siguiente serie de entradas vamos a tratar algunos los comandos destinados a obtener información de un raster (gdalinfo), convertir archivos a otros formatos (gdal_translade) y cambiar el sistema de referencia de coordenadas  de imágenes referencias  (gdalwarp).

Para saber más sobre esta librería se pueden consultar los siguientes artículos.

¿Terminal o SIG?

La librería GDAL es utilizada por gran número de paquetes geomáticos (https://trac.osgeo.org/gdal/wiki/SoftwareUsingGdal) como por ejemplo QGIS, gvSIG o ESRI ArcGIS 9.2+. Desde los menús de cualquiera de estos clientes SIG podemos acceder a las funciones de GDAL utilizando los formularios diseñados para ello. Si podemos utilizar sin complicaciones las funciones desde un Sistema de Información Geográfica ¿qué sentido tiene utilizar los comandos?. Para mi, la primera razón es el simple hecho de conocer, aprender y saber a manejar distintas herramientas vinculadas con la información geográfica. El segundo motivo, y no por ello el menos interesante, funcional y divertido es el intentar dar soluciones más efectivas mediante programación a operaciones que se repitan o en las que estén incluidas multitud de ficheros.

Instalación de GDAL

Comenzamos con la instalación de la librería. En mi, en un equipo con Ubuntu he añadido repositorio de fuentes, actualizado e instalado a librería usando los siguientes comandos.

$ sudo add-apt-repository ppa:ubuntugis/ubuntugis-unstable
$ sudo apt-get update
$ sudo apt-get install gdal-bin

Una vez instalado podremos hacer una verificación mediante este comando.

$ gdalinfo --version

Para equipos con Windows lo más recomendable es utilizar el instalador OSGeo4W, aunque también está la alternativa de FWTools.

Como no me quiero meter en follones con la instalación en Mac por no haberla probado, aquí un dejo un enlace que puede ayudar.

Usando gdalinfo  para obtener información sobre un archivo

Podemos utilizar el comando gdalinfo para obtener gran cantidad de información de un determinado fichero de imagen. Si queremos podemos también comprobar los tipos de formatos soportados por GDAL con el comando gdalinfo –formats.

Si nos encontramos en el directorio donde se encuentra el archivo, desde Linux sólo debemos abrir nuestro terminal, escribir el comando seguido del nombre y extensión del fichero. En el caso de estar en otro directorio debemos añadir la ruta y el nombre más extensión del raster.

$ gdalinfo mapa.tif

o

$ gdalinfo utm.tif /home/user/mapa.tif

Entre otros datos obtendremos: tipo del fichero, tamaño, SRC, tamaño del píxel, metadatos, coordenadas de las esquinas y centro o la información de las bandas.

Si volvemos a escribir el comando, pero esta vez seguido del símbolo mayor que (>) con un nombre y la extensión txt (ej. utm_metados.txt), se genera un fichero con los datos. Esta opción es bastante interesante si queremos incorporar un fichero adjunto de metadatos a nuestra imagen.

$ gdalinfo mapa.tif > mapa_metados.txt

Cambios de formato con gdal_translate

La utilidad básica de gdal_translate es la de hacer una copia de un fichero existente en otro formato de los reconocidos por la librería.

Por ejemplo, al georreferenciar una imagen que sólo requiera escalado y traslación, lo normal es que se generar un archivo  de tipo world file con los datos del píxel y la coordenada de la esquina. Estos ficheros se sombran de igual manera que la imagen y tienen una extensión acabada en la letra w. (pnw, .jpgw/.jpegw o .wld). Si utilizamos este sistema de multiarchivo la información geográfica no es intrínseca al archivo, por lo que no podremos saber el Sistema de Referencia de coordenadas en que se encuentra la imagen. Para solventar este escollo es preferible trabajar con archivos en formato GeoTiff.

Para convertir el archivo a formato GeoTiff usamos gdal_translate y añadimos el fichero de origen y el nombre del nuevo fichero con su extensión.

$ gdal_translate -of GTiff mapa.jpg mapa.tif


Una vez realiza la conversión es interesante comprobar la diferencia de datos vinculados al fichero usando de nuevo el comando gdalinfo.

Lo normal es que utilicemos la librería GDAL con imágenes georreferenciados, pero puede ser también útil para pasar de formato otros archivos sin coordenadas previas. Por ejemplo, podemos convertir un plano en PDF a un archivo TIF, establecer la resolución de la imagen de salida o incluso obtener una zona concreta del PDF usando  -projwin.

$ gdal_translate in.pdf out300.tif  --config GDAL_PDF_DPI 300 -projwin 792 144 9450 5600.

Después utilizando un SIG o la misma librería podríamos asignarles las coordenadas para su georreferenciación.

Opciones de compresión

Podemos ir más allá usando los distintas opciones del comando. y por ejemplo definir las opciones de configuración para aplicar compresión a fichero y reducir su tamaño. Usando el comando y la opción “-co” se podrá asignar al nuevo fichero un algoritmo de compresión que puede reducir el peso del nuevo.

$ gdal_translate -of GTiff -co COMPRESS=DEFLATE -co PREDICTOR=2 -co TILED=YES  mapa.jpg mapa.tif

No voy a entrar en las diferentes algoritmos de compresión de imágenes que podemos utilizar pero sí os dejo unos enlaces que son de gran interés. Sólo indicar que existen opciones que nos permiten reducir casi a un 50% el peso de un fichero sin perder calidad en la imagen.

Sobre mí

SIGdeletras es Patricio Soriano y Patricio Soriano es SIGdeletras. Trabajo el campo las Tecnologías de la Información Geográfica y especialmente su aplicación en el ámbito del Administración Pública y el Patrimonio Cultural...  ¿Quieres saber más sobre mí?

 

Buscar