Archives de catégorie : Talend/SDI

[fr] Talend Chef d’Orchestre d’un Traitement Raster: Découpage du Cadastre par Commune

Dans un précédent post, je vous avais fait part des possibilités offertes par Talend pour l’orchestration de traitements GDAL.

Ici, nous allons voir un cas d’étude bien particulier relatif à une chaîne de traitement raster visant à constituer de manière automatisée un ensemble de dalles cadastrales sur la région PACA, soit 963 dalles (car 963 communes).

 Cela est réalisable via de la programmation, dans à peu près n’importe quel langage, mais l’avantage de Talend, que j’avais cité précédemment, est de ne nécessiter quasiment aucune ligne de code ainsi que de présenter les traitements de façon graphique, facilitant ainsi leur partage.

Les deux documents suivants présentent:
– pour le premier, la démarche et la méthodologie employée. Le synopsis final, assez grand, est au sein de ce dernier mais également sur cette page au format JPEG.
– pour le deuxième, une description plus technique des jobs au sein de Talend avec intégration des commandes GDAL via des copies d’écran afin de vous permettre de les reproduire.

N’hésitez pas à poser toute question éventuelle via les commentaires! J’essaierai d’y répondre.

Dû à la compression des fichiers lors de l’upload sur scribd, il se peut que certaines diapos soient difficilement lisibles. Dans ce cas, téléchargez les documents depuis le site (suivre les liens)

Découpage du Cadastre par Commune

Synopsis (cliquer pour voir en grand)

Découpage du Cadastre par Commune – Orchestration

[Talend SDI] 2 very simple , yet useful operations


Here, we’ll see how to sort features by area and how to remove duplicate features.

Sort features by area

Here is an example of layer I got. The representation is not convenient for printing as small features are partially or totally covered by bigger ones. So, I’d like small features to be on the top.

Here is the job in SDI:

1-Automatically generate the schema of the shapefile


2-Configure the input shapefile component
In the shema, choose the one you automatically generated.

3-Create an AREA column with the area of each feature

In the expression, type
GeometryOperation.GETAREA(row1.the_geom)

4-Sort features by area
Choose an ascendant order so that the biggest features will be in the indexed first

5-Generate the output shapefile


Here is an example of output result:

Remove duplicates

If you aggregate a workspace file with a base file without taking precautions, you could get a layer with duplicate features in it.

In this image we set transparency so as to enhance duplicate fatures.

You’d like to clean up this file, removing the duplicate features.

I’s very simple to accomplish in Talend SDI:



Here, we reviewed two very simple operations in Talend SDI, yet very easy to create.
They are very simple to accomplish on a PostgreSQL/PostGIS Database but not very handy on flat files like shapeFiles. In this case, Talend/SDI is very useful.

Here is the link if you wish to download the spatial ETL Talend/SDI:
http://www.spatialdataintegrator.com/

Spatial Data Integrator, a spatial ETL – General Presentation and Use Cases

This presentation is a translation of the related post

In the context of the Geomatics Community Meeting Day organized by the French Ministry of Environement, Sustainable Development and the Ministry of Agriculture, I was invited to present the ETL Spatial Data Integrator.

I’ve tried to translate this presentation in english to share it to the largest public as possible.

The presentation contains many screen prints of processes. It’s been made in a didactic way so that you can recur the processes on your computer. Even if you don’t practice, I hope you’ll get an idea of some posibilities offered by a spatial ETL.

Good reading!