Archives de catégorie : dataviz

geosparklines, a twitter map story

On the 10th of April, I created a map to see the evolution of COVID cases in France as spatialized sparklines.

I first saw it like a good use case on how to use some QGIS related functions (QGIS is an opensource geospatial tool)

“Les Artisans cartographes” mentioned the map on twitter. Thereafter, many people started retweeting it. I didn’t expect it to make so much “noise”

For me, this representation was an efficient way to see evolutions on a map because you could observe the dynamics at a single glance.

Maybe this instantaneous look can help in emergency cases because you don’t need to press play and wait for every frame to complete in order to get “the big picture”.

For me, there was nothing much innovative or disruptive about this map. It had been a long time the idea was in my head and I had already experimented it around census data.

I thought someone had already created something similar. But Alberto Cairo, a world-reknown dataviz expert, seemed to have never seen something like this before, which surprised me.

https://twitter.com/AlbertoCairo/status/1249304071238017027

Kenneth Field, who is a reknown map maker compares this kind of map with Minard’s (a great honor !)

Read this wonderful article around Minard

Well before I put the QGIS code to create the map on github and explained it on this blog, some people on twitter started to create their own. Later, I saw some similar maps emerge.

That’s a gallery of these initiatives you’ll discover here.

Italy

Czech Republic

Also this one :

Holland

US

https://twitter.com/hrbrmstr/status/1249847831126556672

Wisconsin

Later, Kemper Smith made a US version

Washington Post

You can see that the Washington Post map is more sophisticated, with additional use of thickness to illustrate the current state (actual number of cases) and color to support the evolution

Note the Washington Post map was showcased on flowingdata, which is a reference media relaying dataviz experiments (also tutorials)

My experiments around this idea

An animated, worldwide and colored version

A hairy version

A scribbled version

Parcourir le Monde

Quel est l’itinéraire idéal pour parcourir le Monde ? Combien de temps de vol cela prendrait ? Quels sont les deux pays les plus distants l’un de l’autre ?
Dans ce post, j’ai fait mumuse avec la carte du globe, et appris des choses au sujet des distances orthodromiques et des voyageurs de commerce. Bon voyage !


Dernièrement, j’ai eu un échange avec @matamix au sujet du calcul de trajets permettant de couvrir un ensemble de points de façon optimale.

Nous avons échangé au sujet du code, puis une question m’est venue : dans quel ordre devrais-je visiter les différents pays, dans l’éventualité d’ un tour du monde (rêvons un peu). C’est la problématique du voyageur de commerce, qui doit démarcher un certain nombre d’adresses en un minimum de temps. Il s’avère que la problématique du voyageur de commerce peut s’appliquer à des domaines non spatiaux, comme ordonner des séquences génétiques, voire regrouper des individus (au sens statistique) selon leur proximité : intéressant !

“Attrape-moi si tu peux !”

Tout d’abord, il faut se poser la question des distances entre les différents pays. L’espace dans lequel on doit travailler n’est pas euclidien, plan, mais sphérique. Ainsi, pour rejoindre le Japon depuis les Etats-Unis, inutile de traverser l’Atlantique, bien sûr. Les distances que l’on doit calculer sont les distances de grands cercles ou orthodromiques. Il existe apparemment différentes méthodes, la plus courante étant celle utilisant la loi sphérique des Cosinus

Sous R, on peut calculer 4 sortes de distances des grands cercles grâce au paquet geosphere.

J’ai récupéré les contours des pays depuis le magnifique Natural Earth, déterminé le centre des pays, et calculé les distances entre chaque, de sorte à réaliser une matrice de distance entre les différents pays. Cette matrice peut être vue comme un réseau constitué de noeuds : les pays, connectés entre eux par des arêtes de poids égal à la distance qui les sépare.

On obtient une matrice des distances orthodromiques, dont voici ci-dessous une illustration, avec 177 lignes et 177 colonnes (autant de pays que dans la couche des pays), soit 177^2 “cases”. Plus la couleur est claire et plus la valeur de distance est grande. On voit que la diagonale est obscure. Les poids sur celle-ci sont nuls, puisque la distance de la France à la France est nulle. On voit que la matrice est symétrique puisque la distance, à vol d’oiseau, est la même de la France à l’Espagne que de l’Espagne à la France.

Entrez dans la matrice…

D’ailleurs, à partir de cette matrice, je me suis amusé à déterminer les trajets les plus grands entre deux pays sur le globe. En voici la liste des 10 premiers, chaque ligne représentant un trajet, dans l’ordre d’importance :

En allant du Paraguay à Taïwan, on parcourt quasiment la moitié de la Terre, la circonférence de cette dernière étant de 40 075 km

Et voici la carte correspondante pour les 5 plus grands trajets :

De même, voici la liste des pays les plus “isolés” :

Revenons à nos moutons…ou plutôt à nos voyageurs de commerce. Maintenant que notre matrice a été constituée, nous pouvons calculer le chemin optimal qui parcourt tous les noeuds une seule fois en cumulant un poids minimal (une distance minimale). Il existe plusieurs méthodes permettant de résoudre la problématique du voyageur de commerce. Dans un premier temps, j’ai tenté la plus commune, la méthode des plus proches voisins, mais elle me trouvait un itinéraire assez bizarre.

Le voyageur de commerce qui avait mal planifié son voyage

En fait, c’est normal : la méthode des plus proches voisins prend un point au hasard, détermine le point le plus proche, et répète l’analyse de proche en proche jusqu’à ce que tous les points aient été visités. Une variante prend comme point de départ chaque noeud, compare les tournées, et choisit la meilleure. Cet algorithme est assez basique.

C’est avec l’algorithme Concorde que j’ai obtenu le meilleur résultat. Voici ce que dit Wikipédia à propos de Concorde :
“a state of the art implementation”
“one of the best exact TSP solvers currently available.”
“is widely regarded as the fastest TSP solver, for large instances, currently in existence”.
Bref , il s’agit du voyageur de commerce le plus performant du monde, apparemment. Il doit être milliardaire à l’heure qu’il est !

 Voici donc l’itinéraire que j’ai pu trouver pour parcourir les pays du monde entier, prenant en compte les distances sphériques entre pays. On voit que j’ai aussi inclus l’Antarctique : soyons un peu aventureux !

Carte avec les fuseaux horaires

Voici un extrait des pays, dans l’ordre, au moins pour les premiers (ou les derniers, selon le sens où l’on va) :

Bon, Corée du Nord, 16e dans la liste, on passe ?

En distance, en tout, cela représente un peu plus du tiers de la distance Terre-Lune, cette dernière étant de 384 400 km, et entre trois et quatre fois le tour de la Terre

Je me suis demandé combien de temps de vol cela représenterait pour parcourir tout ça. Il existe un site appelé travelmath qui donne le temps de vol entre tous les pays.

(et 11 secondes)

Avec un petit chouilla de scraping – rien de compliqué – j’ai pu récupérer ces temps tout le long de mon itinéraire, soit pour 176 couples origine-destination. J’ai fait le calcul : il faudrait 12 jours ! pour effectuer cet itinéraire. En bref, si vous projetez une année sabbatique, ça vous fait un jour à passer dans l’avion par mois en moyenne, pas très reposant…et peu écologique !

Dataventures

Bon, je dois vous avouer qu’utiliser le Concorde (l’algorithme) n’a pas été forcément une mince affaire. Dans un premier temps j’ai testé l’outil Concorde en interface graphique et me suis rendu compte qu’il fournissait des bons résultats :

Pas mal !

Mais le souci, c’était que visiblement, ce dernier ne prenait en compte que les fichiers de coordonnées, et pas les matrices de poids !..

J’ai essayé de convertir ma matrice de distances orthodromiques en coordonnées avec un échelonnage multi-dimensionnel et une fonction de R appelée cmdscale, mais cette méthode est loin d’être optimale car j’avais en coordonnées le Cameroun plus proche de la France que la Belgique (!). Ca m’a un peu trotté cette histoire jusqu’à ce que je conclue, bêtement, que cela venait du fait que l’espace dans lequel raisonne cmdscale ne peut prendre en compte la nature sphérique des distances (c’est comme si on était dans une autre dimension avec ma matrice).

Comme un petit problème..

J’ai donc dû me rabattre sur les exécutables source. J’ai téléchargé Concorde depuis un site universitaire canadien

Le site, qui n’a peut-être jamais crashé, contrairement à son outil éponyme

A noter que la licence ne prévoit qu’une utilisation académique, et non commerciale, malgré le nom de l’algorithme 😉 L’outil est exécutable sous Windows grâce à Cygwin, un émulateur Linux. Du coup, j’ai installé Cygwin en 64 bits. Hors, ça ne fonctionnait pas. Je me suis aperçu après moult recherches que Concorde.exe fonctionnait avec Cygwin 32 bits, et non 64 bits. Bon, finalement, lorsque concorde.exe a affiché l’aide dans l’invite de commandes, j’étais soulagé !

**Alleluïa**

Une fois tout bien configuré, j’ai pu utiliser Concorde dans R après avoir donné le chemin via concorde_path (youpi !) :

Cool, ça marche. Le rouge, c’est juste un avertissement
Allez, pour finir, voici des cartes que l’on trouve sur le web, qui donnent le chemin le plus court pour parcourir la planète (pas si éloignées que ça de la mienne) :
Aller d’une capitale à l’autre selon wolfram

La réponse était aussi sur reddit, sur le canal “Map Porn”

Crédits icônographie
Globe issu de Wikipédia
The Crown, by Oliviu Stolan from NounProject
The Wing by Alice Noir from NounProject

Le sport en France métropolitaine et le leurre cartographique

Dans ce post, nous allons voir comment réaliser un leurre cartographique, soit la réalisation d’une carte représentant un territoire totalement façonné par des données. Plus précisément, nous verrons la conception d’un territoire de la pratique sportive par départements en France.&nbsp



Territoire physique et territoire vécu

Le territoire physique, tout le monde le connaît. Le paysage se déploie sous nos yeux de façon continue, façonné par des variables non discrètes dans l’espace, à savoir le climat, le relief, etc… Mais le territoire perceptible est-ce il le seul qui existe ?

Nous pourrions imaginer qu’en surcouche de ce dernier flottent une multitude de nappes géographiques :
celui du patrimoine mémoriel, des références culturelles, historiques, celui des bises, du pain au chocolat ou de la chocolatine…

Pain au chocolat ou chocolatine par Adrien Van Hamme

Il s’agit des territoires perçus, vécus, ressentis, voire même parfois imaginés. Ils sont révélés par les sondages, les enquêtes d’opinion, sous la forme la plus courante de choroplèthes.

Le sport comme nouveau territoire

Le basket en France

Un article de matamix sur slate montrait comment le territoire pouvait se métamorphoser selon la pratique sportive. Ici, des rugueux ? Là, des footeux ? La carte se boursoufle selon ce que l’on pratique.
Dans la continuité de ce travail, je me suis posé la question suivante : considérant la pratique sportive dans les départements,  peut-on remanier le territoire selon le sport pratiqué par les français et, ainsi, faire figurer, cote à cote, des départements où l’on pratique à peu près le même sport ?

Réalisation  d’un “leurre cartographique”

Intégration du fichier et remaniement du tableau

J’ai donc récupéré le fichier des licences sportives de 2013 depuis data.gouv.fr. C’est celui-ci qu’a également utilisé matamix.
Le fichier recense à la fois les sports olympiques et non olympiques. J’ai choisi de me concentrer seulement sur les sports olympiques.
Le fichier est au format long :

Le fichier des licences vu dans le logiciel RStudio

Nous n’extrayons que les sports olympiques (dont le code fédé commence par 1).
Il serait davantage intéressant de le convertir au format large. Nous aurions alors une colonne par pratique sportive. Hop, ça y est, on a notre fichier au format large :

Format large : une ligne par communes et les sports en colonnes

Il nous suffira juste d’agréger les valeurs pour avoir des stats départementales et non communales.

Des stats communales aux stats départementales


Remaniement spatial

Chaque département peut être positionné dans un espace de dimensions égales au type de sport. C’est comme si on était dans un graphique non pas avec deux axes abcisse et ordonnée, mais 31 axes correspondant aux 31 sports pratiqués.

exemple de 21 points dans un espace à 5 dimensions (♪ musique de X Files )

Ce qui signifie que dans cet espace à 31 dimensions, la distance entre chaque département donne une indication de leur similarité en terme de pratique sportive. Nous calculons la matrice de distance entre chaque département dans cet espace. Le résultat est un tableau de contingence avec la distance euclidienne entre tous les départements dans l’espace considéré.

matrice des distances (euclidiennes) entre départements selon les sports pratiqués

Et si nous essayions de ramener cet espace de 31 dimensions dans un espace de 2 dimensions X et Y, soit un espace représentable sous forme de carte ? Cela peut être accompli avec la technique de positionnement multidimensionnel qui affectera une position dans l’espace à chacun de nos départements en partant de la distance qui sépare chacun. Voici ce que cela donne :

Multi Dimensional Scaling

Si l’on colorie les points de ce graphique et la carte des départements en fonction de leur classe selon la méthode des k-moyennes, on obtient ça :

méthode des k-moyennes avec 5 classes selon la pratique sportive

Au positionnement géographique et aux caractéristiques topographiques des départements semblent répondre les classes des k-moyennes. On voit un groupe de départements violet, où prédominent les départements alpins. On voit un groupe vert au Nord comprenant au Sud la Gironde.

Pour investiguer plus largement la carte et quels sports sont majoritaires dans chaque classe, il aurait fallu faire une moyenne des licenciés par sport, par département et par classe. Nous n’avons pas réalisé ce calcul ici, mais on trouvera à la fin une heatmap qui pourra nous donner satisfaction..

Du nuage de points au faux relief

Pour faire une carte, cela peut amplement suffire..mais s’il s’agit de stimuler l’attention et l’imagination de celui qui lira la carte, il faudra sans doute un peu plus faire d’efforts. Pourquoi ne pas emprunter les codes usuels de la cartographie ?

Comme l’objectif est de partir d’un territoire pour arriver à un autre, complètement remanié selon des variables fournies en entrée, nous allons tenter de travestir ce modeste graphique X Y en carte, laissant penser que ce territoire existe vraiment.

Le premier “trick” consiste à transformer ce “nuage” de points en relief. Pour cela, on le convertit en carte de chaleur.

hitmap ! heu, une carte de densité ou de chaleur

Cette carte de chaleur fournit un ersatz de modèle numérique de terrain, auquel on affecte des codes couleur selon l’altitude, qui évoquent successivement la mer, le sable chaud, la montagne et ses forêts.

Des couleurs choisies avec soin métamorphosent une simple heatmap en archipel

De ce faux MNT, on dérive un ombrage :

De tout MNT et surface continue, on peut dériver un ombrage (hillshade)

On ajoute le relief, l’ombrage avec un peu de transparence, puis les noms de départements. Et voilà : on obtient une “fausse carte” :

(Cliquez pour voir en grand)

La heatmap de la pratique sportive

Si vous souhaitez confronter la carte avec les données sportives, voici une heatmap créée sous R et “designée” sous QGIS :

Une heatmap dont le rendu a été fait dans QGIS : si, si !
(cliquer pour voir en grand)

En fait, c’est un raster que j’ai polygonisé et dont j’ai fait le rendu sous QGIS. Comme quoi on peut tout à fait colorier des graphiques sous QGIS sur la base de données produites sous R. Cette heatmap utilise des données recentrées afin de pouvoir comparer des pratiques sportives minoritaires avec des plus généralisées. Ca pourrait valoir le coup que j’explique comment j’ai produit ça dans un prochain post.

On peut remarquer sur la carte des choses assez banales, et d’autres plus peu surprenantes :

  • Si les départements alpins, y compris ceux de Corse sont assez proches, Jura et Vosges, bien qu’étant aussi des départements montagneux, sont à part, de mêmes que  les Pyr. Orientales.
  • Val de Marne, Hauts de Seine, Seine Saint Denis sont aussi proches sur cette carte. Essonne, Yvelines et Val d’Oise sont pourtant tout à fait ailleurs. Paris est éloigné du reste.
  • La Seine-et-Marne partage le même îlot que l’Isère et la Gironde, et avec la heatmap, on voit que l’on y pratique l’aviron et la voile.
  • Le Nord et le Pas-de-Calais sont fans de hockey sur glace.

Je vous laisse le soin d’apporter vos propres observations…