
Les mathématiques donnent du relief aux images de la Terre
⏱ 7 min[vc_row][vc_column][vc_column_text]
Carlo de Franchis, Gabriele Facciolo, Enric Meinhardt-Llopis (CMLA, ENS Paris-Saclay)
Légende photo : La technique a aussi été mise à profit pour évaluer le relief de la comète Tchoury aux abords du robot Philae (situé dans la zone délimitée par l’ellipse rouge) pour prévoir son ensoleillement, donc son réveil.
Comment mesurer le relief automatiquement, précisément, et sur de grandes étendues ? C’est une des questions sur laquelle travaillent depuis quinze ans les chercheurs du groupe de traitement d’image du CMLA. Ce laboratoire de l’ENS Paris-Saclay utilise les principes et les techniques de la “recherche reproductible” : il met les mathématiques au service des autres disciplines scientifiques pour produire des méthodes de traitement de données massives à la fois simples, fiables et universelles. L’équipe comporte une trentaine de chercheurs dont quatre permanents.
Pourquoi mesurer le relief ? Pour de multiples applications qui vont de la cartographie à la gestion de crise lors de catastrophes naturelles en passant par la géologie, l’urbanisme, l’hydrologie, la glaciologie ou encore la défense. Pour observer régulièrement ainsi la Terre à grande échelle mais dans le détail, sans obstruction politique ou géographique, et à un coût modéré, c’est le satellite qui présente le meilleur compromis entre coût et précision.
C’est pour cette raison que de nombreux satellites d’observation ont été progressivement déployés en nombre. Ils ont la capacité de photographier le même endroit plusieurs fois de suite, en l’espace de quelques secondes, depuis des positions différentes. Les mesures reposent sur le principe de la vision stéréoscopique : la topographie du terrain est estimée numériquement par des algorithmes fusionnant plusieurs prises de vue obtenues depuis des positions différentes. C’est aussi le principe de notre perception visuelle du relief : en faisant la synthèse de nos deux images rétiniennes, notre cerveau détecte les subtils décalages des objets, ce qui nous permet de percevoir à quelle distance ils sont, du moins pour les plus proches.
Dans le cadre d’un projet commun dénommé MISS (Mathématiques pour l’Imagerie Stéréoscopique et Spatiale), le CMLA collabore depuis vingt ans sur ce sujet avec le CNES (Centre national d’études spatiales) pour équiper les satellites des meilleures technologies. L’équipe du CMLA a notamment développé des outils de vision stéréoscopique adaptés aux images fournies par Pléiades, le premier satellite d’observation de la Terre spécialement conçu pour la cartographie tridimensionnelle (3D). Lancé en 2011, ce satellite est capable de produire des paires ou des triplets d’images quasi-simultanées. Ces outils ont ensuite été adaptés aux autres satellites modernes de haute résolution tel que Worldview 3, lancé en 2014, dont la résolution au sol est de 30 cm, la meilleure actuelle pour les satellites civils.
Apporter une vision stéréoscopique aux satellites
Nos contributions ont conduit au développement (en collaboration avec le CNES) du logiciel libre S2P, un des principaux résultats de la thèse de Carlo de Franchis (2015). À partir de deux photographies prises par Pléiades ou un satellite équivalent, ce logiciel permet de calculer le relief de 400 km carrés de terrain avec une résolution de 50 cm par pixel en quelques minutes. Il est actuellement utilisé de façon routinière au CNES et dans plusieurs entreprises aéronautiques. À titre d’exemples, les figures 1 et 2 montrent la reconstruction en 3D de reliefs (ou modèles numériques d’élévation) : celui d’un quartier de Buenos Aires et celui d’une carrière d’extraction de pierre dans la région des Calanques de Marseille.[/vc_column_text][/vc_column][/vc_row][vc_row][vc_column][vc_empty_space][/vc_column][/vc_row][vc_row equal_height= »yes » content_placement= »bottom »][vc_column width= »1/2″][vc_single_image image= »11556″ img_size= »full »][/vc_column][vc_column width= »1/2″][vc_single_image image= »11446″ img_size= »full »][/vc_column][/vc_row][vc_row equal_height= »yes » content_placement= »top »][vc_column width= »1/2″ css= ».vc_custom_1498284535635{margin-top: 0px !important;border-top-width: 0px !important;padding-top: 0px !important;} »][vc_column_text]Entrée : images satellite de haute résolution[/vc_column_text][/vc_column][vc_column width= »1/2″][vc_column_text]Sortie : Modèle numérique de terrain (ici, montré en fausse couleur, sortie orientée à 45° de l’entrée)[/vc_column_text][/vc_column][/vc_row][vc_row][vc_column][vc_column_text]FIGURE 1 – Illustration de la chaîne stéréoscopique S2P, développée par le CMLA, et utilisée pour calculer des modèles numériques de terrain à partir d’images satellite. Regardez en particulier la tour de 20 m de hauteur qui apparaît au centre de l’image d’entrée, en blanc en haut à gauche sur le modèle 3D obtenu.[/vc_column_text][/vc_column][/vc_row][vc_row][vc_column][vc_empty_space][/vc_column][/vc_row][vc_row equal_height= »yes » content_placement= »bottom »][vc_column width= »1/3″][vc_single_image image= »11543″ img_size= »full »][/vc_column][vc_column width= »1/3″][vc_single_image image= »11448″ img_size= »full »][/vc_column][vc_column width= »1/3″][vc_single_image image= »11449″ img_size= »full »][/vc_column][/vc_row][vc_row][vc_column width= »1/3″][vc_column_text]Une des deux photographies du site prises par le satellite Pléiades-1A[/vc_column_text][/vc_column][vc_column width= »1/3″][vc_column_text]Modèle numérique de terrain estimé avec S2P[/vc_column_text][/vc_column][vc_column width= »1/3″][vc_column_text]Même modèle de terrain, où les points sont coloriés suivant leur altitude[/vc_column_text][/vc_column][/vc_row][vc_row][vc_column][vc_column_text]FIGURE 2 – Reconstruction 3D du relief d’une carrière d’extraction de pierre dans la région des Calanques de Marseille, à l’aide du logiciel S2P développé pendant la thèse de Carlo de Franchis.[/vc_column_text][/vc_column][/vc_row][vc_row][vc_column][vc_empty_space][/vc_column][/vc_row][vc_row][vc_column][vc_column_text]Afin d’assurer la reproductibilité des résultats obtenus, les algorithmes implémentés dans S2P sont publiés ou en cours de publication dans le journal Image Processing On Line (IPOL), accompagnés de descriptions et d’analyses détaillées, de codes sources documentés et de démonstrateurs en ligne.
Quelles sont les spécificités des images satellitaires ? Le problème de la reconstruction 3D à partir de plusieurs prises de vue est classique et très étudié, depuis plusieurs décennies, dans les recherches en vision par ordinateur et en photogrammétrie. Les vues d’une même scène à partir d’angles légèrement différents induisent de petits décalages dans les images qui dépendent de leur distance à la caméra. En utilisant le théorème de Thalès (qui déjà lui servait à faire des mesures topographiques), on déduit la distance des objets à la caméra, et donc leur relief.
Néanmoins les avancées dans ces domaines ne sont pas directement applicables à l’observation de la Terre depuis l’Espace car, du fait de leur mouvement permanent, les satellites utilisent des caméras spécifiques, dites « pousse-balai ». Ces caméras acquièrent les images ligne par ligne, au fur et à mesure que le satellite avance sur son orbite, à la manière d’un scanner. Résultat : on ne peut pas associer à une image une date d’acquisition et une position de la caméra, mais plutôt une plage temporelle et un ensemble de positions du satellite formant une courbe au-dessus du Globe. Ce modèle géométrique de caméra est bien plus complexe que celui des caméras grand public.
Pour résoudre ce problème, nous avons modélisé finement les caméras pousse-balai et utilisé une approximation de ce modèle géométrique valable sur des petits morceaux d’image. Notre modèle approché vérifie les hypothèses classiques des caméras terrestres. Cela nous a permis d’utiliser la théorie et les nombreux algorithmes développés en vision par ordinateur et photogrammétrie pour des caméras terrestres.
Dans S2P, nous les appliquons sur des petits morceaux d’images. Cette idée apparaît sur le diagramme de la Figure 3 : elle présente les principaux blocs algorithmiques composant la chaîne de traitements S2P. Pour l’étape de mise en correspondance stéréo (stereo matching), qui constitue le coeur du problème, tous les algorithmes mis au point en vision par ordinateur, photogrammétrie et robotique (SGM, PatchMatch, 3DMST, Graph Cuts, MC-CNN…) peuvent être utilisés.[/vc_column_text][/vc_column][/vc_row][vc_row][vc_column][vc_empty_space][/vc_column][/vc_row][vc_row content_text_aligment= »center »][vc_column][vc_single_image image= »11450″ img_size= »400×260″ alignment= »center »][vc_column_text]FIGURE 3 – Principales étapes de l’algorithme S2P. Les blocs verts désignent des opérations globales qui concernent les images entières, alors que les blocs roses indiquent des opérations locales effectuées parallèlement sur des petits morceaux d’image. Les blocs blancs indiquent les entrées et sorties.[/vc_column_text][/vc_column][/vc_row][vc_row][vc_column][vc_column_text]
De la Terre à la comète Tchoury
Le savoir-faire acquis nous a conduit à collaborer avec les équipes du Science Operation & Navigation Center (SONC) au CNES sur la mission Rosetta. Cette mission européenne d’exploration spatiale a fasciné le monde entier pendant plusieurs semaines en novembre 2014. Au cours de cette aventure spatiale inédite, le robot Philae, détaché de sa sonde mère Rosetta, devait atterrir sur la comète 67P/Tchourioumov-Guérassimenko (surnommée « Tchoury ») puis étudier la composition et la texture de la surface, afin de mieux comprendre le processus de formation des comètes. Mais l’atterrissage a été plus mouvementé que prévu : il a conduit Philae dans une crevasse ombragée privant ses panneaux solaires de l’énergie escomptée et l’obligeant à se mettre en veille une fois ses batteries épuisées.
Heureusement l’ensoleillement n’était pas tout à fait nul et laissait espérer un réveil pour le printemps 2015. Mais, pour prévoir précisément le moment du réveil, il était nécessaire d’estimer la quantité d’énergie reçue par le robot, c’est-à-dire son ensoleillement. Cette prévision était cruciale afin de positionner la sonde mère Rosetta à portée des antennes de Philae pour, le moment venu, ne pas manquer le signal du réveil du robot et parvenir à récupérer ses précieuses mesures. De quoi dépendait l’ensoleillement de Philae ? Essentiellement de la forme des rochers environnants lui faisant de l’ombre. Le problème se ramenait donc à estimer le relief de Tchoury au voisinage de Philae. Un problème de taille néanmoins ! Comment reconstruire le relief d’une comète située à 400 millions de kilomètres de la Terre ? Les seules données disponibles étaient une séquence de 10 photographies prises par la sonde Rosetta lors d’un survol rapproché. Cela nous a suffi pour évaluer le relief comme le montre la Figure 4. Nous ne saurons jamais si notre reconstruction 3D était correcte… Toujours est-il que Philae a fini par se réveiller et être entendu au moment prévu ![/vc_column_text][/vc_column][/vc_row][vc_row][vc_column][vc_empty_space][/vc_column][/vc_row][vc_row][vc_column width= »1/2″][vc_single_image image= »11435″ img_size= »full »][/vc_column][vc_column width= »1/2″][vc_single_image image= »11451″ img_size= »full »][/vc_column][/vc_row][vc_row][vc_column width= »1/2″][vc_column_text]Plan large de la comète Tchoury, pris par les caméras OSIRIS de la sonde Rosetta. Le site d’atterrissage final du robot Philae, baptisé Abydos, est situé à l’intérieur de l’ellipse rouge au premier plan en bas de l’image.[/vc_column_text][/vc_column][vc_column width= »1/2″][vc_column_text]Notre estimation du relief dans la région d’Abydos. Philae se trouve dans le creux cerclé de rouge au centre de cette vue. Sa position exacte a été confirmée par une prise de vue rapprochée en septembre 2016, juste avant l’atterrissage final de Rosetta sur la comète Tchoury.[/vc_column_text][/vc_column][/vc_row][vc_row][vc_column][vc_column_text]FIGURE 4 – Reconstruction 3D par stéréoscopie multi-vues du site d’atterrissage final du robot Philae sur la comète Tchoury. Le modèle numérique d’élévation présenté sur la figure de droite a été estimé à partir d’un jeu de 10 prises de vue de la caméra OSIRIS NAC.[/vc_column_text][/vc_column][/vc_row][vc_row][vc_column][vc_column_text]Autre succès de l’équipe de l’équipe de traitement d’images du CMLA : le challenge IARPA. Organisé fin 2016, ce concours portait sur l’estimation de modèles numériques d’élévation à partir de 50 images prises par le satellite Worldview 3 pendant 14 mois. Réaliser un modèle 3D à partir d’images non simultanées prises par satellite était un problème nouveau et difficile. Le concours était organisé par Topcoder, l’un des principaux organisateurs de compétitions algorithmiques. Divisé en deux phases (Explorer et Master) de difficulté croissante, il a attiré près de 700 inscrits du monde entier. Il décernait un ensemble de prix parmi les plus importants jamais proposés sur Topcoder pour un total de 100 000 dollars. L’évaluation de la performance consistait à combiner un score de précision (erreur moyenne du résultat obtenu par rapport à une vérité terrain) et un score de complétude (pourcentage de points où l’erreur est inférieure à un seuil donné), sur le meilleur résultat que le logiciel était capable de produire en 2h de calcul. Seuls 24 participants ont réussi à produire un résultat et seuls 10 d’entre eux ont obtenu un score supérieur au seuil requis pour être classé ! Notre solution multi-images et multi-dates basée sur S2P nous a permis de nous classer deuxième dans la phase exploratoire et de finalement remporter la phase finale. Ainsi, le logiciel S2P s’avère très efficace pour analyser automatiquement la masse considérable de données issues de satellites. Une masse qui devrait aller croissante.
Références
– Automatic 3D Reconstruction from Multi-Date Satellite Images. G. Facciolo, C. de Franchis, E. Meinhardt-Llopis – EarthVision/CVPR 2017.
– MGM: A Significantly More Global Matching for Stereovision. G. Facciolo, C. De Franchis, E. Meinhardt – British Machine Vision Conference, 2015
– Earth Observation and Stereo Vision. C. De Franchis – PhD. thesis 2015, ENS Cachan
– The IPOL initiative: Publishing and testing algorithms on line for reproducible research in image processing. N. Limare, J.-M. Morel – Procedia Computer Science, 2011
– Automatic digital surface model generation from Pléiades stereo images. C. de Franchis, E. Meinhardt-Llopis, J. Michel, J.-M. Morel, G. Facciolo – Revue Française de Photogrammétrie et de Télédétection, 2014
Ailleurs sur le web
Le CMLA Images remporte le concours IARPA 2016 et cartographie la Terre en 3D
Distribution du logiciel s2p[/vc_column_text][/vc_column][/vc_row]