[:fr]Compression sémantique d’écrans d’avion[:en]Semantic coding of cockpit screen content[:]

[:fr]

Reconnaissance et codage d’éléments graphiques dans des vidéos d’écran d’avion

Les écrans d’avion contiennent des informations graphiques comme l’altitude, la vitesse, ou encore des lignes ou des cercles. Si d’un côté ces informations sont très importantes pour le pilote, de l’autre elles sont “difficiles” à coder car elle n’ont pas les mêmes caractéristiques que les images “naturelles”, ce qui conduit à des forts artefacts de codage qui peuvent nuire à la lisibilité de ces informations.

Exemple d’écran d’avion. Le codage « standard » produit des artefacts sur le texte.

Dans cette activité de recherche on souhaite donc extraire d’une vidéo d’écran d’avion les informations graphiques telles que le texte, les lignes droites et les cercles, et les coder séparément de la partie visuelle. Dans l’exemple de la figure ci-dessus, on propose de coder le texte (13JAN2012 etc) et l’image de la mer séparément.

A ce fin plusieurs problèmes doivent être résolus :

  1. Détection du texte et reconnaissance de chaque caractère : un réseau convolutionnel est utilisé pour ces tâches
  2. Codage du texte en tant que tel et codage de l’image residuelle
  3. Prise en compte de l’évolution temporelle

Ce projet est au coeur de la thèse de notre doctorante Iulia Mitrica <iulia.mitrica@telecom-paristech.fr>

 

 [:en]

Recognition and coding of graphic elements in airplane screen videos

Aircraft screens contain graphical information such as altitude, speed, or lines or circles. If on the one hand this information is very important for the pilot, on the other hand it is « difficult » to code because it does not have the same characteristics as « natural » images, which leads to strong coding artifacts that may affect the readability of this information.

Example of cockpit screen content. The standard image coding introduces strong artifacts.

In this research activity we aim to extract graphical information such as text, lines and circles from an airplane screen video and code them separately from the « image » content. In the example of the figure above, we propose to code the text (13JAN2012 etc) and the image of the sea separately.

To this end, several problems must be solved:

  1. Text detection and recognition of each character: a convolutional network is used for these tasks
  2. Coding of the text as such and coding of the residual image
  3. Taking into account the evolution of time

This project is at the heart of the thesis of our doctoral student Iulia Mitrica

<iulia.mitrica@telecom-paristech.fr>

 

 [:]