Archives de catégorie : Compression

[:fr]Notre article sur l’estimation de la qualité des images compressées avec les techniques basées sur l’apprentissage profond a été accepté dans la conférence IEEE Multimedia Signal Processing 2018 (MMSP) [1].

Dans cet article nous utilisons 2 parmi les plus récentes méthodes de compression basées sur le DL, développées respectivement par Ballé et al. [2] et par Toderici et al. [3]. Les images compressés avec ces méthodes ont été évaluées par un panel d’une vingtaine de personnes. Nous avons également considéré des images compressées avec des techniques « classiques » (HEVC-INTRA (BPG) et JPEG2000). Nous avons trouvé que la qualité subjective est souvent meilleure que JPEG2000, et en tout cas très proche. Par contre BPG a encore des meilleurs résultats en moyenne, même si sur certaines images la méthode [3] est la meilleure.

RDV sur [1] pour plus de détails! (Le PDF de cet article sera prochainement disponible).

[1] G. Valenzise, A. Purica, V. Hulusic, M. Cagnazzo. « Quality Assessment of Deep-Learning-Based Image Compression ». To appear in IEEE Multimedia Signal Processing Workshop, 2018.

[2] J. Ballé, V. Laparra, and E. P. Simoncelli, “End-to-end optimized image compression,” in Int. Conf. on Learning Representations (ICLR), Toulon, France, Apr. 2017.

[3] G. Toderici, D. Vincent, N. Johnston, S. J. Hwang, D. Minnen, J. Shor, and M. Covell, “Full resolution image compression with recurrent neural networks,” in IEEE Int. Conf. on Computer Vision and Pattern Recognition (CVPR), Honolulu, Hawaii, USA, Jul. 2017, pp. 5435–5443.[:en]

Our article on quality assessment of compressed images with deep learning techniques has been accepted in the IEEE Multimedia Signal Processing 2018 (MMSP) conference [1].

In this article we use two of the most recent compression methods based on DL, developed respectively by Ballé et al. [2] and by Toderici et al. [3]. The images compressed with these methods were evaluated by a panel of around twenty people. We also considered images compressed with « classical » techniques (HEVC-INTRA (BPG) and JPEG2000). We found that the subjective quality is often better than JPEG2000, and in any case very close. On the other hand, BPG still has better results on average, even if on certain images the method [3] is the best one.

RDV on [1] for more details! (The PDF of this article will be available soon).

[1] G. Valenzise, A. Purica, V. Hulusic, M. Cagnazzo. « Quality Assessment of Deep-Learning-Based Image Compression ». To appear in IEEE Multimedia Signal Processing Workshop, 2018.

[2] J. Ballé, V. Laparra, and E. P. Simoncelli, « End-to-end optimized image compression, » in Int. Conf. on Learning Representations (ICLR), Toulon, France, Apr. 2017.

[3] Toderici G., Vincent D., Johnston N., Hwang S., Minnen D, Shor J., Covell M., « Full resolution image compression with recurrent neural networks, » in IEEE Int. Conf. on Computer Vision and Pattern Recognition (CVPR), Honolulu, Hawaii, USA, Jul. 2017, pp. 5435-5443.

[:it]Il nostro articolo sulla stima della qualità delle immagini compresse con tecniche di deep learning è stato accettato nella conferenza IEEE Multimedia Signal Processing 2018 (MMSP) [1].

In questo articolo utilizziamo due dei più recenti metodi di compressione basati su DL sviluppati rispettivamente da Ballé et al. [2] e di Toderici et al. [3]. Le immagini compresse con questi metodi sono state valutate da un panel di circa venti persone. Abbiamo anche considerato immagini compresse con tecniche « classiche » (HEVC-INTRA (BPG) e JPEG2000). Abbiamo riscontrato che la qualità soggettiva è spesso migliore di JPEG2000 e, in ogni caso, molto vicina ad essa. D’altra parte BPG ha ancora risultati migliori in media, anche se su determinate immagini il metodo [3] è il migliore.

RDV su [1] per maggiori dettagli! (Il PDF di questo articolo sarà presto disponibile).

[1] G. Valenzise, A. Purica, V. Hulusic, M. Cagnazzo. « Valutazione della qualità della compressione dell’immagine basata sull’apprendimento profondo ». Per apparire in IEEE Multimedia Signal Workshop, 2018.

[2] J. Ballé, V. Laparra ed E. P. Simoncelli, « compressione dell’immagine ottimizzata end-to-end », in Int. Conf. sulle rappresentazioni di apprendimento (ICLR), Tolone, Francia, aprile 2017.

[3] Toderici G., Vincent D., Johnston N., Hwang S., Minnen D, Shor J., Covell M., « Compressione dell’immagine a piena risoluzione con reti neurali ricorrenti », in IEEE Int. Conf. su Computer Vision e Pattern Recognition (CVPR), Honolulu, Hawaii, USA, lug. 2017, pp. 5435-5443.[:]

Compression, Deep learning, Machine learning

[:fr]Nouveau groupe de travail sur apprentissage par ordinateur et compression[:en]Working group on machine learning for compression [:it]Gruppo di studio su machine learning e compressione[:]

27/02/2018 Marco Cagnazzo

[:fr]Nous avons lancé un nouveau groupe de travail sur l’utilisation des techniques d’intelligence artificielle (apprentissage par ordinateur, apprentissage profond) dans le domaine de la compression d’images et vidéo.

Ici le site: https://mlcompr.wp.imt.fr/[:en]We started a working group about using machine learning and deep learning techniques for compression problem, check it out here!

[:it]Abbiamo cominciato le riunioni di un nuovo gruppo di studio e ricerca sulle applicazioni di machine learning e deep learning in compression, qui il sito del gruppo.

[:]

3D Vidéo, Allocation de débit, Compression, Conférence, SoftCast

[:fr]Articles acceptés IEEE ICIP[:en]Articles accepted in IEEE ICIP[:it]Articoli accettati alla conferenza ICIP[:]

06/05/2016 Marco Cagnazzo

[:fr]Trois nouveaux articles ont été acceptés dans la conférence IEEE International Conference on Image Processing http://2016.ieeeicip.org/

Le premier article porte sur le codage des cartes de profondeur par segmentation. Il est le résultat du travail de notre doctorant M. Calemme (co-encadré avec B. Pesquet-Popescu) en collaboration avec P. Zanuttigh et S. Milani du laboratoire LTTM de l’université de Padoue (Italie). Un aperçu de l’article est disponible sur le site du LTTM.

Le deuxième est basé sur le travail de notre doctorant N. Fiengo (co-encadré avec B. Pesquet-Popescu) sur l’allocation de débit pour le codage vidéo avec HEVC-MV.

Le troisième (premier auteur, S. Zheng, coencadré avec M. Kieffer) porte sur la transmission robuste de la vidéo, par un schéma basé sur SoftCast et par allocation de puissance.[:en]Three articles have been accepted in IEEE ICIP

Depth map video coding using segmented maps (collaboration with Univ. of Padova, Italy). The first results are available here.
Rate allocation for HEVC-MV
SoftCast based power allocation scheme

[:it]Tre articoli sono stati accettati alla conferenza ICIP

Codifica di mappe di profondità con segmentazione. I primi risultati sono disponibili Un aperçu de l’article est disponible sul sito del laboratorio LTTM dell’università di Padova, nostro partner in questo lavoro.
Allocazione di tasso in HEVC-MC
Allocazione di potenza con SoftCast

[:]

Brevet, Compression, Transcodage

[:fr]Article sur le transcodage vidéo accepté [:en]Article on AVC-to-HEVC transcoding accepted[:]

07/04/2016 Marco Cagnazzo

[:fr]Notre article sur le transcodage vidéo H.264 vers HEVC a été accepté dans la revue Springer Multimedia Tools and Applications.

Avec Elie Mora et Frédéric Dufaux, nous avons proposé une méthode de transcodage rapide, qui permet de représenter un flux vidéo H.264 dans la nouvelle et plus performante norme HEVC. Par rapport à un transcodeur « classique », qui effectue un décodage H.264 complet et un nouveau encodage HEVC complet (« Full decode-full encode », FD-FE) la technique proposé permet de réduire le temps de calcul en limitant la profondeur de l’arbre quaternaire de décomposition d’image utilisé dans HEVC, sans nuire à la qualité de l’image décodée. Par rapport à la référence FD-FE, nous avons mesuré un facteur d’accélération moyen de 2.7x avec une augmentation de débit (pour la même qualité) de seulement 1.4% (mesuré avec les métriques de Bjontegaard), en configuration Random Access sur les séquences de test de MPEG préconisées pour cette configuration (classes A, B, C, D, et F). En configuration Low-Delay-P, nous avons un speed-up de 2.3x avec une augmentation de débit de 3.7%. En cohérence avec les recommandations MPEG, cette configuration a été testée sur les classes B, C, D, E et F.

Ces résultats sont meilleurs que l’état de l’art et la méthode proposée fait également objet d’un brevet déposé avant la soumission de l’article.

L’article sera bientôt disponible sur le site de la revue MTAP. http://www.springer.com/-/2/AVQmUlOE2brxj7RS2ZBN
[:en]Our article on AVC-to-HEVC transcoding has been accepted into the Springer Multimedia Tools ans Application Journal.

Together with Elie Mora and Frédéric Dufaux, we propose in this paper a method to reduce the complexity of the transcoding from the AVC format to the HEVC format. With respect to the reference « full decode-full encode » (FD-FE) technique, we reduce the depth of the HEVC quad-tree coding structure, based on the motion information retrieved from the AVC stream. In this way, we do not need to explore the full HEVC quad-tree, with a remarkable complexity reduction. We bet on the fact that our criterion would make the same choice as a full tree exploration.

Experiments confirm that the proposed technique is almost three times faster than the reference FD-FE (2.72x in the RA configuration, computed on all the sequences of the MPEG data set for RA), with a very small rate increase – 1.4% in average – for the same quality. These results are better than the state of the art.

A patent is pending on this technology.

The article is available on the journal web site:
http://www.springer.com/-/2/AVQmUlOE2brxj7RS2ZBN

[:]

3D Vidéo, Compression, Publication

[:fr]Article accepté dans IEEE Transactions on Image Processing[:en]Article accepted in IEEE Transactions on Image Processing[:it]Articolo accettato in IEEE Transactions on Image Processing[:]

26/01/2016 Marco Cagnazzo

[:fr]Notre article « Reference view selection in DIBR-based multiview coding » vient d’être accepté dans la revue IEEE Transactions on Image Processing.[:en]Our article « Reference view selection in DIBR-based multiview coding » has been accepted in IEEE Transactions on Image Processing.[:it]Il nostro articolo « Reference view selection in DIBR-based multiview coding » è stato accettato in IEEE Transactions on Image Processing.[:]

Compression, Nouveau, Poste, Thèse, Vidéo

[:fr]Thèse CIFRE : compression de vidéos d’écran d’avion[:en]PhD Thesis: compression of avionics screen content[:it]Borsa di dottorato: compressione di schermate d’aereo[:]

21/10/2015 Marco Cagnazzo Laisser un commentaire

[:fr]Candidature :

http://www.adum.fr/as/ed/voirproposition.pl?site=PSaclay&matricule_prop=9954

Dans le cadre du développement des produits aéronautiques, la société Zodiac développe des solutions d’acquisition et de traitement vidéo en environnement à fortes contraintes. Cette thèse s’inscrit dans une démarche de recherche pour l’amélioration de leurs systèmes de visualisation.
Les informations sur les écrans avioniques présentent des caractéristiques spécifiques, notamment des informations textuelles et graphiques qui ne doivent pas être altérées par la compression. Or, la plupart des systèmes de compression très bas débit conduisent à des artefacts importants notamment au niveau des contours, qui rendraient inutilisables ces données. La compression de ce type de données pose donc des défis supplémentaires par rapport à la compression de vidéos classiques (aussi dites, naturelles). Des avancées ont été faites avec les extensions Screen Content de HEVC, mais il y a de la marge pour des gains importants.

Approche proposée et méthodologie

L’approche proposée vise à prendre en compte au niveau du codeur les spécificités des vidéos écrans d’avion, avec un codage adaptif, sémantique et par apprentissage.

Nous envisageons de reconnaitre les parties différentes de l’image à coder : texte, graphiques, niveaux des indicateurs, éventuellement images de fond, et adopter donc un codage adaptif. En particulier, pour le texte et les éléments graphiques un codage sémantique est envisagé : le texte sera donc reconnu et codé en tant que tel, plutôt que comme un ensemble de pixels. Cela permettra une représentation sans pertes de cette information capitale. Par contre, les éléments les moins importants de l’image au niveau sémantique pourront être codés avec une technique « lossy », c’est-à-dire, avec perte d’information. Le débit épargné sur les parties moins importantes de la vidéo pourra être utilisé pour coder parfaitement les parties sensibles.

Une phase d’apprentissage et classification est également envisagée. Le codeur reconnait le « type » d’écran d’avion qu’il a à coder, et y recherche les informations sensibles en conséquence. Les travaux préliminaires ont montré que la connaissance de la position de quelques lettres dans l’écran permet d’effectuer une classification très fiable du type d’écran. La classification à son tour permet de raffiner la reconnaissance du texte : si quelques lettres étaient perdues dans la première étape de reconnaissance, une fois que l’écran ait été correctement classifié à l’aide des lettres reconnues, il sera possible de lancer une nouvelle reconnaissance de texte adaptée aux informations a priori sur le type d’écran (par exemple, on s’attend d’avoir du texte dans certaines positions spécifiques, même si pas tout le texte a été retrouvé lors de la première itération).

La classification joue donc un rôle majeur dans l’approche envisagée. Il s’agit d’une classification multi-classe, pour laquelle nous avons récemment développé une méthode originale de type Support Vector Machine (SVM) [2], qui présente des performances intéressantes notamment pour les problèmes présentant un nombre réduit d’exemples d’entrainement. L’enjeu consiste ici d’intégrer les critères de classification lors de la phase de compression directement, en combinant ces critères avec les approches classiques débit-distorsion.

Candidature :

http://www.adum.fr/as/ed/voirproposition.pl?site=PSaclay&matricule_prop=9954

Références bibliographiques

[1] Sullivan, G. J., Ohm, J. R., Han, W. J., & Wiegand, T. (2012). Overview of the high efficiency video coding (HEVC) standard. IEEE Transactions on Circuits and Systems for Video Technology, vol. 22, no. 12, pp. 1649-1668.

[2] G. Chierchia, N. Pustelnik, JC Pesquet, B. Pesquet-Popescu, « A Proximal Approach for Sparse Multiclass SVM », submitted to the « Journal of Machine Learning Research », February 2015[:en]The airplane screens have a very specific video content, where text and graph are superposed to images or to a uniform background.

Compressing this kind of data requires adapted techniques, since the most important information (text, graph) is usually degraded by traditional, transform-based video compression techniques.

We want to investigate the use of classification, segmentation and inpainting to recognize the most relevant information and encode it with appropriate methods.

The PhD student will work at both Telecom-ParisTech and Zodiac Aerospace

APPLY HERE:

http://www.adum.fr/as/ed/voirproposition.pl?site=PSaclay&matricule_prop=9954[:it]Per la candidatura vedere qui:

http://www.adum.fr/as/ed/voirproposition.pl?site=PSaclay&matricule_prop=9954[:]

3D Vidéo, Compression, Conférence, Recherche

[:fr]Article QoMEX accepté [:en]QoMEX article accepted[:it]Articolo QoMEX accettato[:]

15/04/2015 Marco Cagnazzo

[:fr]Notre article sur la compression des cartes de profondeur par interpolation élastique des contours a été accepté dans la conférence QoMEX 2015.

[:en]

Our article about depth map compression by elastic interpolation of contours has been accepted into QoMEX 2015.

[:it]

Il nostro articolo sulla compressione delle mappe di profondità tramite deformazione elastica dei contorni è stato accettato in QoMEX 2015.

[:]

Compression, Conférence, Recherche, Vidéo

[:fr]Sequences vidéo décodées pour ICIP’15[:en]Decoded sequences for our ICIP’15 submission[:it]Sequenze video decodificate per ICIP’15[:]

28/01/2015 Marco Cagnazzo

[:fr]Les séquences vidéo pour notre soumission à ICIP’15 sont disponibles ici. Attention, chaque fichier fait environ 300 Mo.

Reference method	Proposed method
Four People	Four People
Johnny	Johnny
Kirsten and Sarah	Kirsten and Sarah

Les séquences ont été codées avec la méthode de référence et une nouvelle méthode (« proposed method »). Après simulation de transmission et décodage, les séquences disponibles ici montrent la supériorité de l’approche que nous avons introduit.[:en]The decoded video sequences for our submission to ICIP’15 are available here. Each file is about 300MB.

Reference method	Proposed method
Four People	Four People
Johnny	Johnny
Kirsten and Sarah	Kirsten and Sarah

The use case is the following. The three HEVC class-E sequences (Four_People, Johnny, Kirsten_and_Sarah) have been encoded with the proposed method (our ICIP’15 submission) and the standard HEVC encoder (HM13). Then we simulated transmission on a lossy channel, using a Gilbert-Elliot model. Finally, we decoded the received packets, employing a simple error concealement technique. These videos show the superiority of the proposed scheme with respect to the reference.[:it]

Le sequenze video relative al nostro articolo sottomesso a ICIP’15 sono disponibili qui (dimensione dei file: circa 300MB ciascuno).

Reference method	Proposed method
Four People	Four People
Johnny	Johnny
Kirsten and Sarah	Kirsten and Sarah

[:]

3D Vidéo, Compression, Publication

[:fr]Articles sur la synthèse d’images dans la vidéo multi-vues[:en]Articles on image synthesis[:it]Articoli sulla sintesi d’immagini[:]

11/01/2015 Marco Cagnazzo

[:fr]Deux articles (un article de journal, IEEE TCSVT, et un de conférence, ICASSP 2015) portant sur la synthèse de points de vue virtuels dans le cadre du codage vidéo multi-vues ont été acceptés.

Bravo à Andrei et Elie ! Merci également à Béatrice et Bogdan dont la collaboration a été extrêmement précieuse pour la réussite des articles.

L’idée de base consiste à utiliser conjointement l’estimation de mouvement (flux optique) et de disparité pour générer des points de vue virtuels de la meilleure qualité. En choisissant judicieusement quelles images doivent être codées et quelles peuvent être synthétisées, on obtient des gains de codages surtout à faible-moyen débit.

[:en]

A journal and a conference paper about virtual viewpoint synthesis were recently accepted.

[:]

3D Vidéo, Compression, Publication, Recherche

[:fr]Article sur le codage des contours[:en]Lossless contour coding: article accepted[:it]Articolo sulla codifica senza perdite dei contorni[:]

18/12/2014 Marco Cagnazzo

[:fr]L’article sur le codage des contours avec déformation élastique des courbes a été accepté dans la revue APSIPA Transactions on Signal and Information Processing.
Félicitations au premier auteur, notre doctorant Marco Calemme.[:en]

Our article on lossless contour coding has been accepted in APSIPA Transaction in Signal and Information Processing. Congratulations to the first author, our PhD student Marco Calemme.