Coloriser un film N&B avec une palette : guider le CNN par les couleurs saillantes
Les CNN colorisent très bien les ciels, les feuillages et les visages — parce que ces objets ont des couleurs mémorables apprises sur de larges datasets. Mais ils peignent toutes les voitures de sport en rouge. Mon idée : donner au réseau une palette des couleurs saillantes de la scène, calculée une seule fois pour une collection d'images entière.
Les biais qu’un CNN apprend des images couleur
Le biais des couleurs mémorables : un CNN colorisation entraîné sur ImageNet associe « voiture de sport » à « rouge » parce que la majorité des photos d'entraînement le sont. Pour une voiture jaune ou verte dans un film N&B, c'est un échec systématique — le réseau retombe sur sa moyenne statistique.
Le coût des scribbles manuels : les méthodes interactives classiques (Levin et al. 2004, scribble-based) demandent à l'utilisateur de dessiner des taches de couleur sur chaque frame. Pour un film de 90 minutes à 24 fps, c'est de l'ordre de la centaine de milliers de frames. Inviable.
La question : peut-on guider le réseau avec un signal global au lieu d'un signal par pixel, et obtenir des résultats fidèles tout en restant automatisé ?
De la scène N&B à la frame colorisée
Palette globale + réseau pré-entraîné
L'idée centrale : injecter au CNN une palette de couleurs saillantes comme entrée additionnelle, sans modifier l'architecture du colorisateur. Plug-and-play sur n'importe quel modèle pré-entraîné.
- Calcul de la palette : on identifie les couleurs représentatives d'une scène (ou d'un film entier) à partir d'images de référence couleur — peintures, photos contemporaines, story-boards.
- Critère « saillant » vs « mémorable » : la palette privilégie les couleurs spécifiques à la scène (la voiture jaune, le pull rouge du héros), et ignore celles que le réseau infère déjà bien (bleu du ciel, vert des feuillages).
- Injection dans le CNN : la palette est concaténée à l'image N&B en entrée. Le réseau pré-entraîné apprend à exploiter cet indice global comme contrainte douce sur ses prédictions de couleur.
- Pas de ré-entraînement complet : on ajoute juste la couche d'injection et un fine-tuning léger. Tout le savoir du colorisateur d'origine est conservé.
Ce que la palette change
Adapté à la colorisation vidéo
Une palette suffit pour des centaines de frames cohérentes — fini les scribbles par frame. Le coût d'annotation chute de l'ordre du film entier à l'ordre de la scène.
Cohérence temporelle gratuite
Comme la palette est partagée entre frames d'une même scène, les transitions sont stables : pas de saute de couleurs entre frames consécutives, contrairement aux méthodes frame-par-frame.
Compatible avec les modèles open-source
Testé avec les implémentations publiques de référence (Zhang/Isola/Efros, Iizuka/Simo-Serra/Ishikawa). Pas de modèle propriétaire requis.
Couleurs hors-stat conservées
Les objets « atypiques » (voiture jaune, vêtement vert) reçoivent leur vraie couleur via la palette, au lieu de retomber sur la moyenne du dataset d'entraînement.
Ce que cette publication apporte
- Distinction conceptuelle entre couleurs mémorables (déjà bien colorisées par le réseau) et saillantes (qu'il faut signaler). Ce n'est pas anodin : c'est ce qui rend la palette utile et pas redondante avec ce que le réseau sait déjà faire.
- Approche plug-and-play : pas besoin de ré-entraîner un colorisateur depuis zéro. On augmente un modèle pré-entraîné avec un hint global qui se branche en entrée.
- Pavé la voie vers IPAS 2020 (la publication suivante), qui combine palette globale + scribbles localisés pour les cas extrêmes (drapeaux, monuments).
- Coût pratique réduit pour la restauration de films d'archives : passe d'un travail de scribble par frame à un travail de définition de palette par scène.
Conférence & contexte
- Publié à IEEE MCNA 2020 (International Conference on Multimedia Computing, Networking and Applications).
- Travail mené pendant mon Master Recherche, MIA Laboratory · Université de La Rochelle.
- Mots-clés : CNN, colorization, colour palette, movie colorization, interactive colorization.