Aller au contenu
FR
Menu

Un upscaler vidéo open source qui fonctionne dans votre navigateur

Le moteur d’IA de l’outil gratuit de ToHD est open source. webgpu-video-upscaler est un upscaler vidéo sous licence MIT qui fonctionne entièrement dans un onglet du navigateur : il décode votre vidéo, améliore chaque image avec Real-ESRGAN sur votre carte graphique via WebGPU, et écrit un MP4 avec le son d’origine. Rien à installer, et la vidéo n’est jamais envoyée. Vous pouvez l’essayer sur votre propre clip ou lire d’abord le code.

Comment fonctionne un upscaler vidéo IA local dans un onglet

Chaque image passe par cinq étapes, toutes dans l’onglet :

  1. Mediabunny décode l’image, qui est dessinée sur un canvas, ce qui applique aussi la rotation de la vidéo.
  2. Les pixels deviennent un tenseur pour le modèle.
  3. ONNX Runtime Web exécute Real-ESRGAN realesr-general-x4v3 sur l’image entière avec le backend WebGPU. Pas de découpage en tuiles : le modèle compact traite l’image entière en une passe.
  4. Le résultat ×4 est mis à la taille de sortie, par exemple 1080p.
  5. Mediabunny encode les images en H.264 et écrit un MP4, en copiant la piste audio telle quelle. Les longues vidéos sont écrites au fil de l’eau dans le stockage de fichiers privé du navigateur, donc le résultat ne reste pas en mémoire.

Comme le décodage et l’encodage n’ajoutent presque rien au temps du modèle, la vitesse mesurée sur quelques images prédit celle de toute la vidéo. L’outil gratuit s’en sert pour afficher le temps que prendra votre clip avant de commencer.

Vitesse mesurée

Sur une machine, un Apple M2 Max dans un navigateur basé sur Chromium le 8 novembre 2026, le modèle a pris :

Entrée Sortie fp16 fp32
360p 720p 206 ms par image 1 067–1 765 ms par image
360p 1080p 200 ms par image non mesuré
480p 1080p 360 ms par image non mesuré
720p 1080p 830–870 ms par image non mesuré

Depuis 360p, cela fait environ 3 minutes pour un clip de 30 secondes à 30 images par seconde. Le fp16 a donné la même image que le fp32 dans nos tests. Aucun autre appareil n’a encore été mesuré ; un portable à graphique intégré peut être plusieurs fois plus lent.

Ce qu’il corrige et ce qu’il ne corrige pas

Testé sur quatre clips libres de droits que nous avons réduits ou floutés, puis améliorés :

  • Basse résolution (de 360p ou 480p à 720p ou 1080p) : visiblement plus net. Le texte, les moustaches et les cils redeviennent des lignes nettes.
  • Légèrement flou : mieux sur les quatre clips.
  • De 720p à 1080p : un petit gain.
  • Forte compression : les blocs sont lissés, mais les détails perdus ne reviennent pas.
  • Flou de bougé : pas corrigé. Les traînées restent.

Les textures fines de la peau, comme les taches de rousseur, peuvent être lissées. Vous pouvez télécharger deux clips de test et leurs résultats pour juger par vous-même.

Ce que ToHD ajoute

Le dépôt open source contient seulement le traitement IA. Le site ToHD ajoute un mode Rapide pour les téléphones et les ordinateurs plus lents, un aperçu avant/après automatique avec des images de tout votre clip, un réglage Anime qui utilise realesr-animevideov3, la 4K gratuite sur ordinateur, et le traitement dans le cloud payant, plus rapide, qui accepte les lots et les vidéos de téléphone. Son réglage Vidéo utilise general-x4v3 avec l’intensité de débruitage du modèle à 0,75, une version un peu plus douce du modèle du dépôt. La liste complète des composants et des licences est sur la page des crédits.

Questions fréquentes

ToHD est-il open source ?

Le moteur d'IA, oui. Le traitement du navigateur qui lit, améliore et écrit votre vidéo est sur GitHub sous le nom webgpu-video-upscaler, sous licence MIT. Le site ToHD, son mode Rapide et le service payant dans le cloud ne sont pas open source.

Est-ce un upscaler vidéo local s'il fonctionne dans un navigateur ?

Oui. Le modèle tourne sur votre propre carte graphique via WebGPU, et la vidéo est lue et écrite dans l'onglet du navigateur. Rien n'est envoyé, donc il fonctionne comme un upscaler vidéo IA local, sans rien installer. Le code est public, vous pouvez donc le vérifier vous-même.

Comment se compare-t-il à Video2X ou à Real-ESRGAN sur ordinateur ?

Il utilise la même famille de modèles Real-ESRGAN, sans rien à installer et sans Python ni pilotes à configurer. Le compromis porte sur la vitesse et la taille. Une app de bureau peut utiliser des modèles plus gros ; ce moteur s'en tient à un modèle compact pour rester rapide dans un onglet. Le traitement du dépôt va jusqu'au 1080p, et le site ToHD s'appuie dessus pour faire de la 4K gratuitement sur ordinateur.

De quels navigateurs a-t-il besoin ?

D'un navigateur avec WebGPU, comme un Chrome ou un Edge récent sur ordinateur. Avec la fonction shader-f16, il exécute le modèle fp16 ; sans elle, le modèle fp32, qui était 5 à 8 fois plus lent dans notre test. Les téléphones et les puces graphiques intégrées des portables n'ont pas été mesurés avec ce moteur et devraient être bien plus lents.

Où est le code sur GitHub, et puis-je l'utiliser dans mon propre projet ?

Le code est sur github.com/flreey/webgpu-video-upscaler, et oui, vous pouvez l'utiliser sous licence MIT. Il tient en trois fichiers TypeScript avec deux dépendances, Mediabunny et ONNX Runtime Web. Les poids du modèle gardent leur propre licence BSD 3-Clause du projet Real-ESRGAN.