Open-Source-Danksagungen
ToHD baut auf Open-Source-Arbeit auf. Danke an die Menschen hinter diesen Projekten.
Unsere Open-Source-Engine
Die Engine der KI-Verbesserung im kostenlosen Werkzeug ist Open Source: webgpu-video-upscaler auf GitHub, unter MIT-Lizenz. Es ist die Browser-Pipeline für sich: Mediabunny decodiert das Video, ONNX Runtime Web führt Real-ESRGAN über WebGPU auf Ihrer Grafikkarte aus, und das Ergebnis wird mit dem Originalton als MP4 codiert. Sie können den Code lesen, um zu prüfen, dass Ihr Video auf Ihrem Computer bleibt, oder ihn selbst ausführen. So funktioniert der Open-Source-Video-Upscaler, mit gemessenem Tempo.
websr
Der Schnellmodus nutzt websr von Sam Bhattacharyya mit seinen 2x-CNN-Gewichten für reale Bilder, unter MIT-Lizenz.
MIT License
Copyright (c) 2023 Sam Bhattacharyya
Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
Real-ESRGAN
Die KI-Verbesserung und die Cloud-Verarbeitung nutzen Modelle von Real-ESRGAN von Xintao Wang und Mitwirkenden, veröffentlicht unter der BSD-3-Clause-Lizenz: realesr general x4v3, gemischt mit realesr general wdn x4v3 (Entrauschungsstärke 0,75) für Video, und realesr animevideov3 für Anime. Wir haben die veröffentlichten Gewichte in ONNX mit fp16-Berechnung umgewandelt, für schnellere Inferenz im Browser.
FlashVSR+
Die Restaurierung alter Videos nutzt FlashVSR+ von Ruchang Yao, Shi Guo, Junhao Zhuang, Tianfan Xue und Kollegen (Shanghai AI Lab, CUHK, Tsinghua-Universität), Code und Modellgewichte unter Apache-2.0-Lizenz, mit seinem Attention-Kernel in Triton und FlashAttention (BSD 3-Clause). FlashVSR+ baut auf Wan2.1 des Wan-Teams von Alibaba auf, Apache 2.0. Es läuft nur auf unseren Cloud-GPUs.
DeepFilterNet
Der Rauschentferner führt DeepFilterNet 3 von Hendrik Schröter und Mitwirkenden aus, Code und Modell unter MIT- oder Apache-2.0-Lizenz (nach Wahl). Wir haben seine Engine libDF für den Browser zu WebAssembly kompiliert und nur die lokalen SNR-Standardschwellen an sein eigenes Kommandozeilenwerkzeug angepasst.
The MIT License (MIT)
Copyright (c) 2021 Hendrik Schröter
Permission is hereby granted, free of charge, to any person obtaining a copy of
this software and associated documentation files (the "Software"), to deal in
the Software without restriction, including without limitation the rights to
use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of
the Software, and to permit persons to whom the Software is furnished to do so,
subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS
FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR
COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER
IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
RIFE
Die Bildinterpolation nutzt Practical-RIFE 4.22 lite von hzwer (Zhewei Huang) und Mitwirkenden, Code und Modellgewichte unter der MIT-Lizenz. Wir haben die veröffentlichten Gewichte für den Browser nach ONNX konvertiert.
MIT License
Copyright (c) 2021 hzwer
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
Video und KI-Engine
- Mediabunny von Vanilagy liest, decodiert, codiert und schreibt die Videodateien in Ihrem Browser. Mozilla Public License 2.0; wir nutzen es unverändert, und sein Quellcode ist unter dem Link verfügbar.
- ONNX Runtime Web von Microsoft führt das KI-Modell über WebGPU auf Ihrer Grafikkarte aus. MIT-Lizenz.
Beispielvideos
Die Vorher-nachher-Beispiele stammen aus kostenlosen Videos von Pexels, die wir in unseren eigenen Tests verkleinert und verbessert haben:
- Woman with freckles von cottonbro studio
- Colorful neon signages von Alan W
- Close up of an orange cat von Ludovic Delot
- Children at a birthday party von Vlada Karpovich
- Close-up of a cat von Marc Espejo
- Girl drawing on a paper von Vlada Karpovich
- Street sign von Kelly
- Albanian Alps from the air von Sergey Guk
Das Beispiel für die Restaurierung alter Videos stammt aus SFP 186: Balkonauftritt der Royals mit Winston Churchill: die königliche Familie und Winston Churchill auf dem Balkon des Buckingham Palace am VE Day 1945, Farbfilm für das Special Film Project 186 der US Army Air Forces, gemeinfrei, über Wikimedia Commons.
Das Hi8-Beispiel mit Ton ist ein 10-Sekunden-Ausschnitt aus Braunkohlebergbau bei Lauchhammer 1990, Hi8-Schwenk von Maximilian Schönherr, CC BY-SA 4.0, über Wikimedia Commons. Der restaurierte Ausschnitt steht unter derselben Lizenz.
Das Beispiel der Abschlussfeier ist ein 12-Sekunden-Ausschnitt aus den Dyson Family Hi-8 Tapes im Internet Archive, CC0.
Beispiel für die Rauschentfernung
Das Beispiel auf der Seite des Rauschentferners ist ein 15-Sekunden-Clip aus einem Reisevlog, unter dessen Stimme eine Sturmaufnahme gemischt und der dann mit dem Werkzeug bereinigt wurde:
- 24 Hours in Shanghai: City Walk, Speaking Chinese, Local Food & Lamborghini von Grow with Ginny, CC BY 3.0, über Wikimedia Commons. Auf 15 Sekunden ab Minute 4:10 gekürzt, zugeschnitten, um die Untertitel zu entfernen, verkleinert und mit der Sturmaufnahme unten gemischt.
- Storm Floris on Killiney Hill von Karlunun auf Wikimedia Commons, CC0.
Schriften und Icons
- Geist und Geist Mono von Vercel, SIL Open Font License 1.1.
- Lucide-Icons, ISC-Lizenz.