Créditos de código abierto
ToHD está hecho sobre trabajo de código abierto. Gracias a las personas detrás de estos proyectos.
Nuestro motor de código abierto
El motor de mejora con IA de la herramienta gratuita es de código abierto: webgpu-video-upscaler en GitHub, con licencia MIT. Es el proceso del navegador por sí solo: Mediabunny decodifica el video, ONNX Runtime Web ejecuta Real-ESRGAN en tu tarjeta gráfica a través de WebGPU, y el resultado se codifica en MP4 con el audio original. Puedes leer el código para comprobar que tu video se queda en tu computadora, o ejecutarlo tú mismo. Cómo funciona el mejorador de video de código abierto, con velocidades medidas.
websr
El modo Rápido usa websr de Sam Bhattacharyya, con sus pesos CNN 2x para imágenes reales, con licencia MIT.
MIT License
Copyright (c) 2023 Sam Bhattacharyya
Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
Real-ESRGAN
La mejora con IA y el procesamiento en la nube usan modelos de Real-ESRGAN de Xintao Wang y colaboradores, publicados con licencia BSD 3-Clause: realesr general x4v3 mezclado con realesr general wdn x4v3 (intensidad de reducción de ruido 0,75) para video, y realesr animevideov3 para anime. Convertimos los pesos publicados a ONNX con cálculo fp16 para una inferencia más rápida en el navegador.
FlashVSR+
La restauración de videos antiguos usa FlashVSR+ de Ruchang Yao, Shi Guo, Junhao Zhuang, Tianfan Xue y colegas (Shanghai AI Lab, CUHK, Universidad Tsinghua), código y pesos del modelo con licencia Apache 2.0, con su núcleo de atención en Triton y FlashAttention (BSD 3-Clause). FlashVSR+ se basa en Wan2.1 del equipo Wan de Alibaba, Apache 2.0. Solo se ejecuta en nuestras GPU en la nube.
DeepFilterNet
El eliminador de ruido de fondo ejecuta DeepFilterNet 3 de Hendrik Schröter y colaboradores, con código y modelo bajo licencia MIT o Apache 2.0 (a elegir). Compilamos su motor libDF a WebAssembly para el navegador y solo cambiamos los umbrales locales de SNR predeterminados para que coincidan con su propia herramienta de línea de comandos.
The MIT License (MIT)
Copyright (c) 2021 Hendrik Schröter
Permission is hereby granted, free of charge, to any person obtaining a copy of
this software and associated documentation files (the "Software"), to deal in
the Software without restriction, including without limitation the rights to
use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of
the Software, and to permit persons to whom the Software is furnished to do so,
subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS
FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR
COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER
IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
RIFE
La interpolación de fotogramas usa Practical-RIFE 4.22 lite de hzwer (Zhewei Huang) y colaboradores, código y pesos del modelo bajo la licencia MIT. Convertimos los pesos publicados a ONNX para ejecutarlos en el navegador.
MIT License
Copyright (c) 2021 hzwer
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
Video y motor de IA
- Mediabunny de Vanilagy lee, decodifica, codifica y escribe los archivos de video en tu navegador. Mozilla Public License 2.0; lo usamos sin modificar, y su código fuente está disponible en el enlace.
- ONNX Runtime Web de Microsoft ejecuta el modelo de IA en tu tarjeta gráfica a través de WebGPU. Licencia MIT.
Videos de muestra
Los ejemplos de antes y después salen de videos gratuitos de Pexels, que redujimos y mejoramos en nuestras propias pruebas:
- Woman with freckles de cottonbro studio
- Colorful neon signages de Alan W
- Close up of an orange cat de Ludovic Delot
- Children at a birthday party de Vlada Karpovich
- Close-up of a cat de Marc Espejo
- Girl drawing on a paper de Vlada Karpovich
- Street sign de Kelly
- Albanian Alps from the air de Sergey Guk
La muestra de restauración de videos antiguos viene de SFP 186: Balkonauftritt der Royals mit Winston Churchill, la familia real y Winston Churchill en el balcón del palacio de Buckingham el Día de la Victoria en Europa, 1945, película en color rodada para el Special Film Project 186 de las Fuerzas Aéreas del Ejército de EE. UU., de dominio público, vía Wikimedia Commons.
La muestra Hi8 con sonido es un clip de 10 segundos de Braunkohlebergbau bei Lauchhammer 1990, Hi8-Schwenk de Maximilian Schönherr, CC BY-SA 4.0, vía Wikimedia Commons. El clip restaurado se comparte con la misma licencia.
La muestra de la graduación es un clip de 12 segundos de las Dyson Family Hi-8 Tapes en Internet Archive, CC0.
Muestra de eliminación de ruido
La muestra de la página del eliminador de ruido es un clip de 15 segundos de un vlog de viaje con una grabación de tormenta mezclada bajo la voz, y luego limpiado con la herramienta:
- 24 Hours in Shanghai: City Walk, Speaking Chinese, Local Food & Lamborghini de Grow with Ginny, CC BY 3.0, vía Wikimedia Commons. Recortado a 15 segundos desde el minuto 4:10, recortado para quitar los subtítulos, reducido y mezclado con la grabación de tormenta de abajo.
- Storm Floris on Killiney Hill de Karlunun en Wikimedia Commons, CC0.
Fuentes e iconos
- Geist y Geist Mono de Vercel, SIL Open Font License 1.1.
- Iconos Lucide, licencia ISC.