Créditos de código aberto
O ToHD é feito sobre trabalho de código aberto. Obrigado às pessoas por trás destes projetos.
Nosso motor de código aberto
O motor de melhoria com IA da ferramenta grátis é de código aberto: webgpu-video-upscaler no GitHub, com licença MIT. É o processo do navegador sozinho: o Mediabunny decodifica o vídeo, o ONNX Runtime Web roda o Real-ESRGAN na sua placa de vídeo pelo WebGPU, e o resultado é codificado em MP4 com o áudio original. Você pode ler o código para conferir que seu vídeo fica no seu computador, ou rodá-lo você mesmo. Como funciona o melhorador de vídeo de código aberto, com velocidades medidas.
websr
O modo Rápido usa o websr de Sam Bhattacharyya, com seus pesos CNN 2x para imagens reais, com licença MIT.
MIT License
Copyright (c) 2023 Sam Bhattacharyya
Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
Real-ESRGAN
A melhoria com IA e o processamento na nuvem usam modelos do Real-ESRGAN de Xintao Wang e colaboradores, publicados com licença BSD 3-Clause: realesr general x4v3 misturado com realesr general wdn x4v3 (intensidade de redução de ruído 0,75) para vídeo, e realesr animevideov3 para anime. Convertemos os pesos publicados para ONNX com cálculo fp16 para uma inferência mais rápida no navegador.
FlashVSR+
A restauração de vídeos antigos usa o FlashVSR+ de Ruchang Yao, Shi Guo, Junhao Zhuang, Tianfan Xue e colegas (Shanghai AI Lab, CUHK, Universidade Tsinghua), código e pesos do modelo com licença Apache 2.0, com seu núcleo de atenção em Triton e o FlashAttention (BSD 3-Clause). O FlashVSR+ é baseado no Wan2.1 da equipe Wan da Alibaba, Apache 2.0. Ele roda só nas nossas GPUs na nuvem.
DeepFilterNet
O removedor de ruído de fundo roda o DeepFilterNet 3 de Hendrik Schröter e colaboradores, com código e modelo sob licença MIT ou Apache 2.0 (à sua escolha). Compilamos o motor libDF para WebAssembly para o navegador e só mudamos os limites locais de SNR padrão para ficarem iguais aos da própria ferramenta de linha de comando dele.
The MIT License (MIT)
Copyright (c) 2021 Hendrik Schröter
Permission is hereby granted, free of charge, to any person obtaining a copy of
this software and associated documentation files (the "Software"), to deal in
the Software without restriction, including without limitation the rights to
use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of
the Software, and to permit persons to whom the Software is furnished to do so,
subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS
FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR
COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER
IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
RIFE
A interpolação de quadros usa o Practical-RIFE 4.22 lite de hzwer (Zhewei Huang) e colaboradores, código e pesos do modelo sob a licença MIT. Convertemos os pesos publicados para ONNX para rodar no navegador.
MIT License
Copyright (c) 2021 hzwer
Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:
The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE.
Vídeo e motor de IA
- Mediabunny de Vanilagy lê, decodifica, codifica e grava os arquivos de vídeo no seu navegador. Mozilla Public License 2.0; usamos sem modificações, e o código-fonte está disponível no link.
- ONNX Runtime Web da Microsoft roda o modelo de IA na sua placa de vídeo pelo WebGPU. Licença MIT.
Vídeos de exemplo
Os exemplos de antes e depois vêm de vídeos gratuitos do Pexels, que reduzimos e melhoramos nos nossos próprios testes:
- Woman with freckles de cottonbro studio
- Colorful neon signages de Alan W
- Close up of an orange cat de Ludovic Delot
- Children at a birthday party de Vlada Karpovich
- Close-up of a cat de Marc Espejo
- Girl drawing on a paper de Vlada Karpovich
- Street sign de Kelly
- Albanian Alps from the air de Sergey Guk
A amostra de restauração de vídeos antigos vem de SFP 186: Balkonauftritt der Royals mit Winston Churchill, a família real e Winston Churchill na sacada do Palácio de Buckingham no Dia da Vitória na Europa, 1945, filme colorido gravado para o Special Film Project 186 das Forças Aéreas do Exército dos EUA, em domínio público, via Wikimedia Commons.
A amostra Hi8 com som é um clipe de 10 segundos de Braunkohlebergbau bei Lauchhammer 1990, Hi8-Schwenk de Maximilian Schönherr, CC BY-SA 4.0, via Wikimedia Commons. O clipe restaurado é compartilhado com a mesma licença.
A amostra da formatura é um clipe de 12 segundos das Dyson Family Hi-8 Tapes no Internet Archive, CC0.
Amostra de remoção de ruído
A amostra da página do removedor de ruído é um trecho de 15 segundos de um vlog de viagem com uma gravação de tempestade misturada por baixo da voz, depois limpo pela ferramenta:
- 24 Hours in Shanghai: City Walk, Speaking Chinese, Local Food & Lamborghini de Grow with Ginny, CC BY 3.0, via Wikimedia Commons. Cortado em 15 segundos a partir de 4:10, recortado para tirar as legendas, reduzido e misturado com a gravação de tempestade abaixo.
- Storm Floris on Killiney Hill de Karlunun no Wikimedia Commons, CC0.
Fontes e ícones
- Geist e Geist Mono da Vercel, SIL Open Font License 1.1.
- Ícones Lucide, licença ISC.