Нейросети для видео

< Soft

RealVideoEnhancer

RealVideoEnhancer
Разработчик(и)	TNTwise
Первый выпуск	2023
Лицензия	AGPL-3.0
Сайт	github.com

RealVideoEnhancer — это нейросеть для улучшения видео, чем-то похожая на Topaz Video AI.

Установка

Ручная

1. Перейдите на страницу с релизами

https://github.com/TNTwise/REAL-Video-Enhancer/releases/

2. Из приложений скачайте REAL-Video-Enhancer-$ver-Linux-portable_$arch.zip

3. Распакуйте в каталог с правами исполнения

Flatpak

Для установки необходимо установить flatpak:

# apt-get install flatpak
# flatpak install flathub io.github.tntwise.REAL-Video-Enhancer

Работа с утилитой

Первый запуск

1. Запустите файл REAL-Video-Enhancer

2. Он скачает свои python ffmpeg

Скачивание

При первом запуске программа предложит скачать бэкенды и модели. После первого запуска вы сможете попасть в это меню кликнув на значок загрузки.

Бэкенды

При первом запуске программа предложит скачать бэкенды:

• Pytorch:
  • CUDA - Nvidia
  • ROCm - AMD
  • xpu - Intel
• NCNN Vulcan - все
• TensorRT - Nvidia RTX 20 Series

Модели

Так же при первом запуске программа предложит скачать модели.

Вы можете скачать все модели или скачать модели для установленных бэкендов.

Ошибки при скачивании моделей

При загрузке весь лог у вас будет сыпать строками:

WARNING: Retrying (Retry(total=1, connect=None, read=None, redirect=None, status=None)) after connection broken by 'NewConnectionError('<pip._vendor.urllib3.connection.HTTPSConnection object at 0x7fd0486b3980>:  Failed to establish a new connection: [Errno -3] Временный сбой в разрешении имен')': /whl/opencv-python-headless/

А под конец:

Collecting setuptools (from pbr>=1.8->testresources==2.0.1)
Using cached setuptools-80.9.0-py3-none-any.whl.metadata (6.6 kB)
Downloading testresources-2.0.1-py2.py3-none-any.whl (36 kB)
Downloading requests-2.32.3-py3-none-any.whl (64 kB)
Downloading opencv_python_headless-4.11.0.86-cp37-abi3-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (50.0 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 50.0/50.0 MB 11.4 MB/s eta 0:00:00
Downloading pypresence-4.3.0-py2.py3-none-any.whl (11 kB)
Downloading scenedetect-0.6.5.2-py3-none-any.whl (127 kB)
Downloading numpy-2.2.2-cp312-cp312-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (16.1 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 16.1/16.1 MB 11.4 MB/s eta 0:00:00
Downloading tqdm-4.67.1-py3-none-any.whl (78 kB)
Downloading typing_extensions-4.12.2-py3-none-any.whl (37 kB)
Downloading packaging-24.2-py3-none-any.whl (65 kB)
Downloading mpmath-1.3.0-py3-none-any.whl (536 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 536.2/536.2 kB 8.3 MB/s eta 0:00:00
Downloading pillow-11.1.0-cp312-cp312-manylinux_2_28_x86_64.whl (4.5 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 4.5/4.5 MB 11.1 MB/s eta 0:00:00
Downloading rife_ncnn_vulkan_python_tntwise-1.4.5-cp312-cp312-manylinux1_x86_64.whl (19.8 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 19.8/19.8 MB 9.4 MB/s eta 0:00:00
Downloading upscale_ncnn_py-1.2.0-cp312-none-manylinux1_x86_64.whl (4.4 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 4.4/4.4 MB 11.3 MB/s eta 0:00:00
Downloading ncnn-1.0.20240820-cp312-cp312-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (5.4 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 5.4/5.4 MB 10.6 MB/s eta 0:00:00
Downloading sympy-1.14.0-py3-none-any.whl (6.3 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 6.3/6.3 MB 11.3 MB/s eta 0:00:00
Downloading certifi-2025.8.3-py3-none-any.whl (161 kB)
Downloading charset_normalizer-3.4.3-cp312-cp312-manylinux2014_x86_64.manylinux_2_17_x86_64.manylinux_2_28_x86_64.whl (151 kB)
Downloading idna-3.10-py3-none-any.whl (70 kB)
Downloading pbr-7.0.0-py2.py3-none-any.whl (125 kB)
Downloading urllib3-2.5.0-py3-none-any.whl (129 kB)
Downloading click-8.2.1-py3-none-any.whl (102 kB)
Downloading opencv_python-4.12.0.88-cp37-abi3-manylinux2014_x86_64.manylinux_2_17_x86_64.whl (67.0 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 67.0/67.0 MB 10.9 MB/s eta 0:00:00
Downloading platformdirs-4.3.8-py3-none-any.whl (18 kB)
Downloading portalocker-3.2.0-py3-none-any.whl (22 kB)
Using cached setuptools-80.9.0-py3-none-any.whl (1.2 MB)
Installing collected packages: mpmath, urllib3, typing_extensions, tqdm, sympy, setuptools, pypresence, portalocker, platformdirs, pillow, packaging, numpy, idna, Click, charset-normalizer, certifi, scenedetect, rife-ncnn-vulkan-python-tntwise, requests, pbr, opencv-python-headless, opencv-python, upscale_ncnn_py, testresources, ncnn

Перезапуск приложения

Для применения изменений необходимо перезапустить программу.

Сравнение моделей

Сравнение моделей: Nomos8k против OpenProteus

Критерий	Nomos8k	OpenProteus
Основное назначение	Восстановление сжатых и "побитых" артефактами изображений из интернета.	Универсальная модель для реалистичных видео, дающая хорошую резкость и чистоту.
Сильные стороны	Отлично убирает артефакты сжатия (например, после JPEG), цифровой шум и дефекты. Специализируется на "лечении" картинки.	Высокая резкость, естественная картинка, хорошо подходит для большинства реалистичных сюжетов. Называется "быстрым и чистым" апскейлером.
Слабые стороны	Может давать немного размытый или неестественно гладкий результат, если исходник и так неплохого качества.	Может быть избыточным или неэффективным для специфических задач вроде восстановления сильно сжатых кадров.
Скорость работы	Быстрее. На NVIDIA RTX 4070 обработка 11-секундного ролика заняла ~7.4 секунды.	Медленнее. В том же тесте на той же карте время обработки составило ~12.5 секунд.
Типичные сценарии	Старые фильмы, видео с высоким уровнем шума, сильно сжатые ролики из мессенджеров, старые фотографии.	Современная видеосъемка, влог, видео с хорошим исходным качеством, где нужно просто добавить резкости.

Сравнение моделей: RealCUGAN, ESRGAN Plus и Real-ESRGAN

Критерий	Real-CUGAN	ESRGAN Plus (ESRGAN+)	Real-ESRGAN (для контекста)
Основное назначение	Специализированная модель для аниме и 2D-изображений, созданная для апскейла с сохранением стиля рисунка.	Улучшенная версия ESRGAN для фотореалистичных изображений, нацеленная на создание более естественных текстур.	Универсальная модель для реалистичных фото/видео, хорошо убирающая артефакты сжатия.
Сильные стороны	Отлично сохраняет текстуру и размытие фона (боке), не меняет стиль рисовки. Четче, чем waifu2x, но естественнее, чем Real-ESRGAN (Anime-версия).	Использует новый базовый блок (RRDRB) для большей емкости сети и добавляет шум на входе для более реалистичной стохастической вариативности (например, текстуры кожи).	Хорошо справляется с шумом и артефактами, давая чистую и резкую картинку.
Слабые стороны	Не подходит для реалистичных видео. Специализация только на аниме.	Может быть избыточной для простых задач. Добавление шума не всегда улучшает качество (например, на изображениях зданий).	Сильное увеличение может делать картинку неестественно гладкой.
Гибкость настроек	Очень высокая. Поддерживает разную кратность (2x, 3x, 4x) и множество уровней усиления (5 для 2x, 3 для 3x/4x) через параметр alpha.	Основной фокус — на качестве, а не на гибкости. Настройки, вероятно, стандартные для GAN-моделей.	Есть разные модели (для фото, для аниме), но обычно без тонкой регулировки "силы" эффекта.
Архитектура	Та же, что и у Waifu2x-CUNet (Cascade U-Nets), но обучена на миллионах высококачественных аниме-изображений.	Улучшенная версия RRDB (Residual-in-Residual Dense Block). Добавлен новый блок RRDRB с дополнительным уровнем residual learning.	Стандартная архитектура RRDB.

Настройки

В настройках вы можете выбрать:

• кодировщик видео
• контейнер видео
• качество видео
• кодировщик аудио
• битрейт аудио
• настройки рендера
• настройки RVE

Обработка видео

• Нажмите на кнопку с чипом

---

• Перейдите на вкладку "General"
• Выберите исходное видео кнопкой "Select Input File"
• Выберите бэкенд
• Отметьте параметры в Interpolate для увеличения частоты кадров
• Отметьте Decompress, чтобы убрать сжатие
• Отметьте Denoise, чтобы убрать шум или зернистость
• Отметьте Upscale для увеличения разрешения
• Нажмите "Add to Render Queue"

---

• Перейдите на вкладку "Render Queue"
• Нажмите внизу на кнопку "play"