低画質動画のアップスケールは、拡大を最後にやる
「動画が荒い」は複数の劣化をまとめた言い方で、直す順序が決まっている。先に拡大すると劣化まで一緒に拡大され、後から取れなくなる。
1. deinterlace 横縞・クシ状(古い TV / DVD)
2. アーティファクト除去 ブロック状(低ビットレート)
3. denoise 全体のザラつき(高感度撮影)
4. deblur ボケ・手ブレ
5. upscale ここでやっと拡大画像用アップスケーラを1フレームずつ掛けると、静止画は綺麗になるのにチラつく。フレームごとに別のディテールを生成するため。動画では時間軸を見るモデルを使う。
OSS なら SeedVR2(1ステップ拡散で公称 8GB VRAM から動く。短尺と圧縮の酷い素材向き)と FlashVSR(長尺の実写向き)。商用の Topaz Video AI が比較基準。人物は顔だけ CodeFormer で差し替えると効く。
ディテールは復元ではなく生成なので、顔や文字、ナンバープレートは別物になる。記録用途には使えない。上限は4倍程度。全尺を回す前に10秒で試す。