ハイクオリティな画像を生成できるStable Diffusionですが、現在の弱点の一つとして大きな画像が生成できないというのが挙げられるかと思います。（環境によると思いますが・・・）
今回はこの弱点を克服すべく、「Real-ESRGAN」を利用してアップスケーリングしてみたいと思います
Real-ESRGANとは
https://github.com/xinntao/Real-ESRGAN
ざっくり見たところ、機械学習の力を利用してきれいに画像をアップスケールすることができるようです。紹介ページを見る限り、アニメも写真もきれいにアップスケーリングされていますね。
利用方法も複数準備されていて
・GUI版
・実行可能ファイル版
・Pythonスクリプト版
が準備されています。
一番お手軽なのはGUI版で、以下で配布されています
https://github.com/tsukumijima/Real-ESRGAN-GUI
自分の環境では、Macで実行時、警告が表示されて実行されなかったため、実行可能ファイル版で利用方法を紹介していきます
Portable Execute版を取得する
https://github.com/xinntao/Real-ESRGAN#portable-executable-files-ncnn
こちらからダウンロードできます。
Windows版、 Mac版、Linux版が準備されているのでご自身の環境にあったファイルをダウンロードしてください。
Mac版で動かす場合、パーミッションの変更が必要でした
以下のコマンドで実行権限を付与しました
chmod 755 realesrgan-ncnn-vulkan権限付与後は正常に実行できました
Stable Diffusionで生成した画像をアップスケーリングしてみる
Real-ESRGANの動かし方がわかったところで、実際に画像をアップスケールしてみましょう
Stable Diffusionに2070年の秋葉原をテーマにしてイラストを生成させてみました。プロンプトは以下のような感じになります。
Akihabara in 2070 Concept Art 4K 8K Neon Rain Falling City Futuristic Cityscape
以下の画像をアップスケーリングしたいと思います
Real-ESRGANにはモデルが4つ用意されているので、それぞれを適用してみます。
用意されているモデルは以下の通りです。
- realesr-animevideov3 (default)
- realesrgan-x4plus
- realesrgan-x4plus-anime
realesr-animevideov3
realesrgan-x4plus
realesrgan-x4plus-anime
realesrgan-x4plus-animeのみ、ほか2つのモデルと比較して顕著に違いが出ているようです。
ただ、いずれのモデルを利用した場合でも、ペイントソフトで普通に拡大するよりも、はるかに滑らかに拡大できているかと思います。
Stable DiffusionとReal-ESRGANを利用すれば、高画質なイラストを気軽に生成できそうですね
以上です
Real-ESRGANを使ってみたお話でした。
これを利用すれば、昔の解像度が低かったエロゲなんかも、HDにリメイクして販売できるのではと思ってしまいました
