Real-ESRGANでStable Diffusionの画像をアップスケーリングする

ハイクオリティな画像を生成できるStable Diffusionですが、現在の弱点の一つとして大きな画像が生成できないというのが挙げられるかと思います。（環境によると思いますが・・・）

今回はこの弱点を克服すべく、「Real-ESRGAN」を利用してアップスケーリングしてみたいと思います

Real-ESRGANとは

ざっくり見たところ、機械学習の力を利用してきれいに画像をアップスケールすることができるようです。紹介ページを見る限り、アニメも写真もきれいにアップスケーリングされていますね。

利用方法も複数準備されていて
・GUI版
・実行可能ファイル版
・Pythonスクリプト版
が準備されています。

一番お手軽なのはGUI版で、以下で配布されています
https://github.com/tsukumijima/Real-ESRGAN-GUI

自分の環境では、Macで実行時、警告が表示されて実行されなかったため、実行可能ファイル版で利用方法を紹介していきます

https://github.com/xinntao/Real-ESRGAN#portable-executable-files-ncnn
こちらからダウンロードできます。
Windows版、　Mac版、Linux版が準備されているのでご自身の環境にあったファイルをダウンロードしてください。

Mac版で動かす場合、パーミッションの変更が必要でした

以下のコマンドで実行権限を付与しました

chmod 755 realesrgan-ncnn-vulkan

権限付与後は正常に実行できました

Real-ESRGANの動かし方がわかったところで、実際に画像をアップスケールしてみましょう

Stable Diffusionに2070年の秋葉原をテーマにしてイラストを生成させてみました。プロンプトは以下のような感じになります。

Akihabara in 2070 Concept Art 4K 8K Neon Rain Falling City Futuristic Cityscape

以下の画像をアップスケーリングしたいと思います

Real-ESRGANにはモデルが4つ用意されているので、それぞれを適用してみます。
用意されているモデルは以下の通りです。

realesrgan-x4plus-animeのみ、ほか2つのモデルと比較して顕著に違いが出ているようです。
ただ、いずれのモデルを利用した場合でも、ペイントソフトで普通に拡大するよりも、はるかに滑らかに拡大できているかと思います。

Stable DiffusionとReal-ESRGANを利用すれば、高画質なイラストを気軽に生成できそうですね

Real-ESRGANを使ってみたお話でした。
これを利用すれば、昔の解像度が低かったエロゲなんかも、HDにリメイクして販売できるのではと思ってしまいました

created by Rinker

created by Rinker