まずはOllamaをインストール

公式ページからダウンロードします
https://ollama.com/

表示されているコマンドをターミナルに貼り付けて実行すればollamaがセットアップされます

Gemma4をインストールする

Gemma4について、Gemma4自身に聞いてみたら以下の回答が返ってきました

君自身について紹介してほしい
Gemma4は誰が作成して、いつ公開されたのか・・

ご質問ありがとうございます。私自身についてご紹介させていただきますね。✨

私は**Gemma 4（ジェマ フォー）**という名前の大規模言語モデル（Large Language Model: LLM）です。

🤖 基本情報
モデル名: Gemma 4
開発元: Google DeepMind（グーグル・ディープマインド）
モデルの性質: 私は「オープンウェイト」モデルとして設計され、研究者や開発者の皆様がより幅広く、責任を持ってAIの技術を活用していただくことを目的として公開されています。
⚙ 私の仕組みと得意なこと
私は、膨大な量のテキストデータやコードデータを用いてトレーニングされた結果、人間が使う自然な言葉のパターン、論理的な推論、そしてプログラミングの構造を理解することができます。

具体的には、以下のようなことが可能です。

知識の提供: 幅広いトピックについて、正確で包括的な情報を提供します。
対話: 人間との会話の流れを理解し、自然な会話を続けることができます。
論理的推論: 指示された手順に従って思考し、問題を分解して解決策を導き出すことができます。
コーディング: プログラミングのコード生成、レビュー、デバッグ、最適化を行うことができます。（これはさきほどのプログラミングのお手伝いに活かせる部分です）
📅 公開について
「いつ公開されたか」という点については、継続的に改良が加えられている最先端の技術基盤の上に成り立っています。私はGoogle DeepMindによって継続的に研究・開発され、その最新の成果として、オープンな形で開発者コミュニティの皆様に提供されています。

要約すると、私はGoogle DeepMindが生み出した、オープンな知性を搭載したAIアシスタントです。

私について何かご不明な点や、試してみたいことはありますか？何でもお気軽にお尋ねください！

回答内に（これはさきほどのプログラミングのお手伝いに活かせる部分です）とありますが
これは事前に「プログラミングできる？」と質問していたからです

本題のGemma4のセットアップですが、ollama導入後にプロンプトに以下を入力するだけです

ollama run gemma4:[利用したいモデルの種類]

後は自動でモデルのダウンロードが行われ、ダウンロードが終了すればターミナルからでも、GUI画面からでも利用できるようになります

早速使ってみる

今回はollamaのGUIから少し使ってみました
まずは挨拶から

無事に実行できました！
ちなみに自分が利用しているPCの環境は
・MacBookPro 2019年モデル
・CPU Intel 2.6GHz
・メモリ 16GB
ということで、正直AIで遊びにはかなり厳しい環境です・・・

ということで今回はエッジデバイス向けの「gemma4:e4b」を使ってます

モデルの種類が何種類かありますが
・gemma4:e2b、e4b→エッジデバイス向け
・gemma4:26b 31b→ワークステーション向け
ということで、当然ながらワークステーション向けのほうがベンチマークは良い結果が出力されています

お金があれば、26bや31bのモデルも動かしてみたいものです・・・

色々応用ができそうなGemma4

ということでGemma4のすごく簡単な紹介でした！
個人のPCでも動作可能で、しかも商用利用も可能という、夢が広がるモデルです！

個人的には、ChatGPTやClaude が利用制限に引っかかってしまったときの代替モデルとして利用できないかなーと考えたりしています
が、PCスペックが貧弱だから厳しいかなぁ・・・

投稿 Gemma4をOllamaから利用してみる は Sheltie Garage Tech に最初に表示されました。

自分が利用しているPCはRTX2080のため、本家版は動作せず、RTX20XXシリーズでも動作するよう改良されたフォーク版を利用することにしました

RTX20XXシリーズでも動作するフォーク版の環境を構築する

導入環境は以下になります
・OSはWindows11
・グラボRTX2080
・メモリ24GB

Anacondaで環境作成

Anacondaを利用してPython 3.10の環境を作成します
Anaconda Navigatorを利用して作成すると簡単です

環境構築後は環境名横の「再生ボタン」をクリックすれば環境が有効化されたプロンプトが開きます

Git Cloneと必須コンポーネントのインストール

まずは以下を実行

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

プロンプト上でプログラムを保存したいディレクトリに移動したのち、以下を実行

git clone https://github.com/freely-boss/FramePack-nv20.git

FramePack-nv20というディレクトリができているはずなので、この中に移動し、以下を実行

pip install -r requirements.txt

自動で必要なコンポーネントがインストールされるので、インストール完了後、以下を実行
初回起動時に必要なモデルがダウンロードされるため、起動までそこそこ時間がかかります

python demo_gradio.py

以上で完了
プロンプトに以下の表示が出たら、ブラウザから「http://localhost:7860」にアクセスします

* Running on local URL:  http://0.0.0.0:7860

To create a public link, set `share=True` in `launch()`.

ブラウザにアクセスすると、以下のような画面が表示されます

動くは動くが、かなり厳しい

以上で環境構築自体は終了ですが、実際に動かすとかなり動作が厳しかったです
具体的には、24GBのメモリはすべて利用され、仮想メモリが利用されるため動作が遅い
デフォルト設定では5秒の動画を作成するのに、35分 * 25ステップで16時間ほどかかる計算となってしまいました

また、本家版ではf1というより効率的に動画を作成するための改良がくわえられたバージョンが発表されていますが、フォーク版は対応なし

現実問題、アニメ生成AIで遊ぼうと思ったら、RTX30XXシリーズ以上のグラフィックボードを準備するのが現実的だと感じました

自分みたいに、お金に余裕がなくRTX30XXシリーズが準備できないっ、けど動かしいてみたいっていう人以外は、正直おすすめできない感じです

自分もお金貯めて、グラフィックボードを新調したいと思いました。RTX20XXシリーズも、気が付けば発売から6年くらいたっていますしね・・・

生成を開始したところ、メモリ上限に即ぶち当たり、限界を迎えた我がパソコン・・・

投稿 ローカル動画生成ツール「FramePack」をRTX2080で試す は Sheltie Garage Tech に最初に表示されました。

複数枚の写真から高品質な3Dシーンを生成する手法の一つである3D Gaussian Splattingについて、ファイルサイズを少なくする方法があるようなので試してみようとしたのが本気の目的となります
元ネタは以下になります

https://github.com/KeKsBoTer/c3dgs

・・・が、最終的に環境構築が出来ずに実施できませんでした

なので、内容を変更して3D Gaussian Splattingの生成環境のおさらいと、Webブラウザで動作するビューワーを紹介しています

この記事の最後のほうに実施した内容を記載していますので参考にしてください
本エントリでは3D Gaussian Splattingの環境設定、データ作成と、WebGLを利用したビューアの実験まで行っています

Gaussian Splattingについては、過去に一度記事にしていますので参考にしてみてください

今回の環境は以下になります
・Windows11
・GeForceRTX 2080 VRAM 8G
・Memory 24GB
・CPU Core-i7 9700K

環境構築

Anacondaを利用して環境を構築します

まずはオリジナルのGaussian Splattingの環境構築を参考にし、環境をセットアップします
自分は以下の手順で作成しました

今回はF:/Project/MachineLerning/ フォルダに移動し、リポジトリをクローンしました

git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive

gaussian-splattingフォルダが出来るため、このフォルダに移動し、以下のコマンドで環境を作成

SET DISTUTILS_USE_SDK=1 # Windows only
conda env create --file environment.yml
conda activate gaussian_splatting

ここまでの手順で、gaussian_splattingを利用するための環境がとのいました
上記の3番目のコマンドを実行すると、環境が切り替わったことが確認できると思います

トレーニングデータを作成するための環境構築

トレーニングに利用する画像を作成するための環境を構築します
今回は動画を作成し、その動画から数秒置きに静止画を生成することでトレーニングに利用する大量の静止画を作成します

環境構築の方法は以下の記事を参考にしました
https://taziku.co.jp/blog/3d-gaussian-splatting-traning

FFmpegの設定

公式ページからダウンロードします
https://ffmpeg.org/

今回は以下のリンクからWindowsバイナリをダウンロードしました

FFmpegにパスを通す

パスを通します
今回は「F:\Project\MachineLerning\tools\ffmpeg-7.0.1-essentials_build\bin」にツールを展開しました
システム環境変数の編集から上記フォルダへのパス設定を追加します

パス設定後、コマンドプロンプトから以下のコマンドを実行するとバージョン情報が表示されます

ffmpeg -version

COLMAPの設定

画像からカメラの位置を推測するためのツールを設定します
公式ページからダウンロードします
https://demuc.de/colmap/

リンクをたどっていくとGitHubのリリースページにたどり着くので、そこからCUDA対応版をリリースしました

FFmpegと同じく、環境変数にパスを通します

ImageMagicの設定

公式ページからダウンロードします
https://imagemagick.org/index.php

インストーラーが付属しているため、画面の指示に従って作業すれば設定が完了します

トレーニングの準備

GoProを利用してフィギュアの動画を撮影しました
この動画をもとに3Dのシーンを構築してみます

今回は環境設定で準備したgaussian-splattingフォルダ内にtrain_dataフォルダを作成し、その中に撮影した動画を置きました
さらに、inputフォルダも作成しました

コマンドプロンプトを開き、動画を設置したディレクトリに移動後、以下のコマンドを実行します
(動画ファイル名は適宜変更してください)

ffmpeg -i GH010376.MP4 -r 20 input/image_%05d.jpg

今回、動画が1分と短いため、20fpsで書き出し1200枚ほどを学習データとして使用するようにしました
(余談ですがGoProで1080の60fpsで撮影しないとFFmpegでうまく処理できませんでした)

COLMAPを利用した歪み補正データの作成

Anacondaで作成したgaussian_splattingの環境でrクローンしたリポジトリフォルダに移動し、以下のコマンドを実行します
COLMAP.batの設置場所と、先ほどinputフォルダを準備したフォルダ(inputフォルダではない!)をフルパスで指定します

python convert.py --colmap_executable "F:\Project\MachineLerning\tools\COLMAP-3.9.1-windows-cuda\COLMAP.bat" -s F:\Project\MachineLerning\gaussian-splatting\train_data

トレーニングの実施

トレーニングを開始します
同じくリポジトリフォルダのまま、以下のコマンドを実行します

python train.py --resolution 700 -s F:\Project\MachineLerning\gaussian-splatting\train_data

この時のGPU使用状態は以下のようになっていました
試したところ、専用GPUメモリだけで処理しないと学習時間が非常に伸びてしまうため、–resolutionオプションでVRAM内に収まるように調整したほうがよさそうです
(学習中にVRAM使用量が徐々に増えていくため、ある程度余裕を持たせたほうが良い)

終了しました

トレーニングが終了すると、\gaussian-splatting\output\ee9de029-cのようなランダムなフォルダが生成されているはずです

WebGLを利用したビューアーを試してみる

今回はこちらを利用してみました
https://github.com/antimatter15/splat

まずはリポジトリをクローンします

git clone https://github.com/antimatter15/splat.git

クローンしたフォルダ内の「index.html」を開きます
(デフォルトで電車のシーンが表示されます)

今回のビューアは.splat形式のファイルを表示するため、.ply形式から変換する必要があります
が、変換方法は簡単で、ブラウザ上に.plyをドラッグアンドドロップすれば.splatに変換できます

ブラウザにシーンが表示されると同時に、.splatファイルのダウンロードが始まります
ほか、urlパラメータにsplatファイルを指定すれば、そのシーンを表示することもできます

ほか、splatファイルに変換した時点で、かなり容量が削減されました

ここで気になるのは「サイズ容量が減ったことで、品質が劣化していないのか」ということ
今回は公式ページで用意されているプリビルドバイナリを利用しました
https://github.com/graphdeco-inria/gaussian-splatting#pre-built-windows-binaries

それぞれの比較は以下の通り

↓公式のビューア

↓Webビューア

元データが悪いので何ともですが、気持ち公式ビューアのほうが綺麗かな？と感じる程度でした

ちなみに「polycanvas」というサイトでplyファイルが閲覧できました
これなら、plyファイルだけ配布して、上記のページで閲覧を楽しんでもらうこともできますね!

以上

ということで、今回は3D Gaussian Splattingの環境設定とWebビューアの紹介を行いました
映像から3Dシーンを構築できるのはやっぱり楽しいですね！
これを利用すればバイクツーリング先の風景や、バイクを乗り換えるときに思い出を3Dシーンとして残すことも出来そうです
コスプレイヤーさんとかも3D Gaussian Splattingで撮影してみたいですね!

とりあえず、つよつよGPUが欲しくなりました

Compressed 3D Gaussian Splatting for Accelerated Novel View Synthesisを試す・・・はずが、環境構築できず

手順はGirHubのReadMeを参考にします
https://github.com/KeKsBoTer/c3dgs

まずはリポジトリをクローンします

git clone https://github.com/KeKsBoTer/c3dgs.git

F:/Project/MachineLerning/c3dgs となるようにクローンしました

こちらについてはCUDA12系が必要だったため、アップデートを行いました
(マシンにはCUDA11系がインストールされていたため)

ここでちょっとしたトラブル発生
CUDA12系インストールでエラーが発生しました

nVidiaフォーラムによると、NsightComputeについて、すでに同一 or より新しいバージョンがあるとインストールに失敗するとのこと
その場合はカスタムインストールを選択し、NsightComputeのチェックを外すといいらしいです
・・・が、自分の環境ではそれでもだめだったので、最終的にCUDA12.2をインストールしました

あらためてAnacondaで環境を構築します
コマンドプロンプトでリポジトリフォルダに移動した後、以下のコマンドを実行します

この後、以下のコマンドを利用して環境構築を行いましたが、様々なエラーで環境構築に失敗しました

conda env create --file environment.yml

エラーの詳細はメモしていませんが、おおむね以下の内容です
・pytourchのバージョンが異なる(CUDA12を要求されているのに、pytourchは11.6が指定される)
・warning C4067: プリプロセッサ デ・・・　みたいなエラーでインストールが中断

心折れたので、また数か月後 or 数年後にチャレンジします
環境構築で手間取るのはだめだわ・・・

投稿 3D Gaussian Splatting で作成したファイルをWebブラウザで閲覧してみる は Sheltie Garage Tech に最初に表示されました。

マシンスペックは以下になります。
・Windows11
・GPU GeForceRTX 2080 VRAM 8GB
・CPU Core-i7 9700K
・メモリ 24GB

環境構築からビューワー起動まで

環境構築からテストデータ作成、トレーニング実行までは以下のブログが参考になりました。
3D Gaussian SplattingのWindows環境構築手順を解説 | taziku / AI × クリエイティブ | 東京・名古屋
3D Gaussian Splatting 動画から3Dのシーン生成を解説 | taziku / AI × クリエイティブ | 東京・名古屋
3D Gaussian Splattingでトレーニングしたデータをビューワーで表示する | taziku / AI × クリエイティブ | 東京・名古屋

自分が実施するときも、上記のブログを参考に実行させていただきました。
そのうえで、今回自分が行った内容を紹介いたします。

手持ちのフィギュアをGoProで撮影する

今回は手持ちのフィギュアの一つであるホロライブ所属の「白上フブキ」さんのフィギュアを利用しました。
GoProで全身をくまなく撮影し、データ作成画像を用意します。
FFMPEGを利用して動画から静止画を切り出して、1800枚ほどの画像を用意しました。

トレーニング用データの準備

画像の準備ができたらトレーニングを行います。
こちらもブログの手順通りのコマンドを実行すれば大丈夫です。
参考までに自分が実行したコマンドは以下の通りです(cdコマンドでgaussian-splattingのフォルダに移動した後に実行します)

python convert.py --colmap_executable "F:\Project\MachineLerning\tools\COLMAP-3.8-windows-cuda\COLMAP.bat" -s F:\Project\MachineLerning\gaussian-splatting\TrainingData

この処理にかなり時間がかかり、合計7-8時間ほどかかってしまったかと思います。
幸い、処理途中でチェックポイントが保存されているようで、処理済みの部分は再開時にスキップされます。

トレーニングを実施

上記の処理が終了したらトレーニングを実施します。
必要スペックでVRAM 24GB以上が要求されているため、自分のマシンではメモリ不足でそのままコマンドを実行したら動きませんでした。

具体的には以下のコマンドでトレーニングを行い、クオリティを犠牲にしています。
(gaussian-splattingのtrain.pyが配置されているディレクトリに移動した後に実施します。TrainDataは上記のトレーニング用データの準備で使用したディレクトリです)

python train.py --densify_grad_threshold 0.01 --resolution 800 -s ..\TrainingData\

上記の設定でVRAM使用料は10GBとなっていました(専用GPUメモリ8GB、共有GPUメモリ2GB使用)
トレーニングにかかった時間は6時間ほどとなりました。

ビューワーで表示する

ビューワーは別途ダウンロードが必要ですが、最初に紹介したブログにダウンロード場所が記載してあります。
以下のコマンドでビューワーを起動しました。

C:\Users\ユーザー名\Desktop\viewers\bin\SIBR_gaussianViewer_app.exe -m .\output\4701ec31-3\

トレーニングが終了するとoutputフォルダの中にランダムな英数字のフォルダが数個作成されます。
指定するフォルダは「point_cloud」フォルダを含んでいるフォルダを指定します。

実際のビューワー動作時の画像はXに載せていますのでご興味あればご覧ください。

以上

簡単ですが3D Gaussian Splattingについて利用してみた紹介でした。
要求スペックが高かったため、一度はあきらめていましたが、パラメータ調整で何とかなりました。
再現度は高いですが、品質の良いデータを準備するのが少し大変そうですね。(GoProだと接近しすぎたり、カメラを早く動かしてしまうことで画像がぶれてしまったため)

あとは、このモデルをポリゴンメッシュで出力できるような機能があればいうこと無しです。
スキャンしたモデルをゲームと組み合わせて使ってみたいですね！

ZOTAC(ゾタック) Gaming GeForce RTX 3090 トリニティ OC 24GB GDDR6X 384-bit 19.5 Gbps PCle規格 4.0 ゲーミンググラフィックスカード IceStorm 2.0高性能冷却機構 Spectra 2.0 RGBライティング ZT-A30900J-10P

created by Rinker

ZOTAC

• Amazon
• 楽天市場
• Yahooショッピング

トイテックd.T.C(Toytec Digital Technology Center) ねんどろいど ホロライブプロダクション 白上フブキ ノンスケール プラスチック製 塗装済み可動フィギュア 再販分

created by Rinker

トイテックd.T.C(Toytec Digital Technology Center)

• Amazon
• 楽天市場
• Yahooショッピング

投稿 3D Gaussian Splattingで手持ちのフィギュアを3D化してみる は Sheltie Garage Tech に最初に表示されました。

Koemake Projectからソフトをダウンロード

ソフトの利用にはアカウント登録が必要です。
まずは公式ページにアクセスし、以下の順序でダウンロードを行います。

公式ページのダウンロードをクリック

利用規約に同意してダウンロードをクリック

ログインを求められるのでメールアドレスとパスワードを入力してアカウント作成をクリック
アカウント作成後、再度ダウンロードをクリックすると、ファイルのダウンロードページに遷移できます

ダウンロードをクリックし、ファイルをダウンロードします

実際に使ってみる

ダウンロードしたフォルダ内のkoemake.exeをクリックすると、以下のような画面が表示されます

パラメータはそれぞれ
・Noize Gate : 一定音量以上の場合のみ変換開始。ノイズがひどい場合に数値を上げてみる
・Index Rate : どれだけターゲットの声にフィットさせるか
・Key : 変換後の声の高さ。目安として男性→女性の場合+12、女性→男性の場合、-12、同性の場合は0が推奨されるとのこと
・Vol : 変換後の出力

ちなみに、変換開始といったようなボタンはなく、アプリを起動したらボイスチェンジャーも有効になります。

モデルを追加してみる

「RVC モデル」といったキーワードで検索を行うと、RVCで利用できるモデルを見つけることができます。
今回はBOOTHで無料配布されていた「愛想良い系少女の声　5種風味パック」を利用してみます。

このzipファイルを展開すると5種類のモデルファイルが同梱されているため、各ファイル(.pthファイル)毎にフォルダを作成し、分ける必要があります。
モデルファイルはkoemakeディレクトリ内にあるmodelsファイル内として、以下のようなフォルダ構成にしてみました。

あとはSettingタブ内にあるModel Directoryでモデルファイルを置いたフォルダを指定することで、今回追加したモデルが読み込めるようになります。

あとはmodelのドロップダウンから利用したいモデルを選択し、LOADボタンを押します。
モデルロード後にパラメータがリセットされるので注意！

以上です

今回はリアルタイムボイスチェンジャーであるRVCと、そのクライアントであるkoemakeを紹介しました。
機械学習の恩恵を受けて、簡単にいろいろな声が出せるのはすごいと思いました。
ただ、さすがに声優さんレベルの声は出せないので、そのあたりは今後の発展次第かなと感じます。

もともとバイク動画のアナウンス役に利用しようと思いましたが、自分自身活舌が悪く、ずんだもんにアナウンスをしてもらったほうが聞き取りやすかったので、もうしばらくずんだもんに頼ろうかなと思いました。

[楽天1位] マイク1 マイク PC マイク USB コンデンサーマイク PC コンデンサーマイク USB 配信用マイク 配信 ゲーム実況 配信セット マイクセット テレワーク ZOOM スタンド パソコン マイクスタンド Windows Mac 対応

created by Rinker

¥6,780 (2026/04/08 01:54:27時点 楽天市場調べ-詳細)

• Amazon
• 楽天市場
• Yahooショッピング

投稿 Koemake RVC playerを使ってみる は Sheltie Garage Tech に最初に表示されました。

・Intel Mac 2019 Monterey 12.6

導入

公式ページ(GitHub)の手順で導入してみます
https://github.com/openai/whisper

Anacondaを利用してPython 3.10 の環境を作りました

conda create -n whisper python=3.10

環境作成後、以下のコマンドで環境を有効化します

conda activate whisper

公式ページのコマンドでインストールを行います

pip install git+https://github.com/openai/whisper.git

ffmpegも必要とのことなので、brewでインストールします

brew install ffmpeg

環境構築は以上になります

早速使ってみる

Whisperを試してみたいがためだけにモトブログを撮ってきました

QuickTImeから音声のみ出力してm4aファイルを出力しました
以下のコマンドで文字起こしが開始されます

whisper audio.m4a --language Japanese

結果はyoutubeでどうぞ

実際の解析結果は以下のようになります

一部拾われていなかったセリフはあったにせよ、かなり高精度に認識している印象です
何より喋っている時間帯も表示されるので、単純に「ここ動画で使う！」みたいなキーワードを喋っておけば、それを目印に動画編集すれば良いので、編集作業も楽になりそうですね。

もちろん、ビジネスのシーンでは会議や記者会見の文字起こしなどにも利用できそうな気がします。

以上

Whisperがモトブログに利用できるのかという実験を行ったというお話でした。
かなりの高精度で、いろいろな用途に利用できるのではないでしょうか？
一部拾われないセリフや、漢字の変換間違いはあれど、1からセリフを文字に起こしていく場合と比較して、かなり編集作業が楽になりそうです

イラスト生成AIといい、文字起こしAIといい、最近は機械学習の進歩が著しいですね
便利な技術はどんどん取り入れていって、創作活動を楽しんで行きたいと思います。

文字起こし＆テープ起こし即戦力ドリル 国語好きを活かして在宅ワーク・副業を始める [ 廿里美 ]

created by Rinker

¥1,870 (2026/04/08 01:54:27時点 楽天市場調べ-詳細)

• Amazon
• 楽天市場
• Yahooショッピング

スッキリわかるPythonによる機械学習入門 [ フレアリンク ]

created by Rinker

• Amazon
• 楽天市場
• Yahooショッピング

投稿 文字起こしAI「Whisper」をバイクブログで利用してみた は Sheltie Garage Tech に最初に表示されました。

今回はこの弱点を克服すべく、「Real-ESRGAN」を利用してアップスケーリングしてみたいと思います

Real-ESRGANとは

https://github.com/xinntao/Real-ESRGAN

ざっくり見たところ、機械学習の力を利用してきれいに画像をアップスケールすることができるようです。紹介ページを見る限り、アニメも写真もきれいにアップスケーリングされていますね。

利用方法も複数準備されていて
・GUI版
・実行可能ファイル版
・Pythonスクリプト版
が準備されています。

一番お手軽なのはGUI版で、以下で配布されています
https://github.com/tsukumijima/Real-ESRGAN-GUI

自分の環境では、Macで実行時、警告が表示されて実行されなかったため、実行可能ファイル版で利用方法を紹介していきます

Portable Execute版を取得する

https://github.com/xinntao/Real-ESRGAN#portable-executable-files-ncnn
こちらからダウンロードできます。
Windows版、　Mac版、Linux版が準備されているのでご自身の環境にあったファイルをダウンロードしてください。

Mac版で動かす場合、パーミッションの変更が必要でした

以下のコマンドで実行権限を付与しました

chmod 755 realesrgan-ncnn-vulkan

権限付与後は正常に実行できました

Stable Diffusionで生成した画像をアップスケーリングしてみる

Real-ESRGANの動かし方がわかったところで、実際に画像をアップスケールしてみましょう

Stable Diffusionに2070年の秋葉原をテーマにしてイラストを生成させてみました。プロンプトは以下のような感じになります。

Akihabara in 2070 Concept Art 4K 8K Neon Rain Falling City Futuristic Cityscape

以下の画像をアップスケーリングしたいと思います

Real-ESRGANにはモデルが4つ用意されているので、それぞれを適用してみます。
用意されているモデルは以下の通りです。

1. realesr-animevideov3 (default)
2. realesrgan-x4plus
3. realesrgan-x4plus-anime

realesr-animevideov3

realesrgan-x4plus

realesrgan-x4plus-anime

realesrgan-x4plus-animeのみ、ほか2つのモデルと比較して顕著に違いが出ているようです。
ただ、いずれのモデルを利用した場合でも、ペイントソフトで普通に拡大するよりも、はるかに滑らかに拡大できているかと思います。

Stable DiffusionとReal-ESRGANを利用すれば、高画質なイラストを気軽に生成できそうですね

以上です

Real-ESRGANを使ってみたお話でした。
これを利用すれば、昔の解像度が低かったエロゲなんかも、HDにリメイクして販売できるのではと思ってしまいました

伝説のエロゲー名鑑　1982-2021【電子書籍】[ スタジオグリーン編集部 ]

created by Rinker

• Amazon
• 楽天市場
• Yahooショッピング

Windowsコマンドプロンプトポケットリファレンス改訂新版 Windows10／8／7／Vista／XP／20 （Pocket　reference） [ 山近慶一 ]

created by Rinker

• Amazon
• 楽天市場
• Yahooショッピング

投稿 Real-ESRGANでStable Diffusionの画像をアップスケーリングする は Sheltie Garage Tech に最初に表示されました。

ファインチューニングとは？

ファインチューニング(転移学習)とは以下のようなものになります。

一般的な手法である『教師あり学習』は、あらかじめ正解を与えて学習を行うフローとなっています。しかし正解を導くために大量のデータが必要となり、かつ学習時間も膨大にかかるのが難点です。

一方で転移学習は、タスクの仮説立てを行ううえで、別のタスクですでに学習された知識を転用し、仮説立てを行わせる手法となります。大量のデータと学習にかかる時間を大幅に削減できるため、非常に効率的な手法として評価されています。

転移学習とは？ファインチューニングとの違いや活用例をご紹介 – 顧問、専門家などのプロ人材紹介サービス (hipro-job.jp)

Stable Diffusionの場合、汎用的なイラスト生成モデル故、特定の分野のイラストを生成しようとした場合、なかなかうまくいかないことがあります。具体的にはアニメ系のイラスト生成ですね。

ファインチューニングを行うことで、高度なイラストを生成できる特徴を生かしつつ、アニメ系に特化したモデルも作成できるのではと思い、実験してみることにしました。

すでに実施されている方のブログでは、「いらすとや」でファインチューニングを行い、結果を表示していました。

サービス閉鎖してしまった「mimic」も、おそらく同じ技術を利用してイラストを生成していると思われます。

早速やってみる

環境は以下の通りです
・OS:Windows11
・ CPU:Corei7 9700K
・GPU:RTX2080 VRAM 8GB

可能であればLinux環境で動かすことを推奨します

このスクリプトにはUnix環境でしか利用できないパッケージが利用されており、トラブルシューティングやエラー修正で精神を削がれます

また、いろいろとプログラム修正をしないと動かなかったので、先にページ下部のエラー集を見ておくとよいかもしれません

それでもWindowsで動かしたいという方はお進みください。

・・・

redditの投稿にやり方が書いてあるため、それに従って進めていきます
https://www.reddit.com/r/StableDiffusion/comments/wvzr7s/tutorial_fine_tuning_stable_diffusion_using_only/

環境構築

指定のリポジトリをローカルにクローンします。クローン後、フォルダ移動し、condaコマンドで環境を構築します

Windows環境にAnaconda、Git がインストールされていることが前提なので、インストールされていない場合過去記事も参照してください

git clone https://github.com/rinongal/textual_inversion.git
cd textual_inversion
# conda remove -n ldm --all  # すでにldmの仮想環境が存在する場合、いったん削除する
conda env create -f environment.yaml
conda activate ldm
pip install -e .

学習用画像の準備

手順によれば「512px × 512pxの画像5枚が必要」とのことでした。
今回はmimicクローズベータに参加されていた「たんたんめん」さんの画像を利用させていただき、学習することにしました。
かわいいイラストが多くて、学習用画像を選定するのに時間を取られてしまいました・・・

学習用画像は、ひとまず顔の部分のみ512 × 512の大きさに切りだして準備しました

画像はGimpを使ってトリミングを行い、5枚の学習用画像を作成しました。

お察しの通り、ケモミミ好きです・・・

トレーニングの実施

トレーニングコマンドを実施する前に、準備をします

・準備1:Stable Diffusionモデルの準備
　StableDiffusion V1.4のモデルが必要です。HuggingFaceからダウンロードしてもよいですし、Stable Diffusionの環境が構築済みであれば、コピーして適当なフォルダに保存しておきます。

・準備2:initializer_words の準備
　configs/stable-diffusion/v1-finetune.yaml をテキストエディタなどで開き、initializer_wordsの設定部分を探します。
　このパラメータは重要で、トレーニング内容を説明する簡単な語句の羅列を指定するようで、複数指定する場合は2重引用符で囲み、カンマで区切るようです。今回は以下の画像のように指定してみました

準備ができたので、トレーニングを行います
以下のコマンドで実施してみました

python main.py --base configs/stable-diffusion/v1-finetune.yaml -t --actual_resume ./models/ldm/stable-diffusion-v1/sd-v1-4.ckpt -n tantanmen_train --gpus 1, --data_root ./LerningImages/512

使ってみる

以上で新しい特徴を覚えたモデルが生成されたはずなので、実際に実行してみます

python scripts/stable_txt2img.py --ddim_eta 0.0 --n_samples 1 --n_iter 2 --scale 10.0 --ddim_steps 50 --embedding_path ./logs/5122022-09-05T08-03-26_tantanmen_train/checkpoints/embeddings.pt --ckpt ./models/ldm/stable-diffusion-v1/sd-v1-4.ckpt --config ./logs/5122022-09-05T08-03-26_tantanmen_train/configs/5122022-09-05T08-03-26-project.yaml --prompt "anime, girl, japanese, *"

パラメータは各個人の環境でファイル名が異なってくるので、そのあたりはご注意ください。
GPUメモリ不足で、n_samplesに2以上の値を入力するとメモリ不足で落ちました・・・
n_samples=1で実行することで、ひとまずイラストは生成されました。

生成されたイラスト

素のStable Diffusionで生成するよりもまともな(比較的かわいい)結果が出力されるけど、入力画像には程遠い画像が出力された

が、ひとまず今回の結論。
パラメータなどいじれれば、また結果は変わるかもしれないけど、VRAM8GBではいろいろ限界なんです・・・
オプティマイズ版が出るか、つよつよGPUを持っている方がいろいろ実験されるのを待つことにします・・・

追伸

mimicって、ちゃんと学習画像に近い画像を生成できていたので、割と高度なことをやってるんだなぁと思った

エラー集

Traceback (most recent call last):
  File "main.py", line 762, in <module>
    ngpu = len(lightning_config.trainer.gpus.strip(",").split(','))
AttributeError: 'int' object has no attribute 'strip'

main.py 762行目あたりでngpuに必ず1を代入するように修正して回避

        if not cpu:
            # ngpu = len(lightning_config.trainer.gpus.strip(",").split(','))
            ngpu = 1
        else:
            ngpu = 1

Traceback (most recent call last):
  File "main.py", line 800, in <module>
    signal.signal(signal.SIGUSR1, melk)
AttributeError: module 'signal' has no attribute 'SIGUSR1'

main.py 800行目あたりのsignal処理一式を変更

        import signal

        signal.signal(signal.SIGTERM, melk)
        signal.signal(signal.SIGTERM, divein)

Traceback (most recent call last):
  File "main.py", line 806, in <module>
    trainer.fit(model, data)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 740, in fit
    self._call_and_handle_interrupt(
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 685, in _call_and_handle_interrupt
    return trainer_fn(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 777, in _fit_impl
    self._run(model, ckpt_path=ckpt_path)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1199, in _run
    self._dispatch()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1279, in _dispatch
    self.training_type_plugin.start_training(self)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\plugins\training_type\training_type_plugin.py", line 202, in start_training
    self._results = trainer.run_stage()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1289, in run_stage
    return self._run_train()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1311, in _run_train
    self._run_sanity_check(self.lightning_module)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1375, in _run_sanity_check
    self._evaluation_loop.run()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\base.py", line 145, in run    self.advance(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\dataloader\evaluation_loop.py", line 110, in advance
    dl_outputs = self.epoch_loop.run(dataloader, dataloader_idx, dl_max_batches, self.num_dataloaders)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\base.py", line 145, in run    self.advance(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\epoch\evaluation_epoch_loop.py", line 122, in advance
    output = self._evaluation_step(batch, batch_idx, dataloader_idx)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\epoch\evaluation_epoch_loop.py", line 217, in _evaluation_step
    output = self.trainer.accelerator.validation_step(step_kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\accelerators\accelerator.py", line 236, in validation_step
    return self.training_type_plugin.validation_step(*step_kwargs.values())
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\plugins\training_type\training_type_plugin.py", line 219, in validation_step
    return self.model.validation_step(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\autograd\grad_mode.py", line 28, in decorate_context
    return func(*args, **kwargs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\models\diffusion\ddpm.py", line 368, in validation_step
    _, loss_dict_no_ema = self.shared_step(batch)
  File "F:\Project\MachineLerning\textual_inversion\ldm\models\diffusion\ddpm.py", line 907, in shared_step
    loss = self(x, c)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\models\diffusion\ddpm.py", line 915, in forward
    c = self.get_learned_conditioning(c)
  File "F:\Project\MachineLerning\textual_inversion\ldm\models\diffusion\ddpm.py", line 594, in get_learned_conditioning    c = self.cond_stage_model.encode(c, embedding_manager=self.embedding_manager)
  File "F:\Project\MachineLerning\textual_inversion\ldm\modules\encoders\modules.py", line 324, in encode
    return self(text, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\modules\encoders\modules.py", line 319, in forward
    z = self.transformer(input_ids=tokens, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\modules\encoders\modules.py", line 297, in transformer_forward
    return self.text_model(
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\modules\encoders\modules.py", line 258, in text_encoder_forward
    hidden_states = self.embeddings(input_ids=input_ids, position_ids=position_ids, embedding_manager=embedding_manager)  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\modules\encoders\modules.py", line 180, in embedding_forward
    inputs_embeds = self.token_embedding(input_ids)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\sparse.py", line 158, in forward
    return F.embedding(
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\functional.py", line 2044, in embedding
    return torch.embedding(weight, input, padding_idx, scale_grad_by_freq, sparse)
RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cpu and cuda:0! (when checking argument for argument index in method wrapper__index_select)

パラメータを「–gpus 0,　→　–gpus 1,」に変更したらひとまずエラーは消えました

こちらは各々の環境で指定する番号が異なるようですので、gpu 0,　→　gpu 1,　というように0番からしていてうまく動く番号を探るのがよさそうです

Traceback (most recent call last):
  File "main.py", line 806, in <module>
    trainer.fit(model, data)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 740, in fit
    self._call_and_handle_interrupt(
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 685, in _call_and_handle_interrupt
    return trainer_fn(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 777, in _fit_impl
    self._run(model, ckpt_path=ckpt_path)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1137, in _run
    self.accelerator.setup_environment()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\accelerators\gpu.py", line 39, in setup_environment
    super().setup_environment()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\accelerators\accelerator.py", line 83, in setup_environment
    self.training_type_plugin.setup_environment()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\plugins\training_type\ddp.py", line 185, in setup_environment
    self.setup_distributed()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\plugins\training_type\ddp.py", line 272, in setup_distributed
    init_dist_connection(self.cluster_environment, self.torch_distributed_backend)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\utilities\distributed.py", line 387, in init_dist_connection
    torch.distributed.init_process_group(
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\distributed\distributed_c10d.py", line 583, in init_process_group
    default_pg = _new_process_group_helper(
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\distributed\distributed_c10d.py", line 708, in _new_process_group_helper
    raise RuntimeError("Distributed package doesn't have NCCL " "built in")
RuntimeError: Distributed package doesn't have NCCL built in

こちらの記事を参考に、main.pyを以下のように修正

if __name__ == "__main__":
    # custom parser to specify config files, train, test and debug mode,
    # postfix, resume.
    # `--key value` arguments are interpreted as arguments to the trainer.
    # `nested.key=value` arguments are interpreted as config parameters.
    # configs are merged from left-to-right followed by command line parameters.

　　・・・省略・・・

    os.environ["PL_TORCH_DISTRIBUTED_BACKEND"] = "gloo"  ←これを追加

    now = datetime.datetime.now().strftime("%Y-%m-%dT%H-%M-%S")

    # add cwd for convenience and to make classes in this file available when
    # running as `python main.py`
    # (in particular `main.DataModuleFromConfig`)

Traceback (most recent call last):
  File "main.py", line 808, in <module>
    trainer.fit(model, data)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 740, in fit
    self._call_and_handle_interrupt(
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 685, in _call_and_handle_interrupt
    return trainer_fn(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 777, in _fit_impl
    self._run(model, ckpt_path=ckpt_path)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1199, in _run
    self._dispatch()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1279, in _dispatch
    self.training_type_plugin.start_training(self)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\plugins\training_type\training_type_plugin.py", line 202, in start_training
    self._results = trainer.run_stage()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1289, in run_stage
    return self._run_train()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1319, in _run_train
    self.fit_loop.run()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\base.py", line 145, in run
    self.advance(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\fit_loop.py", line 234, in advance
    self.epoch_loop.run(data_fetcher)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\base.py", line 145, in run
    self.advance(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\epoch\training_epoch_loop.py", line 193, in advance
    batch_output = self.batch_loop.run(batch, batch_idx)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\base.py", line 145, in run
    self.advance(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\batch\training_batch_loop.py", line 88, in advance
    outputs = self.optimizer_loop.run(split_batch, optimizers, batch_idx)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\base.py", line 145, in run
    self.advance(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\optimization\optimizer_loop.py", line 215, in advance
    result = self._run_optimization(
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\optimization\optimizer_loop.py", line 266, in _run_optimization
    self._optimizer_step(optimizer, opt_idx, batch_idx, closure)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\optimization\optimizer_loop.py", line 378, in _optimizer_step
    lightning_module.optimizer_step(
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\core\lightning.py", line 1652, in optimizer_step
    optimizer.step(closure=optimizer_closure)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\core\optimizer.py", line 164, in step
    trainer.accelerator.optimizer_step(self._optimizer, self._optimizer_idx, closure, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\accelerators\accelerator.py", line 336, in optimizer_step
    self.precision_plugin.optimizer_step(model, optimizer, opt_idx, closure, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\plugins\precision\precision_plugin.py", line 163, in optimizer_step
    optimizer.step(closure=closure, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\optim\optimizer.py", line 88, in wrapper
    return func(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\autograd\grad_mode.py", line 28, in decorate_context
    return func(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\optim\adamw.py", line 92, in step
    loss = closure()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\plugins\precision\precision_plugin.py", line 148, in _wrap_closure
    closure_result = closure()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\optimization\optimizer_loop.py", line 160, in __call__
    self._result = self.closure(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\optimization\optimizer_loop.py", line 142, in closure
    step_output = self._step_fn()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\optimization\optimizer_loop.py", line 435, in _training_step
    training_step_output = self.trainer.accelerator.training_step(step_kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\accelerators\accelerator.py", line 216, in training_step
    return self.training_type_plugin.training_step(*step_kwargs.values())
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\plugins\training_type\ddp.py", line 439, in training_step
    return self.model(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\parallel\distributed.py", line 886, in forward
    output = self.module(*inputs[0], **kwargs[0])
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\overrides\base.py", line 81, in forward
    output = self.module.training_step(*inputs, **kwargs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\models\diffusion\ddpm.py", line 352, in training_step
    loss, loss_dict = self.shared_step(batch)
  File "F:\Project\MachineLerning\textual_inversion\ldm\models\diffusion\ddpm.py", line 907, in shared_step
    loss = self(x, c)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\models\diffusion\ddpm.py", line 920, in forward
    return self.p_losses(x, c, t, *args, **kwargs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\models\diffusion\ddpm.py", line 1056, in p_losses
    model_output = self.apply_model(x_noisy, t, cond)
  File "F:\Project\MachineLerning\textual_inversion\ldm\models\diffusion\ddpm.py", line 1028, in apply_model
    x_recon = self.model(x_noisy, t, **cond)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\models\diffusion\ddpm.py", line 1513, in forward
    out = self.diffusion_model(x, t, context=cc)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\modules\diffusionmodules\openaimodel.py", line 732, in forward
    h = module(h, emb, context)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\modules\diffusionmodules\openaimodel.py", line 85, in forward
    x = layer(x, context)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\modules\attention.py", line 258, in forward
    x = block(x, context=context)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\modules\attention.py", line 209, in forward
    return checkpoint(self._forward, (x, context), self.parameters(), self.checkpoint)
  File "F:\Project\MachineLerning\textual_inversion\ldm\modules\diffusionmodules\util.py", line 116, in checkpoint
    return func(*inputs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\modules\attention.py", line 213, in _forward
    x = self.attn2(self.norm2(x), context=context) + x
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\modules\attention.py", line 175, in forward
    k = self.to_k(context)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\module.py", line 1102, in _call_impl
    return forward_call(*input, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\modules\linear.py", line 103, in forward
    return F.linear(input, self.weight, self.bias)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\nn\functional.py", line 1848, in linear
    return torch._C._nn.linear(input, weight, bias)
RuntimeError: CUDA out of memory. Tried to allocate 2.00 MiB (GPU 0; 8.00 GiB total capacity; 7.20 GiB already allocated; 0 bytes free; 7.29 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

で書かれている情報とtwitterを参考に以下のように修正

修正対象は「config/stable-diffusion/v1-finetune.yaml」です

data:
  target: main.DataModuleFromConfig
  params:
    batch_size: 1 # 2
    num_workers: 1 # 2
    wrap: false
    train:
      target: ldm.data.personalized.PersonalizedBase
      params:
        size: 256 # 512
        set: train
        per_image_tokens: false
        repeats: 100
    validation:
      target: ldm.data.personalized.PersonalizedBase
      params:
        size: 256 # 512
        set: val
        per_image_tokens: false
        repeats: 10

機械学習の分野ではVRAM 8GはよわよわGPUの部類に入るのか・・・

Traceback (most recent call last):
  File "main.py", line 810, in <module>
    trainer.fit(model, data)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 740, in fit
    self._call_and_handle_interrupt(
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 685, in _call_and_handle_interrupt
    return trainer_fn(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 777, in _fit_impl
    self._run(model, ckpt_path=ckpt_path)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1199, in _run
    self._dispatch()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1279, in _dispatch
    self.training_type_plugin.start_training(self)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\plugins\training_type\training_type_plugin.py", line 202, in start_training
    self._results = trainer.run_stage()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1289, in run_stage
    return self._run_train()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1319, in _run_train
    self.fit_loop.run()
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\base.py", line 145, in run
    self.advance(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\fit_loop.py", line 234, in advance
    self.epoch_loop.run(data_fetcher)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\base.py", line 145, in run
    self.advance(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\loops\epoch\training_epoch_loop.py", line 216, in advance
    self.trainer.call_hook("on_train_batch_end", batch_end_outputs, batch, batch_idx, **extra_kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1495, in call_hook
    callback_fx(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\callback_hook.py", line 179, in on_train_batch_end
    callback.on_train_batch_end(self, self.lightning_module, outputs, batch, batch_idx, 0)
  File "F:\Project\MachineLerning\textual_inversion\main.py", line 436, in on_train_batch_end
    self.log_img(pl_module, batch, batch_idx, split="train")
  File "F:\Project\MachineLerning\textual_inversion\main.py", line 404, in log_img
    images = pl_module.log_images(batch, split=split, **self.log_images_kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\torch\autograd\grad_mode.py", line 28, in decorate_context
    return func(*args, **kwargs)
  File "F:\Project\MachineLerning\textual_inversion\ldm\models\diffusion\ddpm.py", line 1320, in log_images
    xc = log_txt_as_img((x.shape[2], x.shape[3]), batch["caption"])
  File "F:\Project\MachineLerning\textual_inversion\ldm\util.py", line 25, in log_txt_as_img
    font = ImageFont.truetype('data/DejaVuSans.ttf', size=size)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\PIL\ImageFont.py", line 844, in truetype
    return freetype(font)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\PIL\ImageFont.py", line 841, in freetype
    return FreeTypeFont(font, size, index, encoding, layout_engine)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\PIL\ImageFont.py", line 193, in __init__
    self.font = core.getfont(
OSError: cannot open resource

DejaVuSans.ttfというフォントが必要らしいので、GitHubからダウンロードして
「ldm/data/」に格納しました

そして、以下のソースも修正しました

textual_inversion/ldm/util.py

# 「import os」をファイル先頭のimportが記述されている部分に追加します
from inspect import isfunction
from PIL import Image, ImageDraw, ImageFont
import os # ←こちらを追記

#以下のメソッドでダウンロードしたフォントの読み込みパスを修正します
def log_txt_as_img(wh, xc, size=10):
    # wh a tuple of (width, height)
    # xc a list of captions to plot
    b = len(xc)
    txts = list()
    for bi in range(b):
        txt = Image.new("RGB", wh, color="white")
        draw = ImageDraw.Draw(txt)
        # font = ImageFont.truetype('data/DejaVuSans.ttf', size=size)
        print(os.getcwd() + '/ldm/data/DejaVuSans.ttf')
        font = ImageFont.truetype(os.getcwd() + '/ldm/data/DejaVuSans.ttf', size=size)

・・・以下修正なし

Traceback (most recent call last):
  File "main.py", line 815, in <module>
    trainer.test(model, data)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 911, in test
    return self._call_and_handle_interrupt(self._test_impl, model, dataloaders, ckpt_path, verbose, datamodule)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 685, in _call_and_handle_interrupt
    return trainer_fn(*args, **kwargs)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 954, in _test_impl
    results = self._run(model, ckpt_path=self.tested_ckpt_path)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1128, in _run
    verify_loop_configurations(self)
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\configuration_validator.py", line 42, in verify_loop_configurations
    __verify_eval_loop_configuration(trainer, model, "test")
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\pytorch_lightning\trainer\configuration_validator.py", line 186, in __verify_eval_loop_configuration
    raise MisconfigurationException(f"No `{loader_name}()` method defined to run `Trainer.{trainer_method}`.")
pytorch_lightning.utilities.exceptions.MisconfigurationException: No `test_dataloader()` method defined to run `Trainer.test`.

直し方がわからないのでテスト実行部分を削除しました・・・
main.pyの814行目あたりを以下のようにコメントアウト

main.py

#        if not opt.no_test and not trainer.interrupted:
#            trainer.test(model, data)

(ldm) PS F:\Project\MachineLerning\stable-diffusion-optimize> python scripts/txt2img.py --ddim_eta 0.0 --n_samples 8 --n_iter 2 --scale 10.0 --ddim_steps 50 --embedding_path ./logs/5122022-09-04T22-55-01_tantanmen_train/checkpoints/embeddings_gs-6099.pt --ckpt_path ./models/ldm/text2img-large/model.ckpt --prompt "a photo of *"
usage: txt2img.py [-h] [--prompt [PROMPT]] [--outdir [OUTDIR]] [--skip_grid] [--skip_save] [--ddim_steps DDIM_STEPS]
                  [--plms] [--laion400m] [--fixed_code] [--ddim_eta DDIM_ETA] [--n_iter N_ITER] [--H H] [--W W]
                  [--C C] [--f F] [--n_samples N_SAMPLES] [--n_rows N_ROWS] [--scale SCALE] [--from-file FROM_FILE]
                  [--config CONFIG] [--ckpt CKPT] [--seed SEED] [--precision {full,autocast}]
txt2img.py: error: unrecognized arguments: --embedding_path ./logs/5122022-09-04T22-55-01_tantanmen_train/checkpoints/embeddings_gs-6099.pt --ckpt_path ./models/ldm/text2img-large/model.ckpt

GitHubに書かれているコマンドが間違えている・・・
パラメータを「–ckpt_path」→「–ckpt」に修正

Traceback (most recent call last):
  File "scripts/stable_txt2img.py", line 287, in <module>
    main()
  File "scripts/stable_txt2img.py", line 277, in main
    Image.fromarray(grid.astype(np.uint8)).save(os.path.join(outpath, f'{prompt.replace(" ", "-")}-{grid_count:04}.jpg'))
  File "F:\Project\MachineLerning\Anaconda\envs\ldm\lib\site-packages\PIL\Image.py", line 2209, in save
    fp = builtins.open(filename, "w+b")
OSError: [Errno 22] Invalid argument: 'outputs/txt2img-samples\\anime,-girl,-japanese,-*-0000.jpg'

scripts/stable_txt2img.py
277行目あたりを以下のように修正

                   # to image
                    grid = 255. * rearrange(grid, 'c h w -> h w c').cpu().numpy()
                    prompt = prompt.replace("*", "-")
                    Image.fromarray(grid.astype(np.uint8)).save(os.path.join(outpath, f'{prompt.replace(" ", "-")}-{grid_count:04}.jpg'))
                    grid_count += 1

今回のファインチューニングを利用するには、promptに * を入れる必要がある
ファイル名はpromptから生成される
Windowsではファイル名に * が利用できない
という流れでエラーになるので、*を無害な文字に変換してファイル名を生成します

以下、広告

［第3版］Python機械学習プログラミング 達人データサイエンティストによる理論と実践 （top gear） [ Sebastian Raschka;Vahid Mirjalili ]

created by Rinker

• Amazon
• 楽天市場
• Yahooショッピング

投稿 Stable Diffusionでファインチューニング(Finetune)を試す は Sheltie Garage Tech に最初に表示されました。

環境

・Windows11
・GeForce RTX2080 VRAM 8G
・メモリ 24GB
・ゲーミングノート

構築手順

Git For Windowsをインストール

以下からダウンロードしてください
Git for Windows

インストール時、いろいろと選択肢が出てきますが、すべてデフォルトでインストールしています

Anacondaをインストール

以下からダウンロードしてインストールしてください
https://www.anaconda.com/products/distribution

ちなみにAnacondaは一定の条件を満たす場合のみ無償で利用できます。
今後商用利用する場合は有償パッケージが必要になりますのでご注意ください

Fork版のStable DiffusionをCloneする

Anacondaをインストールすると、スタートメニュー内に「Anaconda Powershell Prompt(Anaconda)」ができていますので、こちらを起動して作業を進めていきます。

cdコマンドを使って、適当なディレクトリに移動します。
自分はFドライブで作業しているので、以下のようにしました

Stable Diffusionをクローンします。
ここでは本家を利用せず、最適化されたStable Diffusionを利用します。
理由として、本家を動かすには10GB以上のVRAMが必要とのことで、自分のPCでは動きませんでした。
最適化されたFork版では4GBのメモリ量から動かすことができるため、こちらを利用します

git clone https://github.com/basujindal/stable-diffusion.git stable-diffusion-optimize
cd stable-diffusion-optimize

環境を構築する

Cloneしたら、以下のコマンドで環境を構築します。Macの時のように、いろいろな手直しは必要ありません

conda env create -f environment.yaml
conda activate ldm

モデルファイルを配置

Hugging Faceからモデルをダウンロードします(要会員登録)
https://huggingface.co/CompVis/stable-diffusion-v-1-4-original

ダウンロードしたファイルを「model.ckpt」にリネームし、以下のようなフォルダ構成となるように配置します

stable-diffusion-optimize\models\ldm\stable-diffusion-v1\model.ckpt

早速実行してみる

これで環境構築は終了で、もう動作可能になっているはずです。
本家の動作用コマンドを実行し、確認してみましょう

python optimizedSD/optimized_txt2img.py --prompt "kawaii girl smile" --H 512 --W 512 --seed 27 --n_iter 2 --n_samples 10 --ddim_steps 50

コマンドを実行すると、ものすごい勢いでGPUに負荷がかかり始めます

自分の環境では10分ほどで計算が終了しました。Intel Macの1時間40分とは比較にならないくらい早いですね!(パラメータの違いもありますが・・・)

生成された画像はこちら かわいい、少女、笑顔　の呪文で生成したので、それっぽい画像が生成されました。
サムネで見るとよくできていますが、拡大してみると一部顔の形が崩れていたりするのでちょっと怖い・・・(不気味の谷現象)
AIに画像を生成させるのであれば、風景やファンタジー調のものが合うのかなと感じました

img2imgも動かす!

Intel Macでは動かなかった、img2imgも動かします。

python optimizedSD/optimized_img2img.py --prompt "hololive shirakami fubuki vtuber" --init-img ./shitae.jpg --strength 0.8 --n_iter 2 --n_samples 10 --H 512 --W 512

下絵に利用したのは、前回も登場した白上フブキちゃんですね

実行すると、かなりGPUメモリがやばい状態に・・・

生成された画像はこちら

あなたたちどちら様ですか？

まだまだうまく画像が生成できないので、使い方の勉強が必要ですね

以上です

GPU搭載のWindowsマシンでStable Diffusionを動かしてみましたという記事でした。
良いGPUを積んでいるのであれば画像生成も常識的な時間で完了するため、ついいろいろと試してみたくなります。

仮想通貨の暴落もあり、グラボの価格も落ち着いてきたそうなので、Stable Diffusionで遊ぶためにグラボを買い替えるというのもありかもしれないですね。
自分のはノートPCなので、交換できませんが・・・

投稿 RTX2080搭載のWindows11マシンでStable Diffusionを動かす は Sheltie Garage Tech に最初に表示されました。

ただ、先に断っておくと、動きませんでした。スクリプトは起動しましたが

3時間くらい放置しても、2%くらいしか処理が進まなかったので諦めました

それでも実行してみたい！という方のために記録だけは残しておきます・・・

スクリプトを修正する

cpuモードで動作するように以下のファイルを編集します

scripts/img2img.py
43行目辺りの部分を以下のように修正

    # model.cuda()
    model.to('cpu')
    model.eval()
    return model

203行目辺りの部分を以下のように修正

    # device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")
    device = torch.device("cpu")
    model = model.to(device)

247行目辺りの部分を以下のように修正

    with torch.no_grad():
        # with precision_scope("cuda"):
        with precision_scope("cpu"):
            with model.ema_scope():

ldm/models/diffusion/ddim.py
21行目辺りのif attr.device != torch.device(“cuda”):周辺を以下の通り修正

#            if attr.device != torch.device("cuda"):
#                attr = attr.to(torch.device("cuda"))
            if attr.device != torch.device("cpu"):
                attr = attr.to(torch.float32).to(torch.device("cpu")).contiguous()
        setattr(self, name, attr)

以上の修正で動くはずです

指示絵の準備

生成する画像のヒントとなる指示絵を準備します。
お絵かきソフトを利用して準備しましょう。今回は以下の画像を指示絵に利用しました。

手持ちの白上フブキちゃんを写真に撮り、トレースしたものになります。
この下手くそなイラストが、果たしてどのように変化するのか・・・

コマンドは以下のとおりです

python scripts/img2img.py --prompt "shirakami hubuki hololive illustlated by nagishiro mito" --init-img ./shitae.JPG --strength 0.8 --precision full

以上です

上記を実行したところ、ひとまずスクリプトは起動しましたが、冒頭に記載した通り処理が全く進まなかったので諦めました。
やはり、CPUで機械学習を処理するのは無理があるようなので、週末にWIndowsPC(RTX2080搭載のゲーミングノート)で再挑戦したいと思います

ホロライブ POP UP PARADE 白上フブキ&大神ミオ 2体セット フィギュア フィギア ホビー おもちゃ キャラクター グッズ キャラクターグッズ ポップアップパレード 白上フブキ 大神ミオ vtuber バーチャルユーチューバー 美少女フィギュア

created by Rinker

• Amazon
• 楽天市場
• Yahooショッピング

投稿 Stable Diffusionでimg2imgを動かしたかった・・・ は Sheltie Garage Tech に最初に表示されました。