Stable Diffusion 日記 #11
構図の中に2人入ってくると難易度があがる。顔の描きかたは細かく指定できるわけではないので、試行回数を増やしてなんとか違和感がないのを選ぶしかない。
顔は顔で生成すると割り切って考えると、服をちゃんと指定するほうが楽しい。frill trim top は希望通りにいきやすい。corset や bodice もいいけど、胸元が開く傾向が強い。
Stable Diffusion 日記 #10
blonde hair は顔が綺麗になりやすい気がする。
2枚目、手が綺麗に描画されているのはかなり珍しい。
3枚目は bird's eye view で唯一それっぽくなったもの。
waifu diffusion とかのイラストの追加学習をしたモデルをボチボチ試してはいるけど、うまく好みのベクトルがあわせられなくてピンときてなく、使えていない。顔だけバリエーションを増やせたらいいんだけど、画風を伝える手段に乏しい。生成した画像のうち好みのものを集めてファインチューンとかしたほうが効率いいかもしれない。
Stable Diffusion 日記 #9
場合によっては腰から上、首から上と段階的に解像度を上げていくといいときもある。元絵に書きこみたいときは strength を弱めて (0.25~0.4)、ddim_steps を増やすといいことがある。めっちゃ崩れてるけど雰囲気は維持しつつなんとかしてほしいときは strength を強める (0.75まで)
まったく同じpromptでも、img2img の元がある場合、そこの顔の輪郭で絵柄が決まってくることがあって不思議
Stable Diffusion 日記 #8
どのベクトルのせいかわからんけど蝶はなんかキモくなる。イラスト的デフォルメをせず蛾っぽく胴が太く描かれることが多い。
urban city はどうも台湾風になる感じがする。台湾に行ったことはないが
日記と書いてるが数日遲れの画像なので、特徴がないとどういう prompt 使ったかわからない。
正面の顔はいいけど、横顔、振り返り顔、上目遣いみたいな感じの角度は Stable Diffusion も苦手で相当ガチャってもうまく生成されず諦めることがある。構図的には正面顔というのは特殊なので不思議な感じはする。
Stable Diffusion 日記 #7
Stable Diffusion 日記 #6
Stable Diffusion 日記 #5
眼のハイライト(白い点2つ)は後入れ
Stable Diffusion 日記 #6
img2img の strength
0.0~1.0 まで指定する。イメージとしては 0.75 なら元画像の75%をノイズに変えた状態から復元をするという感じ。
顔が支配的な画像に対して img2img をする場合、0.5 なら輪郭はほぼそのままで顔の内部が変わる。0.75 なら輪郭も結構変更するし、場合によっては向いてる方向も変わる。
関連エントリー
- Stable Diffusion 日記 #1 https://lowreal.net/2022/09/02/1 の元画像から、色を変えて img2img したりいろいろ
- Stable Diffusion 日記 #9 場合によっては腰から上、首から上と段階的に解像度を上げていくといいときもある。元絵に書きこみたいときは strength を弱めて (0.25~0.4)、ddim_steps を増やすといいことがある...
- Stable Diffusion (AI画家) に描いてもらった絵の顔を修正する (半手動) AI画家はもちろん顔を描くことはできるのだが、大きなシーンに含まれる顔を描くのは手を抜いた感じになってしまう。これは顔のピクセル数が少なすぎ、情報量が不足していることに起因していると思われる。人間が絵...
- Stable Diffusion 日記 #24 分割されているのはときどきあるが、綺麗にコントラストでまとまってるのは珍しい。2つの出力を Photoshop でくっつけたわけではなく、Stable Diffusion の最初の出力時点で分割されて...
- Google Photos の ICC カラープロファイルの扱い Google Photos は配信画像は基本的にすべて sRGB でなっています。 そこで ICC のテスト用 jpeg ファイル や、手元でいくつかカラースペースを変えた画像を Google Pho...
激安カーボンデジタルノギス
800円弱ぐらいで買えてしまうカーボンノギス。スペック上は器差±0.2mm、表示上は0.1mm。安いアナログノギスの変わりには十分だろう。
センサは静電容量式のようだ。
良いところ
- 電源オフ状態で動かすと起動する (表示がでる)
- というか電池を入れている間はずっと測定しっぱなしのようだ
- そこそこ早く動かしても値飛ばしがない
- 表示がデカい
- すべりも悪くない
- 軽い
- 安い
悪いところ
今のところない。電池持ちが心配。
関連エントリー
- デジタルノギスは良いものを買うべきと学んだ ミツトヨ 500シリーズ ABSデジマチックキャリパ CD-S15CT 500-454 cho45 ミツトヨ(Mitutoyo) ★ 5.0 / 5.0 cho45 結局ミツトヨのデジタルノギスを買っ...
- NiZ X87EC(S) 35g (2021) を買ってみた 66EC(S) Ble 35g を買ってから自宅では結構ずっとこれを使っていてそこそこ満足している。これも含めて HHKB 風配列のキーボードを10年以上使っていて慣れているのだけど、不満がないわけで...
- 非導体系材料用に Touch Probe を作った 東急ハンズで真鍮の円柱を買ってきてそなりに磨いて、表面にM3で穴をあけてタップを切ってネジをさしこんだ。ネジ部分を Probe のワニグチクリップでつかんで使う。 ノギス(マイクロメーターを持ってない...
- waveshare 7inch LCD (USB Touch センサー付き) を買ってみた。 BeagleBone Black 用に。$54.88 BeagleBone Black では専用イメージを使えみたいなことが書いてあって不安だったけど、繋ぐだけで表示できたしタッチも動いてくれた。しか...
- α6000 レンズキットを買って失敗した ちなみに E PZ 16-50mm F3.5-5.6 OSS のキットを買った。後述するけど結果的に追加でレンズを買っている。年末に買ったので1ヶ月も使ってないことをご留意ください。 α6000本体に...
Stable Diffusion で prompt 情報を画像に保存しておく
PNG にはメタデータを保存するチャンクがある。Python からも簡単に読み書き可能なので、ここに prompt を保存しておくと、あとから参照したいときに便利になる
img が PIL の Image だとして、save を呼びだしているとこに pnginfo というのを足してあげる。
from PIL.PngImagePlugin import PngInfo
# ...
metadata = PngInfo()
metadata.add_text("prompt", "foo bar baz")
img.save("./outputs/0.png", pnginfo=metadata) 読み出し
#!/usr/bin/env python
import sys
from PIL import Image
from PIL.PngImagePlugin import PngInfo
img = Image.open(sys.argv[1])
print(img.text['prompt'])
関連エントリー
- daemontoolsのsetuidgidが補助グループ (supplementary groups) 権限をつけてくれない問題 (python) いままでハマったことがなかったのだけど、ついにハマってしまった。 補助グループ権限もつけてくれるsetuidgidのようなもの - (ひ)メモ を読んで、どうするかな〜と思いつつsetusergrou...
- Raspberry Pi から HDMI-CEC コントロール サイネージ HDMI CEC 連携 カレンダーを表示するおうちサイネージ というのを作っていたがモニタの置き場がなくなってしまったので、テレビ画面に映すことにしてみた。 Google TV と Swi...
- NanoPi NEO2 でやること、NanoHat OLED のメモ書き nanopi-neo2_friendlycore-xenial_4.14.52_20180628.img.zip の場合 /etc/rc.local から lcd2usb_print、QtE-Demo...
- RNN/LSTM/GRU の入力と stateful 化 (keras) 入力データ (batch_size, timesteps, features) が入力になる。batch_size はこのバッチ(学習・予測の1単位)中のサンプル数 (予測するデータの数) で sta...
- builderscon の電子名札に家庭のメトリクス表示 やってること prometheus の API を叩く 表示する だけ。 表示部分はせっかく python の骨格があるので基本的にはそのまま python で書いてる。けど Pillow (pyth...
Stable Diffusion 日記 #1
https://lowreal.net/2022/09/02/1 の元画像から、色を変えて img2img したりいろいろ
Stable Diffusion 日記 #2
Stable Diffusion 日記 #3
Stable Diffusion 日記 #4
Stable Diffusion (AI画家) に描いてもらった絵の顔を修正する (半手動)
AI画家はもちろん顔を描くことはできるのだが、大きなシーンに含まれる顔を描くのは手を抜いた感じになってしまう。これは顔のピクセル数が少なすぎ、情報量が不足していることに起因していると思われる。人間が絵を見るときは特定領域に注視するが、AIは全体を構成する。
顔がそれっぽくなるまで生成しまくるという手や、そもそも後ろ姿にするという手もあるが、どうしても「この構図がいい」という場合に顔だけ修正することを試してみた。
やってることは
- 元画像をアップスケールする
- 顔の部分を周辺を多少含めて切り抜く
- 切り抜きを元に img2img で顔ガチャする
- 当たりが出たら Photoshop で合成する
いわゆる inpainting を手動でやるという方法になっている。inpainting がうまくできるものがあれば良さそうだけど、とりあえず見つけられなかった。(basujindal/stable-diffusionにinpainting機能が含まれているがあまり良い成果がでなかった)
元画像
こういう感じで顔がほぼ描画されいない。この画像では試していないが、こうなると steps 数を増やしても時間がかかるだけであまり改善しないことが多い。
アップスケール
約8倍にアップスケールし (NightmareAI/Real-ESRGANをつかっている)、顔部分を周囲を含めて切りにく。
img2img
切りぬいた画像を元に、prompt はあまり変えずに顔を描いてもらう。face close-up とかつけたほうがいいと思うけど、顔ならプロンプトそのままでも割と良さそう。
strength (元画像をどのぐらい残すか) は 0.75 でやった。
合成
アップスケールした画像に顔を乗せる。
Photoshop もこういった合成が進化しており手動でやっても早い。合成写真をすばやく自然に仕上げる方法 というチュートリアルもある。
うまく img2img ができていれば頑張って馴染ませなくても若干ぼかすだけでなじむ。
感想
- 作風によっては難しいかもしれない
- 顔だけ大量生成するので効率が良い
- 顔だから上手くいくが、指の本数が多いとか足が多いとかは無理な気がする
関連エントリー
- Stable Diffusion 日記 #1 https://lowreal.net/2022/09/02/1 の元画像から、色を変えて img2img したりいろいろ
- img2img の strength 0.0~1.0 まで指定する。イメージとしては 0.75 なら元画像の75%をノイズに変えた状態から復元をするという感じ。 顔が支配的な画像に対して img2img をする場合、0.5 なら輪郭はほぼ...
- Stable Diffusion 日記 #24 分割されているのはときどきあるが、綺麗にコントラストでまとまってるのは珍しい。2つの出力を Photoshop でくっつけたわけではなく、Stable Diffusion の最初の出力時点で分割されて...
- DreamStudio (Stable Diffusion) に洗濯機と女の子を描いてもらう 手元には入れず、DreamStudio 上で £10 (1700円弱ぐらい?) 払ってしばらく生成していた。ある程度制御できる綺麗な画像ガチャって感じなので中毒性がある。手元に入れたら無限にやりそうな...
- Stable Diffusion 日記 #9 場合によっては腰から上、首から上と段階的に解像度を上げていくといいときもある。元絵に書きこみたいときは strength を弱めて (0.25~0.4)、ddim_steps を増やすといいことがある...
































