Stable Diffusion 日記 #1
https://lowreal.net/2022/09/02/1 の元画像から、色を変えて img2img したりいろいろ
https://lowreal.net/2022/09/02/1 の元画像から、色を変えて img2img したりいろいろ
AI画家はもちろん顔を描くことはできるのだが、大きなシーンに含まれる顔を描くのは手を抜いた感じになってしまう。これは顔のピクセル数が少なすぎ、情報量が不足していることに起因していると思われる。人間が絵を見るときは特定領域に注視するが、AIは全体を構成する。
顔がそれっぽくなるまで生成しまくるという手や、そもそも後ろ姿にするという手もあるが、どうしても「この構図がいい」という場合に顔だけ修正することを試してみた。
やってることは
いわゆる inpainting を手動でやるという方法になっている。inpainting がうまくできるものがあれば良さそうだけど、とりあえず見つけられなかった。(basujindal/stable-diffusionにinpainting機能が含まれているがあまり良い成果がでなかった)
こういう感じで顔がほぼ描画されいない。この画像では試していないが、こうなると steps 数を増やしても時間がかかるだけであまり改善しないことが多い。
約8倍にアップスケールし (NightmareAI/Real-ESRGANをつかっている)、顔部分を周囲を含めて切りにく。
切りぬいた画像を元に、prompt はあまり変えずに顔を描いてもらう。face close-up とかつけたほうがいいと思うけど、顔ならプロンプトそのままでも割と良さそう。
strength (元画像をどのぐらい残すか) は 0.75 でやった。
アップスケールした画像に顔を乗せる。
Photoshop もこういった合成が進化しており手動でやっても早い。合成写真をすばやく自然に仕上げる方法 というチュートリアルもある。
うまく img2img ができていれば頑張って馴染ませなくても若干ぼかすだけでなじむ。
こういう感じでケースにおさめた。
あまり部品はないので片面基板を自力で切削加工して作った。1度目はいろいろとリワークが発生してしまったので2度目の基板。しかし 1PPS の出力をつけわすれていたので、あとからつけくわえている。
MCP4725 だけ少し厳しいピッチだが問題なかった。切削の場合デザインルールで0.3mmぐらいにしないと厳しいが、どうしてもルールをやぶらざるを得ない部分が出てきたりする。
電源に村田製作所製のフルモールド2出力降圧DC-DCコンバータを使っている。MCU など用の 5V と、OCXO 用の 12V を十分余裕を持って出力できる。ただし入力電圧が16V〜40Vと若干高い。24V入力で使っている。
YONGU Enclosure というところのケース 145*54*150 を
Aliexpress で買った。割と安い。買ったあと「3D CAD ファイルある?」と聞いたらすぐ送ってくれて便利。まぁこれはサイトに載せといてくれれば手間にならないんだけど。
こういう前後パネルがフラットな板のタイプだと加工しやすいので、好んで使っている。
穴あけやパネルのデザインのため、できるだけ3Dモデルを作るようにしている。パーツごとの干渉を前もって知れたりするので便利。今回はケーブリングもモデリングするようにした。ここを省略すると曲げ半径的に無理があって蓋がしめられないということもあるので……
厳密でなくても良い汎用部品なんかだと、GrabCad で STEP ファイルが得られたりする。SMA コネクタとかは GrabCad からダウンロードしたものに手を加えて使ってる。
Fusion360 の場合、このモデルからさらにパネルのCNC切削Gコードまで持っていけるので楽。Engraving のパスがバグってて困るが……
文字は30°のVカッターで掘りこみ。これはZ精度が必要なので、加工箇所ごとにわけてGコードを作ってから、加工箇所ごとにZをぴったりあわせたほうが良さげだった。掘っただけで色は入れていないけど、もともと黒のアルマイト加工がされているので、地色を出すだけでコントラスト的に白色に見える。あと、やすりをかけられないのでカッターの切れ味がよくないとつらい。
他の加工はほぼ普通の穴あけ。ただしディスプレイのところだけ傾斜をつける加工をした。これは等高線で降りていく加工にした。0.03mmぐらいで降りるようにしてみたが一切加工段は見えないので、もうちょっと荒くてもよかったと思う。
↑この画像は静止画ではなく、録画のスナップショット (α7R II 2160p モードを CamLink 4K/30FPS NV12 でとりこみ)
結論からいうと CamLink という HDMI → UVC 変換器 (キャプチャボードの一種) を使うのがおすすめ。カメラの HDMI 出力と繋ぎ、カメラ側は動画モードにして、HDMI INFO の設定 (HDMI に OSD を出さない) をするだけでよい。
カメラ側で HDMI 出力設定を変えて 1080p か 2160p かを選べる機種の場合は、カメラ側で設定を好みのほうに変える必要がある。デフォルトだと 4K でしかとれないので、1080p で十分なら下げたほうが負荷が低いと思う。
知ってるぞ! こういうのだろ!
HDMI → UVC 変換器もピンキリで、キャプチャできる解像度や、画質に差がある。しかし商品説明からは全くわからないことが多い。具体的に何が違うか
残念ながら買ってみるまで詳細なことはわからない。HDMI キャプチャについては安物を買わないほうが良い (安物を2台ほど買って失敗した人間の言っていることです)。
CamLink は以下のような仕様で、現状手に入る中では本当にベストだと思う。脳死でこれ買いましょう。