AIが絵を描く『DreamStudio』について

高性能画像生成AI「StableDiffusion」をWeb上のサービスとして利用できるようにしたものである。

　8月にオープンソースとして無償に公開された、テキストから画像を生成する高性能な画像生成AIである。
StableDiffusionに使用されているモデルは、lantenet diffusion modelというもので、
基本的に使用される拡散モデルのピクセル空間より低い次元の空間を適用することで計算量を圧縮している。
StableDiffusionは3つのアーキテクチャで構成され、この仕組みにより比較的軽量なGPUでも動作可能としている。

StableDiffusionのアーキテクチャ
・ランダムノイズをより低い次元の空間に縮小し、処理後に元の次元の空間に変換するオートエンコーダー
・ノイズを除去するU-Netブロック
・入力されたテキストを処理するテキストエンコーダー

このStableDiffusionをWebサービスとして利用できるようになった「DreamStudio」について検証しようと思う。

　DreamStudioを使用するためにはサインインする必要があり、私はGoogleアカウントで行った。
ローカルで使用する場合の推奨環境として、
・メモリ6.9GB以上
・NVIDIAのGPU
となっているが、今後AMDやAppleのM1、M2チップにも適用した
サービスをリリースする予定のようだ。

マシン：MacBookPro
OS：MacOS BigSur
CPU：M1
メモリ：16GB

　サインインに成功すると下図のような画面になり、左側にメニューバー、右側は詳細設定となる。
真ん中の下部分のテキストボックスに作成したい画像のワードを書きDreamボタンを押すと画像が生成される。
生成した画像のプレビューは真ん中の黒い部分で確認できる。

　Prompt（生成したい画像をテキスト化したもの）は作画したい画像のイメージやアーティスト名、
作風など細かく記入することでイメージにより近いものが生成される。Promptは英語で記入する必要がある。

Dreamボタンを押すと数秒で画像が生成される。

Dream　　　画像生成画面　
History　 　これまで生成した画像を表示
Prompt Guide　　Promptの例を表示
Social　　　 生成した画像をシェアできる
FAQ　　　　 よくある質問

Width　　　 生成する画像の幅を指定
Height　　　生成する画像の高さを指定
Cfg Scale　 テキストと画像の類似度を設定
Steps 　　　画像生成のステップ数を指定
Number of Images　　生成する画像の枚数
Sampler　　 生成方法の変更
Seed　　　　同じ画像を生成するかどうか

　GUIが見やすく簡単に画像を生成することができた。解像度は512px~1024pxまで生成可能で、
計算量は増えるが類似度の値や処理回数を増やすことでイメージに近しいものが生成できることがいいと思った。
デフォルト値で生成した場合は数秒で出来上がるが、演算コストをあげた場合でも数十秒程度で高精度の画像が出来上がる。
Promptが英語のため他言語に対応しているとよりユーザーが増えると思った。

Prompt　　portrait of bird – human hybrid, head and shoulders shot, by annie leibovitz,
　　　　　　portrait of a man, studio lightin
Size　　　　512 x 512
Cfg　　　　7
Steps　　　50
Sampler　　k_lms

Prompt　　a beautiful mountain landscape, dramatic clouds, soft golden light,
　　　　　　long exposure, highly detailed, award winning photography by carr clifton,
　　　　　　highly realistic
Size　　　　512 x 512
Cfg　　　　20
Steps　　　150

Prompt　　　ancient magnificent Japanese golden palace in paradise, canals,
　　　　　　　red marble bridge,garden, palaces, white maple trees, pine trees,
　　　　　　　sunny day, by Hayao Miyazaki, photography, cinematic lighting,
　　　　　　　octane render, artstation
Size　　　　　512 x 512
Cfg　　　　　10
Steps　　　　50
Sampler　　　Plms

今回リリースされたサービスはベータ版なので無料で生成できる枚数が決まっている。　
よって、StableDiffusionを実装できるGoogleColaboratoryでも画像を生成した。

　Google Colaboratoryを使用するためにGoogleアカウントでサイン
イン、HuggingFaceのトークンを取得するためログインする。
方法に関しては「GoogleColaboratoryではじめるStableDiffusion」を参考にした。
実装環境はDreamStudioと同様。

Colaboratory上でStableDiffusionのインストールをする。

HuggingFaceで取得したトークンをペーストする。

StableDiffusionのパイプラインを用意する。

Prompt変数にテキストを入力して画像を生成する。

Prompt　　　a photo of a city ontop of the clouds
Size　　　　　512 x 512

Prompt　　　logo about a cute chameleon, colorful background
Size　　　　　512 x 512

Prompt　　　pop art poster ebony gutter punk cybernetic numero fashion model,
　　　　　　　music,instruments, studio lighting, insanely detailed, intricate,
　　　　　　　hypermaximalist, photosynth,elegant, ornate, hyper realistic,
　　　　　　　by james jean, by rossdraws, frank franzzeta, mcbess,sakimichan,
　　　　　　　brosmind, steve simpson
Size　　　　　512 x 512

気になることは、生成した画像に対しての著作権だと思う。
これについて弁護士の舟橋和宏さんは述べている。

AIが作ったとしても、イラストを読み込ませることでイラストが作出されるということであれば、
読み込ませた人間が創作者になると考えられます。
そうすると、イラスト自体に創作性が認められる限り、新たな著作物が作られたと考えられます。

[クリエーターの法務]AI技術と著作権法より引用
https://note.com/lawyer_funabashi/n/n8fccf3a045ab

つまり、生成した画像に関して創作者がその作品に対しての著作権を持つことができるという。

1. 挿絵
文章から絵を生成することができることから、本の文章を入力としてそのイメージの絵を生成する

2. 番組コンテンツ
・プロアーティストが描いた絵とAIが生成した絵を用意しどちらがAIが作成した絵か当てる（逆も然り）ゲーム
・絵からテキストを推測する（逆も然り）ゲーム
・SF番組など現実ではあり得ない状況の画像が欲しいとき

3. 資料作成における画像製作
資料を作成する上で欲しい画像のイメージをテキスト化することで、
画像を検索にかけて探してダウンロードして…という作業を割愛できる。

　画像生成AIが盛り上がりを見せているなか、8月22日にリリースされた「DreamStudio ベータ版」は
高性能かつ操作しやすいGUIにより簡単に画像が生成できる有能なサービスであることがわかった。
また、他のAI画像生成ソフトに比べ、使用環境ではハイスペックなマシンが必要なく、サービス自体の価格も安価である。
今後正規版がリリースされることでさらに盛り上がるだろうと感じた。
　AIが絵を描く時代になり、誰もが簡単に画像を生成できるようになった。ユニークな画像が誕生することで、
SNSのアカウント画像への利用や資料や本などの挿絵などユーザーごとに違った使い方がされると思う。
その反面、コンプライアンスの問題や作成された画像が他者の作成した画像に類似した場合の著作権問題など多くの問題が伴う。
　また、アート業界において、AI画像が盛り上がるにしたがって人間が描いた絵が埋もれていく末が予測できる。
これにより、人間が描いた絵かAIが作成した絵かを分別するナニかを考える必要がある。
私たちが、この技術を上手に活用していくために解決しなければいけない問題や意識しなければいけないことが
たくさんあるように思った。
　最後に、AI生成画像をうまく応用することは面白いコンテンツを誕生させる切り札になるのではと思う。

参照文献
画像生成AI「Stable Diffusion」DreamStudioの使い方
https://kai-you.net/article/84547
Google Colaboではじめる StableDiffusion v1.4
https://note.com/npaka/n/ndd549d2ce556
[クリエーターの法務]AI技術と著作権法
https://note.com/lawyer_funabashi/n/n8fccf3a045ab
StableDiffusion
https://huggingface.co/spaces/stabilityai/stable-diffusion
→StableDiffusionのデモ版。アカウント登録なしで使用可能。

DreamStudio
https://stabilityai.us.auth0.com/u/login?state=hKFo2SBPLW9icHFWdFo0dDFHbmZsQi1OZXdnbzM5R0hjSEZlMaFur3VuaXZlcnNhbC1sb2dpbqN0aWTZIDg3MFVEb19Fa3lIaEVXeFFrX25RZlBwNS1lVm5WY2tyo2NpZNkgS3ZZWkpLU2htVW9PalhwY2xRb