AIで適当な線画を清書し、さらに色を塗って高品質なイラストに仕上げる方法【ControlNet活用術】

AIでイラスト作業を効率化しよう 画像生成AI

今回はAIを使ったイラスト制作作業の効率化に関する話題で、タイトルの通り

適当に描いた線画だけを用意して、あとはAIにお任せで高品質なイラストを完成させる方法

をまとめてみるという内容になっています。

以前、画像生成AIの新しい技術であるControlNetをご紹介したところ大きな反響があったのですが、一方でControlNetに関しては

  • キャラクターのポーズを指定する以外にも活用方法があると聞いたけど、他の使い道がいまいちよく分からないなぁ
  • できればポーズ指定以外の具体的な活用方法が知りたい

という意見もちらほら見かけた気がします。そのような中で、最近ControlNetを活用してイラスト制作作業を大幅に効率化できる方法を見つけたのでぜひご紹介しておこうと思った次第です。

そこでここではその方法について丁寧にご説明していきます。普通のイラスト制作だけでなくゲーム用素材の制作などにも非常に役立つと思いますので、ぜひ最後までご覧いただければと思います。

※2023/05/15追記:
下記で使用しているControNetのバージョンは「1.0」です。最新のControlNet1.1では新機能が追加されて下記以外の方法でもイラスト制作が捗るようになりました。その辺についてもご紹介できるように後で記事を更新しようと思います。
とりあえず現時点では古いスクリーンショット等も混じっていますので設定値などは適宜読み替えてください。

前提:ControlNetを使えるようにしておこう

まずはじめに、今回ご紹介する方法を使うためには次の2つの準備が必要です。

  1. Stable Diffusion web UIをインストールして使えるようにしておく。
  2. Stable Diffusion web UI用のControlNet拡張機能もインストールしておく。

この2つについては下記の記事でやり方等を丁寧にご説明していますので、まだ準備ができていないよという方はそちらも併せてご覧ください。

「Stable Diffusion web UI」のインストール方法・日本語化・使い方まとめ(AUTOMATIC1111版)
今回も画像生成AIに関する初心者向けの話題で、タイトルの通り 「Stable Diffusion web UI」のインストール方法・日本語化の方法・使い方 をまとめてみるという内容になっています。 画像生成AIの代表格であるStable D...
ポーズを指定して画像を生成できる「ControlNet」の使い方【Stable Diffusion web UI】
今回も画像生成AIに関する話題で、タイトルの通り ポーズや構図をきっちり指定して画像を生成できる「ControlNet」の使い方 を丁寧にご紹介するという内容になっています。 画像生成AIを使ってイラストを生成する際、ポーズや構図を決めると...

AIを使って適当な線画から高品質なイラストを完成させる手順まとめ

ではここから、AIを活用して「適当な線画からハイクオリティなイラストを得る方法」を詳しく解説していきます。

今回紹介する手順で使った線画と完成したイラストの例

まずは今回ご紹介する方法でどんな線画からどんなイラストができるのか?というサンプルをご用意していますのでそれを掲載します。

私が適当に描いたオリジナルキャラ「くまみちゃん」の線画 ControlNetで清書した線画 ControlNetで左の線画を着色して完成させたイラスト
筆者が適当に描いた「くまみちゃん」の線画 ControlNetで清書した「くまみちゃん」の線画 ControlNetで着色して完成させた「くまみちゃん」のイラスト

なかなかかわいいでしょ?私は絵があまり上手くないのですが、AIがキャラクターの特徴を上手く拾ってくれたおかげで元の特徴を維持しつつハイクオリティなイラストに仕上がっていることが分かりますね。

ちなみに完成までの所要時間は20分くらいです。私が苦労して下手な線画を描くのにかかった時間が大半なので、絵を描くのが得意な人なら10分もかからずにもっとクオリティの高いイラストを完成させることができることでしょう。

ハイクオリティなイラストを簡単に得るための作業手順

さてそれでは肝心の手順についてですが、主に次の2ステップを行います。

  1. ControlNetの「scribble」で線画を清書する
  2. 清書した線画をControlNetの「canny」で着色する

なお下記の手順で使用するモデルは「Anything v4.5」です。詳細は下記ページをご覧ください。

短い呪文で美少女を生成できるモデル「Anything」が便利!アニメ風イラストを手軽に作ろう【Stable Diffusion】
今回も画像生成AIに関する話題で 短い呪文でハイクオリティな美少女イラストを生成できるStable Diffusionモデル「Anything」 をご紹介するという内容になっています。 Stable Diffusion系のモデルで美少女イラ...

ではそれぞれの手順を詳しく見ていきましょう。

手順1:「scribble」で線画を清書する

まずControlNetで落書きを清書する「scribble」を使って線画の清書を行います。設定値は下の画像のようにほぼデフォルト値ですが、Preprocessorとモデルの設定を忘れないようにしてください。

線画を清書するためのControlNetの設定例

また呪文は次のとおりです。線画なので「line drawing」「white background」というキーワードを含めたほか、キャラクターの服装を漏れなく記入しました。

線画を出力するための呪文の例

これで何度かガチャを引くと下のように綺麗に清書されたかわいい線画が生成されたので、これを採用することにしました。

ControlNetで清書した「くまみちゃん」の線画

なおここでは白黒の線画風にしましたが、使用するモデルなど条件によってはこのようなきれいな線画にできない場合もあります。しかし多少色がついていても問題はありません。あまりこだわりすぎずに次のステップに進んでください。

手順2:清書した線画を「canny」で着色する

次に、先ほど清書した線画を今度は「canny」で着色してイラストを完成させます。cannyは輪郭を抽出して画像生成を行うモデルです。設定値はやはりほぼデフォルトですが、こちらもPreprocessorとモデルの設定を忘れないようにする必要があります。

線画を着色するためのControlNetの設定

呪文は下記のとおりで、普通にイラストを生成するプロンプトとほぼ同じです。ただし服装に関しては色の指定をお忘れなく。

線画を着色する際の呪文の例

こちらも何回か生成すると、かわいくてクオリティの高いイラストが生成されました。

若干、思っていたのと違う色になった部分もありましたが結果としては何の不満もなく大満足です。下手な線画がこんなにかわいい美少女イラストになるなんてまさに夢のような気分ですね。

※2023/04/19追記:
ControlNet 1.1で追加された「Anime Lineart」モデルを使った場合も線画をきれいに着色することができます。よかったらそちらも試してみてください。

線画を一旦AIで清書する理由

ちなみに、ここまでの手順をご覧いただいた方の中には

わざわざ清書→着色しなくても、用意した線画をcannyやscribbleで直接イラスト化すればいいんじゃないの?

と思った方もいらっしゃることでしょう。一応その辺も検証して比較してみたのでご覧ください。

cannyのみで直接イラスト化 scribbleのみで直接イラスト化 上記の「清書→着色」の手順を踏んだイラスト
cannyだけで出力したくまみちゃん ControlNetで着色して完成させた「くまみちゃん」のイラスト

まず、cannyのみで直接イラスト化すると私の下手な線画の輪郭に引っ張られてあまりクオリティが高くないイラストになってしまっていることが分かります。一方でscribbleのみで直接イラスト化したものはかなり健闘しており決して悪くないのですが、やはり先ほどの手順を踏んだイラストと比較するとクオリティが一段劣る印象です。

このような結果を踏まえると、今回私が試した限りでは「線画の出来がよくない・またはラフ状態の場合」は一旦線画を清書→改めて着色、という手順を踏んだ方がクオリティの高いイラストを生成できるようです。参考になさってください。

おわりに

以上、ControlNetを活用して線画から高品質なイラストを得るための方法をご紹介しました。今回の方法を使えばイラスト制作が大幅に楽になると思いますので、ぜひ試してみてください。

この記事が何かしら参考になれば幸いです。