【AI】EbSynthの使い方【創作活動】

1.EbSynthとは

EbSynthとはスタイル転送技術「Stylizing Video by Example」により動画に1つ以上のキーフレームを割り当てることで,動画全体のスタイルをキーフレームのように変換する無料のソフトのことです.

百聞は一見に如かずということで公式のサンプル動画を見てもらえればと思います.

このソフトを使用してみて気づいたことや注意点などをまとめていこうと思います.

2.フローチャート

  1. EbSynthをダウンロード
  2. 素材(動画)の準備(y2mate or offliberty)
  3. 素材を連番画像に変換(AviUtl or Blender)
  4. 画像編集ソフトを使いキーフレームを作製する(GIMP)
  5. EbSynthにを使用し連番画像を変換
  6. 連番画像を動画編集ソフトで動画に変換

色々な解説サイトを見ましたが,上記5番においてうまく変換できなかった場合のEbSynth設定値の設定方法について見当たらなかったので解説したいと思います.

また,注意すべきポイントをまとめてみました.

3.ポイント

導入時

  • ファイルのパスに日本語が使われているとうまく動作しないことがあるため,作業フォルダ等に日本語を使用しない.

連番画像への変換時

  • png,jpg形式などがOK(pngがおすすめ).注意すべきはファイル名で0はEbSynthが対応していないため1からスタートにすること.また,数字のみにしたほうが不具合が少ない.

フレーム番号の入力時

  • ファイル名が001.pngの場合は、1と入力する.

フレームの設定時

  • キーフレームで見えない箇所はEbSynthではうまく生成できないため,最初のキーフレームで見えないところが現れたフレームから新しいキーフレームを使うように設定する.
  • Stopが2か所あるが,左側はStart(変換の開始地点)であることに注意.

変換時

  • Weightを適切な値に設定する.(今回解説するとこ)

4.解説

今回使用した素材

まずはkeykeyframeを作成します.

ソフトを起動し,Advancedをクリックし設定の詳細を表示させます.

色々な条件を試す際は処理速度を早くするために,Garbageにします.

良い条件が決まったらMediumまたはHighにしたから変換します.

今回検討するのはWeightという項目です.

まずは,初期値のkeyframes(以後kと表記)1.0とVideo(以後vと表記)4.0で変換してみる.

全然スタイルが適用されていないことが分かる.


左:入力画像 右:出力画像

数字の大きさがどのように影響するかを見るため,kとvの値を0.0-0.0,0.1-0.1,0.5-0.5,1-1,10-10(kの値-vの値)で変換してみました.

数字が小さいほどスタイルの適用が上手くいく傾向にあるが,スカートの裾などが歪んでしまう傾向にある.

このことから数値は低めに設定(1.0以下)にしたほうが良いと判断しました.

次に,k/v比がどのように影響するかを見るため0.0-0.0,0.0-0.1,0.0-0.2,0.0-0.3で変換してみました.

keyframeと似た画像ではk/v比(0.0をk/v比の計算に含む場合,0.0を1,0.1を2……として計算)が0.50~0.25倍どれでも大きな違いがありませんが,

keyframeに移っていなかった部分がある画像では歪みが出てくる傾向にあるので,このような場合は新しくkeyframeを追加したほうが良いでしょう.

しいて言うなら,k/v比が0.50~0.33倍良いかと思います.

次に,k/v比がどのように影響するかを見るため0.3-0.3,0.3-0.2,0.3-0.1,0.3-0.0で変換してみました.

k/v比2~4倍ではどれも歪みが見られるため,k/v比を1以下(kよりvを大きくする)にすることが良いと思います

検討結果まとめ

以上をまとめますと

  1. 数値は低めに設定すること
  2. k/v比を1.0~0.33倍程度にすること
  3. keyframeに移っていなかった部分がある画像では歪みが出てくる傾向にあるので,適宜keyframeを追加すること

以上の3点を踏まえればよい変換ができると思います.

皆さんの参考になれば幸いです.

5.その他

BBやGBを作成したい場合,5秒という制限がありますがこちらのWebサービスを使うのもよいかもしれません.(5秒以上は有料版)

AIの力でビデオの背景を削除することができます.

参考 UnscreenUnscreen

出力結果はこちらになります.

こちらも同様のサービスですがこちらのほうが背景の削除箇所をある程度自分で指定できるうえ,時間も2分と長いのでこちらのほうが使い勝手いいです.

参考 RunwayRunway

出力結果はこちらになります.動画によってはこれでもいいかもしれませんね.

6.使用ソフトなど

動画のダウンロード(Windows10 の標準機能で画面を録画してもよい)

参考 YouTubeからのビデオとオーディオのダウンロードy2mate 参考 offlibertyoffliberty

動画編集

参考 AviUtlのダウンロードAviUtlのお部屋 参考 AviUtlの解説AviUtlの易しい使い方 参考 連番PNGプラグインAviUtl 物置 - JPN takeshima 参考 BlenderのダウンロードBlender 参考 Blenderの解説Blender.jp

画像編集

参考 GIMPのダウンロードGIMP

EbSynth

参考 EbSynthのダウンロードEbSynth

7.参考文献

EbSynth公式サイト・サムネイル

参考 EbSynthEbSynth

解説ブログ01

参考 EbSynthの使い方 EbSynthでBB制作まいまい

解説ブログ02

参考 手書き風アニメーションに変換(使い方)【EbSynth】 CLIP STUDIO ペイントの備忘録.

解説動画01

解説動画02

解説動画03

文野環さんのチャンネル

参考 文野環【にじさんじの野良猫】ふみのたまきYoutube

検討結果まとめ

参考 EbsynthのWeight検討結果Google Drive

8.関連記事

創作活動に使用できそうなソフトやサイトをまとめてみました.

リストは随時更新していきます.

【AI】創作活動に役立ちそうなWebサービス・ソフト【まとめ】

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

CAPTCHA