ビデオノードを用いた基礎学習 creado con SeaArt AI

今回はComfyUIでのビデオ接続について説明させていただきたいと思います。

実際にComfyUIのワークフローの学習ってどのようにすれば良いのか・・・

ビギナーの方にとってはおそらくこれが最も難しい課題ではないでしょうか・・・

最近動画生成も主流になってきましたので動画結合を参考にいくつかノードの解説も交えながら記事にしていきたいと思います。

【基本的な流れ】➤【各ノードの解説（主要部分の抜粋）】➤【応用編】の順に説明させていただきますが、他のワークフロー構築でも参考にできる要素も含めて紹介させていただきます。

ちなみに私も完全には理解できていませんので解釈に不備があるかもしれませんが、なるべくみなさんに伝わりやすい言葉で説明していきたいと思いますのでご了承ください。

なお、手軽にビデオ結合できれば良いという方はぜひ下記のアプリをご活用ください。

なお、この記事での学習ではこちらのワークフローもご活用ください。

➤ビデオノードの基本的な接続 | ComfyUI Workflow

【基本的な流れ】

このワークフローを開いていただくと、このような画面が表示されると思います。

Load Video (Upload) : 動画をアップロードするためのノード
Video Info : アップロードした動画の情報を取得します。（このワークフローでは【fps】を自動取得するために追加しています。）
Image Batch Multi : 類似したノードも存在しますが、映像部分を接続するためのノード
Audio Concat : 音声部分を接続するためのノード
Video Combine : 加工されたデータを動画として保存するノード

それでは、各ノードの詳細について触れていきましょう。

【Load Video (Upload) 解説】

それではまず、アップロードした動画がどのような情報を出力しているのかを確認してみましょう。（下図参照）

それを確認するために [ Display Any Text v2 / i ] ノードを活用していきます。

このノードはあらゆるノードの各ポートからの出力を確認することができますので、新しいノードを試す場合などに積極的にポートの出力情報を確認されることをお勧めします。

特に [ OpenSeaArt_Chat ] などでは、指示に対してどのような出力がされているかが見えないため、ワークフロー作成時にはとても有効です。

このような情報が各ポートから出力されていることがお分かりいただけると思います。

【Video Info 解説】

このノードはビデオ結合するだけなら必須ではありませんが、生成に使用したビデオモデルにより[ fps ] が異なる場合などがあるため、ここからのノード出力を使用することで、データ保存時の数値指定の自動化が可能になります。

以前の映像主体の動画モデルは [ fps: 24 ] のデータが主流でしたが、最近の音声統合型の動画モデルでは [ fps: 30 ] のデータになってきています。

データを保存する際には[ fps ] は指定した値に固定されてしまいますので、異なる[ fps ] のデータを結合した際や、[ fps ] を変化させた場合には動画の長さが変化する点を理解しておく必要があります。

そして、このノードから下記の情報を個別に得ることで、ワークフローを拡張していく際に出力された値を直接使用することができるようになります。

fps: 動画のフレームレート（1秒間に何枚のフレーム（画像）を出力させるか）
frame count: フレーム数（動画全体に含まれるフレーム数：fps-30 で5秒間の動画では 150 のフレームが含まれていることになります。）
duration: 動画の長さ（時間）
width: フレームの横のサイズ
height: フレームの縦のサイズ

それではこれらの情報は実際にどのような数値を得ているのでしょうか？

ここでも [ Display Any Text v2 / i ] ノードを活用して実際の出力を確認してみます。

今回のサンプルとしてアップロードした出力を見てみるとこのようになりました。

黄色枠エリアが [ source ] からの出力、青枠エリアが [ loaded ] からの出力情報になります。

[ source ] と[ loaded ] に分けられていますが、該当する項目が同じであれば当然同じ値を表示します。

ここから、

fps 30
フレーム数150
動画の長さ 5（秒）
横 1280
縦 720

という情報を個別に取得することができるようになります。

このワークフローでは [ source_fps ] の出力を直接 [Video Combine] に接続していますので、どのような[ fps ] の動画をアップロードしても、それに合わせて保存できるようになります。

【Image Batch Multi 解説】

このノードは画像を結合するためのノードです。

Load Video (Upload) からの画像はフレーム数だけ出力されますので、下図のように接続することで、ポート番号の順番にすべてのフレームを一つのデータに纏めてくれます。

[ inputcount ] を変更して [ Update Inputs ] を押すことで３つ以上の動画も接続できるようになります。

【Audio Concat 解説】

このノードは音声を結合するためのノードです。

Load Video (Upload) からの音声だけでなく、単独でアップロードした音声にも使用できます。

[ direction ] を変更して [ before ] を指定すると、[ audio2 ] に入力した音声が前に接続されるようになります。

【Video Combine 解説】

このノードは加工されたデータを動画として保存する役割を果たします。

image: 映像データの入力ポート
audio: 音声データの入力ポート

となっており、

[ audio ] ポートになにも接続しなければ無音の動画になります。

主に指定する必要がある項目としては、

frame rate: 基本は元の動画に合わせる（30 fps の動画を 15 fps 出損した場合、動画の長さが2倍になりますが、再生速度も1/2もになります）
loop count: これは通常使用しませんが、動画のループ回数を指定します。（ 2 を指定した場合、同じ動画が２回繰り返されてから終了するようになります）
format: ファイルの保存形式を指定します。（下図：右　のように複数から選択できますが、一般的には [ video/h264-mp4 ] で使用されると幅広く対応できると思います。）
pingpong: これを[ true ] にすると、動画を往復させて保存します。

【応用編】

【音楽を追加する】

音楽を追加したい場合には、下図のように、ビデオからの音声を入力せずに、音声を読み込むノードから音楽などを接続すると、[ audio ] ポートから入力された音声だけを含む動画に変更できます。

接続前の音声を残したまま、音楽を追加したい場合には、ここに接続する前に音声を合成しておく必要があります。

【出力サイズを変更する】

[ Image Resize ] ノードを追加して、サイズを指定することで、フレームの出力サイズを変更することができます。[ method ] は、特に縦横比が変化する場合、出力に与える影響が大きいので状況に応じて設定する必要があります。

strech: 出力サイズに合わせて引き延ばしを行います（縦横比が変化する場合形状が崩れます）
keep proportion: プロポーションを維持して変形させます（縦横比の変化による歪が減少します）
fill / crop: 入力データと同一の縦横比で大きめに引き延ばした後に指定サイズに切り出します。（指定したサイズに収まらない端の部分がトリミングされます）
pad: 指定サイズに満たない部分に画像の無い部分が追加されます。（フレームの原型を維持して余白（黒）で全体サイズを調整します）