AI動画 on KnightLiブログ

miHoYo LPM 1.0 解説：AI 動画モデルはゲーム NPC をどう変えるのか

Fri, 08 May 2026 22:27:10 +0800

LPM 1.0 は、また一つの AI 動画生成モデルだと誤解されやすい。デモだけを見ると、一部の text-to-video 製品のような大きなカメラ演出や強烈な視覚インパクトを狙っているわけではない。しかし論文の目的に戻すと、本当に解こうとしているのは「見栄えのよい動画を生成すること」ではなく、「インタラクションの中でデジタルキャラクターに存在感を持たせること」だとわかる。

ここが LPM 1.0 と一般的な動画モデルの最大の違いだ。一般的な動画モデルは画質、カメラの連続性、プロンプト再現に注目する。LPM 1.0 が注目するのはキャラクターの演技である。話しているときは口形、リズム、表情が同期し、聞いているときはうなずき、視線、間、微表情があり、長時間の対話でも同じキャラクターとして安定する必要がある。

動画生成から演技生成へ

LPM は Large Performance Model、つまり大型パフォーマンスモデルを意味する。この名前は重要だ。タスクの境界を「動画」から「演技」へ移しているからである。

実際の会話で相手が自然に感じられるかどうかは、何を言うかだけでは決まらない。多くの場合、聞くこと自体がコミュニケーションになる。適切なタイミングでうなずくか、視線が文脈に合っているか、表情が感情に合わせて少し変化するかが、「このキャラクターは生きている」と感じられるかを左右する。

既存の多くのデジタルヒューマンは、テキスト、音声、口形を人物の見た目に貼り付けているに近い。キャラクターは話せるが、必ずしも聞けるわけではない。台詞を出せても、直前の入力に連続的に反応できるとは限らない。LPM 1.0 の目的は、この受動的な再生をリアルタイムの対話へ変えることだ。

論文が扱う三つの難題

LPM 1.0 の論文は、AI キャラクターパフォーマンスの問題を三角関係として整理している。表現力、リアルタイム性、長時間のアイデンティティ安定性である。細かい表現ができても遅い、応答は速いが動きが硬い、短時間は安定しても長く続くと見た目がずれる。三つを同時に満たすのは難しい。

この問題に対し、LPM 1.0 はより複雑なキャラクター条件入力を使う。モデルに一枚の参照画像だけを与えるのではなく、全体外観、複数視点の身体、複数表情の顔参照を含む多粒度の identity reference を導入する。目的は、横顔、歯、表情の質感、身体比率などをモデルが勝手に補完してしまうのを減らし、長時間生成でも変形しにくくすることだ。

論文では、話す行動と聞く行動も分けている。話す音声は主に口形、話速、頭部や身体のリズムを駆動する。聞く音声は視線、うなずき、姿勢変化、微表情を引き起こす。二つの信号を一つの制御に混ぜると、モデルは誤った対応を学びやすい。LPM 1.0 は speaking と listening を別々にモデル化し、オンラインシステムで一つの対話フローに接続する。

Base LPM と Online LPM

公開論文によると、LPM 1.0 の基盤は 17B パラメータの Diffusion Transformer である。Base LPM は高品質で制御可能、かつ identity-consistent なキャラクター演技動画を学習する。Online LPM は蒸留されたストリーミング生成器で、低遅延かつ長時間の対話を支える。

この分割は重要だ。オフラインモデルは品質を追求できるが、対話シーンではユーザーを長く待たせられない。ユーザーが話し始めたら、キャラクターはすぐに「聞き」始める必要がある。キャラクターが話し始めたら、口形、表情、身体動作も即座についてこなければならない。Online LPM の価値は、複雑な動画生成をリアルタイム対話に近い形へ圧縮する点にある。

したがって LPM 1.0 は、単にクリエイター向けの短尺動画素材ツールではない。対話エージェント、バーチャル配信者、ゲーム NPC のための視覚エンジンに近い。言語モデルが内容を理解して生成し、音声モデルが声を担当し、LPM が画面内のキャラクターを信頼できる形で演じさせる。

ゲームにとっての意味

ゲーム業界に置くと、LPM 1.0 が示すのは、より美しいカットシーンではなく、次世代のインタラクティブキャラクターだ。

従来のゲーム NPC は、事前に書かれたスクリプト、固定アニメーション、限られた分岐に依存している。プレイヤーは会話できるが、反応はほとんど設計済みである。AI 時代の目標はさらに先にある。同じ世界観の中でプレイヤーごとに異なる物語が生まれ、同じキャラクターでも相手に合わせた動作、感情、応答を返せることだ。

これこそ、個別化されたゲーム体験に必要な基盤である。言語モデルは台詞を生成でき、行動システムは目標を決められる。しかし画面上のキャラクターが硬いままでは、プレイヤーはそれが自分を理解していると信じにくい。LPM 1.0 が補おうとしているのは、この視覚と演技の層である。

万能の完成品として見ない

もちろん、LPM 1.0 は今のところ、すぐ大規模商用化できる完成品というより技術ルートとして理解するほうがよい。論文とデモは、リアルタイム、フルデュプレックス、identity-stable なキャラクター動画生成が実用に近づいていることを示している。ただしゲームに本格導入するには、コスト、遅延、端末側展開、コンテンツ安全性、キャラクター権利、マルチプレイヤー場面、エンジン統合などの問題が残る。

現実的な導入は、最初からすべての NPC を置き換えることではないだろう。まずはバーチャル配信者、AI コンパニオン、物語対話、キャラクター型サポート、教育コーチングのような単一キャラクター場面に入る可能性が高い。モデルコストが下がり、遅延がさらに減れば、より複雑なゲームシステムへ進める。

まとめ

LPM 1.0 の価値は、最も派手な動画を生成できるかではない。AI 動画の目標を「画面生成」から「キャラクターの存在感」へ押し出している点にある。

将来のゲームがより個別化され、より動的になり、AI キャラクターに依存するなら、言語、音声、動作、表情、アイデンティティの一貫性は一緒に設計されなければならない。LPM 1.0 はその一つの道筋を示している。デジタルキャラクターが話すだけでなく、聞き、反応し、長い対話でも同じ存在であり続けるための道筋である。

参考リンク：

Pixelle-Video：1つのテーマから短尺動画を生成するオープンソース AI エンジン

Thu, 07 May 2026 20:25:17 +0800

Pixelle-Video は、AIDC-AI が公開している全自動短尺動画生成エンジンです。目標は明快です。ユーザーがテーマを入力すると、動画台本、AI 画像または動画、音声ナレーション、BGM、最終合成までを自動で処理します。

この種のツールは、短尺動画の量産、知識解説、口播コンテンツ、小説解説、歴史・文化系動画、自媒体向け素材実験に向いています。単体の「テキストから動画」モデルではなく、複数の AI 能力をつなげた制作パイプラインです。

自動化できること

Pixelle-Video の標準フローは次のように整理できます。

テーマまたは固定台本を入力する。
大規模言語モデルでナレーション原稿を生成する。
シーン設計に沿って画像または動画素材を生成する。
TTS で音声ナレーションを生成する。
BGM を追加する。
動画テンプレートを適用して最終動画を合成する。

README では「台本生成 → 画像計画 → フレームごとの処理 → 動画合成」という流れとして説明されています。モジュール化されているため、各ステップのモデルやパラメータを差し替えたり、独自ワークフローに変更したりしやすい構成です。

主な機能

プロジェクトが対応している機能はかなり幅広いです。

AI 台本生成：テーマから動画ナレーションを自動生成。
AI 画像生成：各セリフや各シーンに対応するイラストを生成。
AI 動画生成：WAN 2.1 などの動画生成モデルに対応。
TTS 音声：Edge-TTS、Index-TTS などをサポート。
BGM：内蔵 BGM またはカスタム音楽を利用可能。
複数サイズ出力：縦動画、横動画など複数の比率に対応。
複数モデル：GPT、Qwen、DeepSeek、Ollama などに対応。
ComfyUI ワークフロー：標準ワークフローを使うことも、画像生成、TTS、動画生成などを差し替えることも可能。

最近の更新では、モーション転写、デジタルヒューマン口播、画像から動画、多言語 TTS ボイス、RunningHub 対応、Windows 一体型パッケージなども追加されています。単なるスクリプトではなく、より完成度の高い制作ツールへ向かっていることが分かります。

インストールと起動

Windows ユーザーは、まず公式の一体型パッケージを見るのがよいでしょう。Python、uv、ffmpeg を手動で準備せずに使えるようにするためのもので、展開後に start.bat を実行し、ブラウザで Web UI を開いて API と画像生成サービスを設定します。

ソースコードから起動する場合、README では次の基本手順が示されています。

1
2
3

git clone https://github.com/AIDC-AI/Pixelle-Video.git
cd Pixelle-Video
uv run streamlit run web/app.py

ソースからの利用は macOS、Linux ユーザーや、テンプレート、ワークフロー、サービス設定を変更したい人に向いています。主な前提は uv と ffmpeg です。

設定の要点

初回利用時に重要なのは、すぐに「生成」を押すことではなく、外部能力を正しく接続することです。

LLM 設定は台本品質を左右します。Qwen、GPT、DeepSeek、Ollama などを選び、API Key、Base URL、モデル名を入力します。コストを抑えたいならローカルの Ollama が候補になります。安定した結果を優先するなら、クラウドモデルの方が扱いやすいことが多いです。

画像・動画生成設定は画面品質を決めます。プロジェクトはローカル ComfyUI と RunningHub に対応しています。ComfyUI に慣れているユーザーなら、自分のワークフローを workflows/ ディレクトリに置き、標準の画像生成、動画生成、TTS フローを差し替えられます。

テンプレート設定は最終動画の見た目を決めます。プロジェクトは templates/ ディレクトリで動画テンプレートを管理し、静的テンプレート、画像テンプレート、動画テンプレートを命名規則で分けています。クリエイターにとっては、素材だけでなく、そのままプレビューしてダウンロードできる動画まで出せる点が実用的です。

向いている人

Pixelle-Video は次のような人に向いています。

短尺動画クリエイター：企画を素早く投稿可能な下書き動画にしたい人。
AIGC ツールユーザー：LLM、ComfyUI、TTS、動画合成をつなげたい人。
開発者・自動化ユーザー：オープンソースを基にテンプレートやワークフローを改造し、自分の素材やモデルを接続したい人。

高品質な一本ものの動画を作るだけなら、手作業の編集を完全に置き換えるとは限りません。ただし、同じ構造の解説動画、口播動画、科普系コンテンツを大量に作りたいなら、このパイプライン型の考え方はかなり有用です。

注意点

この種のツールの上限は複数の工程で決まります。台本モデルが弱いと内容が薄くなり、画像モデルが弱いと画面が散らかり、TTS が不自然だと動画が粗く感じられます。テンプレートが合わなければ、最終的な見栄えも弱くなります。

そのため、まずは「60秒の縦型知識解説動画」のような固定シーンから調整するのがおすすめです。LLM、画風、TTS 音色、BGM、テンプレートを固めてから、ほかのテーマへ広げる方が安定します。

また、ローカル無料構成にも対応していますが、通常は GPU、ComfyUI 設定、モデルファイルが必要です。ローカル推論環境がない場合は、クラウド LLM と RunningHub を組み合わせると導入は楽になりますが、利用コストには注意が必要です。

短評

Pixelle-Video の見どころは「一文から動画を生成できる」ことだけではありません。短尺動画制作を、台本、映像、音声、音楽、テンプレート、合成という交換可能なモジュールに分解している点にあります。一般ユーザーにとっては低ハードルの AI 動画ツールであり、開発者にとっては改造しやすい短尺動画自動化フレームワークです。

AI 短尺動画パイプラインを研究している人、あるいは ComfyUI、TTS、LLM、テンプレート合成を一つの製品としてつなげたい人なら、Pixelle-Video は試して分解してみる価値があります。