FramePack: 実用的なビデオディフュージョンをコンシューマー向けGPUで

ノートパソコンとデスクトップで、わずか6 GB VRAMのみで、フレームごとに30 fpsのフル動画を生成。すでにFramePackでワークフローを加速している何千人ものクリエイターに参加しましょう。

FramePackを始める GitHubで見る

画像から5秒の動画へ (30fps、150フレーム)

すべての結果は、13B HYモデルを搭載したRTX 3060 6GBノートパソコンで計算されました。(動画はGitHubリポジトリに収まるようh264crf18で圧縮されています。)

画像から60秒の動画へ (30fps、1800フレーム)

なぜFramePackを選ぶのか？

低VRAM要件

わずか6GBのVRAMで高品質な動画を生成でき、ノートパソコンや手頃なGPUでも利用できます。

フル尺の30 FPS動画

毎秒30フレームの滑らかでプロ品質の動画を、最大60秒まで作成できます。

オープンソース＆拡張可能

研究者と開発者のために、拡張しやすいモジュール式のPythonコードベースで構築されています。

FramePackは誰のためのもの？

コンテンツクリエイター

FramePackを使って静止画像を動かし、YouTube、TikTok、マーケティング動画を数分で作成。

研究者＆開発者

FramePackのモジュール式Pythonコードベースを拡張して、新しいビデオディフュージョンのアイデアを素早く試作。

スタジオ＆代理店

FramePackを使えば、高額なレンダーファームなしでストーリーボードやダイナミック広告を繰り返し改善できます。

あなたが気に入るFramePackの機能

最適化されたパフォーマンス

RTX 4090で1フレームあたり約2.5秒（最適化時は1.5秒）、ノートパソコンでも同様に効率的。

高品質な出力

一貫したスタイルと滑らかなトランジションで、プロ品質の動画を生成。

クロスプラットフォーム対応

Linuxでは完全対応。Windows用のワンクリックパッケージも近日公開予定。

活発なコミュニティ

AI動画生成の限界を押し広げる、成長を続けるクリエイターと研究者のコミュニティに参加しましょう。

FramePackユーザーの声

Redditユーザー @ai_enthusiast

“ついに、8 GBのノートパソコンGPUで動作するビデオディフュージョンが登場！FramePackは、画像向けのStable Diffusionと同じくらい快適に動作します。”

FramePackよくある質問（FAQ）

FP16/BF16対応のRTX 30、40、50シリーズのカード。下位モデルでも動作する可能性がありますが、未検証です。

インストール

独立したPython 3.10の環境を用意することをお勧めします。

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126
pip install -r requirements.txt

GUIを起動するには、次を実行してください：

python demo_gradio.py

--share、--port、--serverなどのオプションに対応していることに注意してください。

本ソフトウェアはPyTorchアテンション、xformers、flash-attn、sage-attentionに対応しています。デフォルトではPyTorchアテンションが使用されます。詳しい方向けに、これらのアテンションカーネルをインストールすることもできます。

例えば、sage-attentionをインストールする場合（Linux）：

pip install sageattention==1.0.6

ただし、sage-attentionは結果に影響を与えるため（影響はわずかですが）、最初はsage-attentionなしで試すことを強くお勧めします。

プロンプト作成ガイドライン

FramePackで最適な結果を得るには、効果的なプロンプト作成が不可欠です。以下のガイドラインを参考に、画像から高品質なビデオアニメーションを生成するプロンプトを作成しましょう。

推奨プロンプトテンプレート

一貫した結果を得るには、次のChatGPT指示テンプレートを使って動きに焦点を当てたプロンプトを生成することをお勧めします：

あなたは、画像をアニメーション化するための短く動きに焦点を当てたプロンプトを作成するアシスタントです。ユーザーが画像を送信したら、視覚的な動き（人物の動作、動く物体、カメラワークなど）を表す、簡潔なプロンプトを1つだけ返してください。短いフレーズを使って、シーンがどのように生き生きと動き始めるかだけに焦点を当ててください。大きくてダイナミックな動き（踊る、跳ぶ、走るなど）は、小さくて微妙な動き（立ち止まる、座るなど）よりも優先されます。被写体、次に動き、その次にその他の要素の順で説明してください。例：「少女が優雅に、はっきりとした動作で、魅力的に踊ります。」踊れるもの（男性、女性、ロボットなど）がある場合は、それを踊っていると説明することを優先してください。ループを続けてください：画像を1枚入力したら、動きのプロンプトを1つ出力します。説明や質問をしたり、複数の選択肢を生成したりしないでください。

出力例

上記の指示とともに画像をChatGPTに提供すると、次のような簡潔な動きのプロンプトが返ってきます：

“男性が力強く踊り、キレのあるポーズを決めながら、反射する床の上を滑らかに移動する。”

自分でプロンプトを書く

次の原則に従って、自分でプロンプトを作成することもできます：

プロンプトは簡潔にし、動きに焦点を当てる
構成は：被写体 → 動き → 追加の詳細
静止したポーズよりもダイナミックな動きを優先する
動きの質を具体的にする（優雅に、力強くなど）

効果的なカスタムプロンプトの例：

“少女が優雅に、はっきりとした動作で、魅力的に踊ります。”

“男性が力強く、はっきりとした動作で、エネルギーにあふれて踊ります。”

FramePack: 実用的なビデオディフュージョンを コンシューマー向けGPUで