ここで、子犬にパーティーハットを追加する。
いかに同一性が保たれているかに注目してください。
この例では、パパイヤをケーキに置き換えています。
この例では、シーンを置き換えながらカメラの動きを保持しています。
水がいかにリアルに車輪と相互作用しているかに注目してください。
次に、画像から動画への変換結果を示します。
ここでは、静止画像があれば、Dreamixはカメラの動きを作り出しながら、グラスをコーヒーで満たすことができます。
この例では、成長する植物のタイムラプスが生成されています。
次の例では、川で水浴びをする水牛を追加しながら、シーンをズームアウトしています。
最後に、静止画とテキストプロンプトのセットから動画を生成する、被写体駆動型の動画生成の例を示します。
生成された動画全体を通して、被写体のアイデンティティがどのように保持されているか、また、小さな画像コレクションでは見られない複雑なアクションがどのように実行されているかに注目してください。
この例では、Dreamixは、おもちゃのアイデンティティを維持しながら、プロンプトに沿った説得力のある方法で風景を変更することができます。
すべて、被写体の10～20枚の小さな画像コレクション上で微調整を行うことによって。
詳細については、より多くの結果と評価を紹介した論文と補足をご覧ください。
ご清聴ありがとうございました！
コメント