ロケットニュース24

昨日のニュースをいち早くお届けしたい

English

特集

11年前に撮影・編集した自作動画を、AIフル活用でリメイクしてみた! 音声分離からシーン再生成まで解説

相変わらずAIを駆使して、いろいろ創作に勤しんでいる。少し前は集中的に「SUNO」を使って楽曲制作に挑んでいたのだが、近頃は動画の制作を試してみている。まったくゼロから作るのは大変で難しいので、まずは楽曲のときと同じように、過去作品をリメイクすることから始めてみた。

実は今から11年前の2015年頃、私(佐藤)は動画制作に夢中だった時期がある。その頃に作った動画をAIを使ってリメイクしてみた。使用したAIとそのプロセスをカンタンにご紹介しよう。

・AIで過去動画をリメイク

今回リメイクするにあたって、いくつか課題があった。まずは元の撮影データがないこと。よくよく探せば見つかるのかもしれないけど、古いハードディスクを引っ張りだすのが面倒なので、当サイトのYouTubeチャンネルにあるものをダウンロードして使うことにした。

まずは元動画をご覧頂こう。


タイトル「ショートムービー『網走を舞台にするとどうでもいいことがシリアスになる』」

これは友人の衝撃的な寝言に関する思い出について語った、本当に中身のない動画である。冬の網走を訪ねた際に、この環境で撮影したら、シリアスな話になるんじゃないか? と思って撮ったものである。


これを作り直す上で、いくつか課題がある。

まず第1に、映像が粗い。先に述べたように元データではなく、YouTubeに上げたものをダウンロードしているので、今見るとかなり粗い映像になっている。全部とはいわないまでも、部分的にキレイに見せたい。


次に、横長(16:9)の元動画を縦長(9:16)に変えたい。イントロとアウトロを省いた本編は2分30秒程度しかないのに、横長であるためにYouTubeでショート動画扱いになっていなかった。

そこで縦横比を変えたい。だが、撮影当時はそんなことを考えていなかったので、縦幅が足りないシーンがいくつもある。


最後に、元動画のナレーションの声を大きくしたい。だが、音声は音楽とくっついているので、声だけを抜き出さないといけない。


リアリティを残すために使えるシーンはそのまま活用したいのだが、テロップが入っている。再利用する場合はこれが写り込むのを避けなければならない。幸い、かなり低い位置に入れていたので、切り取る余地は十分にあった。


以上の課題を順番に解決していく。私の行ったプロセスはこうだ。


**1.**動画編集ソフト「DaVinci Resolve(ダヴィンチ・リゾルブ)」で動画から音声を抜き出す

**2.**音声抽出AI「Lalal.ai(ララルドットエーアイ)」で音声をナレーションと音楽に分離

**3.**元動画の必要なシーンをキャプチャーして、静止画として切り出す

**4.**切り出した静止画(16:9)をGeminiの「Nanobanana2」で縦長(9:16)に描き直す

**5.**縦長に描き直した画像を、Google Cloudの「Agent Platform」でシーンごとに数秒の動画を生成する

**6.**元動画で使えるシーン + 生成した動画クリップ + 分離したナレーション + 分離した音楽をDaVinci Resolveで再びひとつにする


以上だ。たかだか2分30秒だが、意外と手間がかかった。1番面倒だったのは動画の生成で、なかなか指示通りの動画が生成されずに、何度もやり直す必要があった。それから、画像を縦長に描き直させる際も、自然な画を描かせるのも難しかった。

とはいえ、これらはいわゆる**「ガチャ要素」**なので、何度も繰り返して当たりを引き当てるまで待つしかなく今のところは方法はない。いずれはもっとスムーズになるとは思うのだが……。


さて、そうして完成したのが、このショート動画だ。


いかがだろうか? 実際に撮影したシーンを合間に入れることによって、AI臭さは多少薄らいでいるように思う。とはいえ、AI臭を隠し切れていない部分もあるにはあるが……。

比較的動きの少ない内容だったので、リメイクはしやすかった方だと思う。もっと人物が動く映像を作り直すのは、相当骨が折れる作業であるに違いない。今後さらに進化すれば、これらも解消されるだろう。それまで気長に待ちたい。


参考リンク:DaVinci Resolve、Lalal.ai、Nanobanana2、Google Cloud
執筆:佐藤英典
イラスト:ChatGPT

関連記事

Powered by logly lift

今日の人気記事

  1. 株主になったので、生まれて初めて「イオンラウンジ」を利用してみた正直な感想
  2. 【4コマ】魔王軍はホワイト企業 2179話目「上司と部下の狭間で⑪」
  3. 何これトリックアート…? 西友の「銀鮭幕の内弁当」、上から見たら普通の鮭が横から見るとほっそほそだった
  4. 【4コマ】魔王軍はホワイト企業 2178話目「上司と部下の狭間で⑩」
  5. 【半額】ロケニュー記者も絶賛した「訳あり骨なしさば(2kg)無塩」が9980円 → 4990円! 楽天ブラックフライデーで狙いたい、送料無料かつ50%オフの飲食品23選
  6. 渋谷を知る人なら絶対に目にしている! あの『渋谷西村』の工場直売所は、遠く離れた相模原にある / 定番「こわれパイ」は必食
  7. 『カレーは飲み物。』に定食が! 新顔「豚の香辛焼き定食」は生スパイス感が独創的
  8. スタバ新作『抹茶 ティラミス フラペチーノ』を飲んでみた! 定番の「抹茶フラペ」よりやや甘みが抑え目で、けれども濃厚な特別感
  9. 毎年大人気のUCC福袋、アウトレット版が狙い目だと気づき2年連続で買ってみたら…ほぼ半額の高コスパは変わってなかった / 福袋2027
  10. 【穴場】築地のニチレイ本社に誰でも入れるスポットがあった!珍しい冷凍食品も買えて、お得にコーヒーも飲めるぞ!

© ロケットニュース24 / SOCIO CORPORATION

Powered by WordPress VIP

[AD]