大学生時代にはアルバイトでAdobe Premierを使って字幕付け＆動画編集の経験がある（市町村合併前方言を残すプロジェクト）。
社会人になってからはAdobe Effectsのプラグインも購入し結婚式やテニス部の動画を作成してた。
このまま動画編集能力を高めたい！
と思ってたけど今では動画編集の機会はゼロになったわ……
だけど最近は動画が身近となり、猫も杓子もYouTubeをUploadしている。
クオリティも上がっており作り方も分からない。
特に……
YouTubeキャラクターが口パクして喋ってくれる
ってどうやって作ってるの？
口パクアプリやサービスは多くあるようだ。無料的も沢山。
| サービス名 | 内容 |
|---|---|
| FaceVTuber | WebカメラだけでVTuberになることができるというブラウザで完結するサービス |
| AnimationMike | 最低3枚のイラストを声に反応して動かすことができるソフト |
| Puppet | 音声に合わせて口をパクパクする生放送向けマスコットソフト |
| Hitogata | バーチャルYouTuber向けにつくられたソフトウエア |
| だれでもVtuber | 体の揺れとかGIFに対応 |
動画作成ソフトは自由に使えるお金が無いので無料の「AviUtl」を使ってる。
今回は「AviUtl」を使って「口パク」や「自動字幕」が付けれるのか調べてみた。
PSDToolKitを使えば口パクが出来るらしい
PSDToolKit は AviUtl の拡張編集プラグイン上で PSD ファイルを扱えるようにするためのツールキット。
AviUtlでVOICEVOXのキャラを音声に合わせて目パチ口パクさせられるツール
ダウンロードは次のサイト
使い方
下記を見て実現できた。
方法としては、まず拡張編集に次の順序でファイルを置く。
- Layer1に「音声ファイル」
- Layer2に「PSDToolKitの口パク準備」
- Layer3に「動画ファイル」
- Layer4に「口パクするPhotshop形式の静止画」
口パクするPhotshop形式の静止画はレイヤ階層で次のような形で作成しておく。PhotshopではなくGIMPを使って生成した。
この時、顔のレイヤを非表示にした状態で「送る」を押し、デフォルト画像を設定しておくこと。
Photshop形式の静止画の編集画面では「Lipsync = 2」とテキストを修正する（口パク準備ファイルがLayer2にあるため）。
あとは「＋」を押して、「口パク準備」「口パク開閉のみ」「描写」を選択する。
次のような順序でアニメーション効果が付けれたら正しい。
で、音声ファイルと、Photshop形式画像の各レイヤを紐づけすれば口パクが動作した。
画像数が足りないのか少しギクシャクしているけど、少なくとも人が話しているところだけ口が動いている。
自動で字幕を入れる
ここまで凄いなら字幕も自動で入れれるのでは？
試しに「Aviutl 自動字幕」などで検索すると…
「Vrew」というフリーソフトで字幕の自動生成
字幕ファイル(srt形式)を「srt2exo」AviUtlのexoに変換して読み込み
という手順を説明してるものが上位を占めてる。
でもVrewは無料とはいえ、会員登録が必要。しかも海外製。個人情報漏洩が嫌。
そして、ある程度利用すると有料。
その他の方法としてはGoogleドキュメントを利用と書かれているけど面倒。
で見つけた方法。
Subtitler
Whisper-Faster_r192.3_windows.zip、cuBLAS.and.cuDNN_CUDA11_win_v4.7zを利用する。
インストールや手順は次のサイトを見れば分かるので省略。
CUDA使ってるのでGPU非搭載のノートパソコンで終了時間が未知数だったが……
4分のビデオの文字抽出で約1時間必要
だった。まぁ、こんなものか。
Subtitlerの使い方
Zip/7zをダウンロードしてフォルダに移動させAviUtlを再起動すると「表示」→「Subtitlerの表示」が追加されている。
あとは「全体設定」から「whisper-faster.exe」を選択して「字幕生成」から「処理開始」する。
Ctrl を押しながら文字起こしレイヤー上の全オブジェクトを選択すると「サイズ・位置・色」などを一括で変更できる。これは素敵。
テロップ装飾の仕方
テロップは文字の拡大縮小は使わずに、必ずサイズで変更する。
そして1重目の「縁取り」はデフォルトで可能だけど2重で「縁取り」する場合には特殊効果を追加する。
そしたら完成。
ただし自動字幕は、長々と文字がテロップに書かれているため、どちらにせよ編集作業は多く必要そうだ。
おわりに
基本技術だけは理解した。
表情豊かにするには口パクだけでなく目パチや手の動きなども必要だと思うが、やり方は未調査だ。
また文字の装飾（劇画風など）や動き（イメージング）方法も未調査だ。
奥が深すぎて放置している間に、世の中が更に進化してしまっていた……。
一生、追いつかない気がするが基本技術だけは把握しておきたい。
