会社員をしながら副業で月10万円以上稼ぐ現役フリーランス編集者です。今回は、AIコーディングツール「ClaudeCode」を使って、動画編集の「無音カット」「テロップ入れ」「挿入画像の生成・配置」までを自動化してみた実体験をまとめます。単なる文字起こしの自動化ではなく、既存の完成動画を解析させて「自分の編集ルール」をAIに学習させるところまで踏み込んだので、同じように編集作業の効率化を考えている方の参考になればと思います。
きっかけ：テロップと画像挿入だけで1本あたり数時間かかっていた
普段はトーク系・解説系の動画編集を請け負っており、1本あたりの作業内容はおおよそ次の通りです。
- 無音区間のカット（間延びした部分を詰める）
- セリフの文字起こしとテロップ入れ
- ギャグやオチのタイミングに合わせたリアクション画像・インフォグラフィックの挿入
この3工程だけで、10分程度の動画でも数時間かかることが珍しくありませんでした。特にテロップは「発話をそのまま文字にする」だけでは不自然になるため、言い回しの整理や不要な言い直しの取捨選択に時間を取られていました。そこで、この一連の作業をClaudeCodeに任せられないか試すことにしました。
ステップ1：無音カットの自動化
まず取り組んだのは無音区間の自動検出です。ffmpegのsilencedetect機能を使い、無音区間を検出したうえで、前後に0.15秒程度の余白（パディング）を残してカットする仕組みを作りました。パディングを入れないと、息継ぎの音や語尾が不自然に切れてしまうため、この余白の秒数はかなり重要なポイントでした。
実際に163秒だった元動画が137秒まで詰まり、体感的なテンポが大きく改善しました。
ステップ2：文字起こしとテロップ生成
文字起こしにはWhisperを使用しました。最初は処理の軽い「medium」モデルで試しましたが、誤字がやや多かったため、最終的には精度の高い「large-v3」に切り替えています。処理時間は伸びますが、名前や固有名詞の誤認識が大幅に減り、手直しの手間が減りました。
また、セグメント単位（数秒のまとまり）のタイムスタンプでは表示のタイミングがどうしても遅れて見えたため、単語単位のタイムスタンプに変更し、SRT字幕ファイルを生成する形にしました。
「そのまま文字起こし」ではテロップにならない
ここで気づいたのは、生の文字起こしと実際に公開しているテロップとの間には明確な「編集ルール」が存在するということです。過去に自分が手作業で仕上げた文字起こしと編集後テロップを突き合わせて分析したところ、次のようなルールが見えてきました。
- 発話は短いフレーズに分割し、挨拶や使えないリテイクは丸ごと除外する
- 相槌や言い直しはあえて残す（テンポやリズムを作るため）
- 聞き取りミスは文脈と映像を見て手動で修正する
このルールをテキスト化してClaudeCodeに渡すことで、以降の文字起こし作業はこのルールに沿って自動的に整形されるようになりました。
ステップ3：過去の編集データから「配置ルール」を学習させる
今回いちばん手応えがあったのがこの工程です。Premiere Proのプロジェクトファイル（.prproj）は実はgzip圧縮されたXMLなので、これを展開して解析すれば「どのタイミングにどんな画像が置かれているか」をデータとして取り出せます。
実際に過去の完成プロジェクトを解析させたところ、挿入されている画像はおおよそ次のようなパターンに分類できました。
- AI生成の漫画風リアクションイラスト（オチ・ギャグの瞬間）
- 実写のリアクション写真（章の切り替わり）
- AI生成インフォグラフィック（作り方・使い方の説明）
- 題材そのものの資料写真
- 宣伝用の実績まとめ画像
- 撮影場所・出身地などの説明テンプレート
- チャンネル共通のデザインテロップ部品
- 自分の映像から切り出した静止画
- 冒頭タイトルを補完する集合イラスト
この分類をルール化しておくことで、新しい動画でも「このセリフのタイミングならリアクション画像」「この説明シーンならインフォグラフィック」という判断をある程度自動化できるようになりました。
ステップ4：カットの基準も「過去の判断」から学習させる
無音検出だけに頼ったカットは、実際の編集感覚よりもかなり控えめになりがちです。そこで、元動画と完成タイムラインを比較し、実際にどの区間が使われているかを解析させました。
結果として分かったのは、大半のカットは1〜3秒程度の細かい微修正で、まれに数十秒〜数分単位の「大きなカット」（脱線や大きな言い直し）が入っているという構成でした。ここで一つ重要なルールを決めています。
内容の良し悪しを判断するような「大きなカット」はAIに自動実行させない、という制約です。無音の詰めのような機械的な判断は任せられますが、話の内容を評価して丸ごと削るかどうかは、提案すら不要で「残す」をデフォルトにしています。ここを曖昧にすると、意図しない内容が消えてしまうリスクがあるためです。
ステップ5：納品形式をFinal Cut Pro XMLに変更
当初はffmpegで書き出したmp4をそのまま納品していましたが、依頼側から「Premiere Proでそのまま編集できる形で受け取りたい」という要望をもらい、元動画を直接参照するFinal Cut Pro XML形式（
つまずいたポイント
画像を配置してもPremiereで何も起きない
XMLに画像を追加しても、エラーも出ずにインポートダイアログが一瞬表示されるだけで何も反映されないという現象に何度か遭遇しました。原因は、画像の<file>タグにwidth・heightの指定が欠けていたことでした。同様に、<samplecharacteristics>に<pixelaspectratio>square</pixelaspectratio>を入れておかないと、画像や動画の縦横比が意図せず変わってしまう不具合もありました。どちらもエラーメッセージが出ないサイレントな不具合だったため、気づくまでに時間がかかりました。
画像生成ツールへの指示が実は送信されていなかった
挿入画像の生成にChatGPTをブラウザ経由で使おうとした際、プロンプトの途中に改行を入れると、その改行がEnterキーとして誤送信され、本文の後半が送られていないというトラブルがありました。プロンプトを改行なしの一文にまとめることで解決しています。地味な不具合ですが、気づかずに「意図と違う画像ばかり生成される」と悩む原因になりやすいポイントです。
カットとテロップのタイミングが数フレームずれる
無音カットとテロップ生成をそれぞれ別々に音声解析していたところ、両者の基準がわずかにずれて、映像のカット点とテロップの表示タイミングが数フレーム食い違う問題が起きました。最終的には、音声の「立ち上がり」の検出を1回だけ行い、その同じ値をカット点にもテロップ開始時刻にも使うという順序に統一することで解消しています。あわせて、短い吐息のような音と本当の発話開始を区別するロジックや、前後のテロップ表示が重ならないようにする安全策も加えました。
実際にやってみて感じたメリット
一番の収穫は、「テロップと画像の配置ルール」を過去の完成データから抽出してAIに渡せたことです。ゼロから指示文を考えるのではなく、自分がすでに手作業でやってきた判断を分析させることで、精度の高いルールを効率よく作れました。動画編集そのものだけでなく、既存の作業データを資産として活用する発想は、他の作業の効率化にも応用できそうだと感じています。
一方で、内容判断が絡む大きなカットや、微妙なニュアンスの調整はまだ人の目でのチェックが欠かせません。「機械的な処理はAIに、内容の判断は自分に」という役割分担を意識することが、安全に効率化を進めるコツだと思います。
編集ルールを「メモリ」として残し、次回以降も使い回す
今回発見・整理したルールは、次のような形でまとめて保存しています。
- テロップ化のルール（発話の分割・除外・残す表現の基準）
- 画像挿入のパターン分類とタイミングの判断基準
- カットの粒度（微修正カットと大きなカットの線引き）
- 納品形式（Final Cut Pro XMLでの書き出し方法）
- 今回見つかった不具合と回避策
これを1つのメモファイルにまとめておくことで、同じチャンネルの動画を次回編集するときに、AIが毎回同じ確認からやり直す必要がなくなりました。感覚的には「新人編集者に一度マニュアルを渡しておく」のに近い感覚です。一度作ってしまえば、似た形式の動画に対しては再利用でき、ゼロから指示文を考える手間が大きく減ります。
作業時間はどれくらい変わったか
すべてが完全自動になったわけではなく、誤字の修正や画像の最終チェックなど、人の手を挟む工程は残っています。それでも、無音カットと文字起こし・テロップの叩き台作成にかかっていた時間は大幅に短縮できました。特に効果が大きかったのは次の2点です。
- 文字起こしから字幕データ（SRT）の生成までが自動化され、ゼロから聞き起こす作業がなくなった
- 画像の配置候補が事前にリストアップされるため、「どこに何を入れるか」をイチから考える必要がなくなった
結果として、最終チェックと微調整に集中できるようになり、1本あたりの拘束時間はこれまでの半分以下に収まる回も出てきています。まとまった案件を抱えている副業編集者にとっては、この時間短縮が受注できる本数の上限を底上げしてくれる部分だと感じています。
これから試してみたいこと
今後の課題としては、カットとテロップの基準を最初から統一して検出する仕組みをさらに洗練させることと、画像挿入の判断精度をもう一段引き上げることを考えています。また、チャンネルごとに編集ルールが異なるため、複数チャンネルを担当する場合はメモファイルをチャンネル単位で分けて管理する運用も検討中です。
向いている人・向いていない人
実際にやってみて感じたのは、この方法が向いているのは「すでに一定数の完成動画があり、自分なりの編集の型が固まっている人」だということです。過去のプロジェクトファイルや文字起こしと編集後テロップの比較データがあるほど、AIに渡せるルールの精度が上がるためです。逆に、まだ編集の型が定まっていない駆け出しの段階では、先にある程度自分の手で編集経験を積んでからのほうが、抽出できるルールの質は高くなると思います。
また、コーディング自体に苦手意識がある方でも、ffmpegやWhisperのコマンドを直接書く必要はなく、「こういう処理をしたい」という日本語の指示をAIに伝えるだけで実装まで進められます。プログラミング未経験でも、根気よくやり取りを重ねれば十分に実用レベルまで持っていけるという実感があります。
まとめ
今回はClaudeCodeを使って、無音カット・テロップ生成・画像挿入という一連の動画編集作業を自動化した実体験を紹介しました。ポイントをまとめると次の通りです。
- 無音カットはffmpegのsilencedetectとパディング調整で自然な仕上がりに
- テロップはWhisperの文字起こしに加えて「編集ルール」を学習させることで精度が向上
- 過去の完成プロジェクトを解析すれば、画像配置やカットの基準をデータとして抽出できる
- 内容判断が絡む大きな削除はAIに任せず、人が最終判断する
コーディングの知識がなくても、AIに「何を、どう判断してほしいか」を具体的に伝えられれば、動画編集の定型作業はかなりの部分を効率化できます。興味のある方は、まず無音カットのような判断の余地が少ない工程から試してみることをおすすめします。
