Clippenが1本の長い収録を縦型クリップに変える仕組み

動画を送信すると、何が起こりますか？

Clippenに渡すのは、1本の長い収録です。リンクを貼り付けるか、ファイルをアップロードします。そこから先の作業は、ブラウザではなく当社のサーバーで行われます。タブを閉じても構いません。戻ってきたときには、クリップができあがっています。

ジョブは6つの工程のキューとして、決まった順序で実行されます。それぞれが直前の工程の出力を必要とするからです。モデルがどの60秒を残す価値があるか判断するには、文字起こしが先に存在していなければなりません。ショットの途中ではない位置でカットするには、シーン境界が先に存在していなければなりません。リフレームするには、選定された見どころが先に存在していなければなりません。

処理の一環として、どこかに公開されることはありません。クリップはご自身でダウンロードでき、TikTok、Instagramリール、YouTubeショートへの投稿は、アカウントを連携して投稿ボタンを押したときにだけ行われます。Clippenは、ご自身が所有している、または利用する権利をお持ちの動画をクリップにするためのサービスです。たとえば、ご自身のポッドキャスト、配信、講演です。元動画とクリップについて、もともとお持ちだった権利はすべてそのままお持ちいただけます。Clippenが得るのは、お送りいただいたファイルを処理する以外のライセンスではありません。他人がアップロードした動画をクリップにする場合は、あなたと投稿先のプラットフォームとの間の問題になります。2025年7月のYouTubeの「オリジナルではないコンテンツ」に関するポリシーは、使い回しのクリップを明確に挙げています。

6つの工程を順番に

単語単位のタイムスタンプ付き文字起こし

元動画の音声を、文ごとではなく1語ごとにタイムスタンプを付けて文字起こしします。単語単位のタイミングがあるから、クリップは音節の途中ではなく単語の切れ目から始まり、カラオケ字幕も正しいフレームに合います。話されている言語は自動で検出されます。

シーン境界の検出

動画全体からカットや画面の切り替わりを検出します。この境界のおかげで、クリップがショットの途中から始まることがなくなります。自動生成のクリップが機械的に見える最大の原因は、これです。

見どころの選定

タイムスタンプ付きの文字起こしとシーン境界をあわせてモデルに渡し、15〜60秒の、それだけで成立する最も強い区間を選び出します。判断基準は、冒頭がどれだけ引きつけるか、その区間に見応えのある展開があるか、エピソードの他の部分を聞いていない人にも意味が通るかです。十分な長さの収録であれば約10本のクリップを目指し、元動画が短すぎる場合にだけそれより少なくなります。

縦型へのリフレーム

各クリップを16:9から9:16へ再構成します。1つ目のモードは顔検出で1人の話者を追い、頭の動きをいちいち追わずセーフゾーン内でカメラを固定するスタビライザーで滑らかにします。GENERALは、グループ撮影や風景向けに、ぼかした背景の上へ全幅で表示します。SPLITは、2人が同じショットに実際に映っているとき、ハーフフレームに2人を上下に並べます。SCREENCASTとINSETは、フレームの中央以外に意味があるスライド、共有画面、配信レイアウトを扱います。

字幕、フック、テンポ

字幕は文字起こしから1語ずつ生成して焼き込み、話されている言葉をハイライトします。AIが書いたフックの見出しは冒頭の数秒に表示されます。ショート動画の視聴者が見続けるかどうかを決める場面です。オプションのパンチインは、クリップのビートに合わせてズームインし、固定カメラの映像が固定されたクリップに見えないようにします。

書き出しと投稿

クリップは9:16、1:1、16:9で、1080×1920で書き出されます。ダウンロードするか、ダッシュボードからTikTok、Instagramリール、YouTubeショートに投稿できます。音声吹き替えでは、話者の声を保ったままクリップを31言語に翻訳でき、吹き替え後の音声を再度文字起こしするため、字幕も新しい言語に合わせて作られます。

どのくらい時間がかかりますか？

完成し次第メールでお知らせします。ジョブはお使いのパソコンではなく当社のサーバーで実行され、短いデモファイルではなく、ポッドキャストのエピソード、20分のカンファレンス講演、4時間の配信など、あらゆる長さの実際の元動画で動作しています。

これを知っておくと、計画の立て方が変わります。1時間のエピソードを手作業でクリップにする場合、見どころを探し、カットし、1本ずつ縦型にリフレームし、字幕を入力してタイミングを合わせると、作業日のほとんどを使ってしまいます。多くの人の過去のアーカイブが公開されないままになっているのは、これが理由です。人手を介さない処理は、それとは別の種類の判断です。収録が終わったところでジョブを開始すれば、戻ってきたときにはクリップができあがっています。

この時間のほとんどは、文字起こしと動画のエンコードです。見どころを選ぶモデルの呼び出しはそのごく一部にすぎないため、元動画が長くなると、時間が急に跳ね上がるのではなく、長さにほぼ比例して増えます。

クリップが文の途中から始まらないのはなぜですか？

カットの位置を決めるのに2つの別々の信号を使い、それぞれが相手の取りこぼしを拾うからです。

文字起こしには、文ごとではなく1語ごとにタイムスタンプがあります。これにより、クリップを最初の単語の頭の子音ちょうどから始められ、単語の途中の一瞬あとから始まることがありません。この一瞬のずれこそが、機械でカットされたクリップだと耳でわかる特徴です。単語単位のタイミングは、字幕が実際に話されるタイミングで1語ずつハイライトされることも可能にします。

シーン検出は、もう半分を担います。文字起こしだけでは、すばらしい一文を見つけても、その途中でカメラが切り替わることには気づけません。シーン境界だけでは、きれいな映像のカットは見つかっても、その間に語る価値のある内容があるとは限りません。見どころを選ぶモデルには両方が一緒に渡されるため、引用したくなる内容で、しかも映像が途切れていない区間を同時に選べます。

選定では、その区間がそれだけで成立するかどうかも判断されます。「だから、まさにそこが私が反対する理由なんです」で始まる60秒の区間は、直前の10分間を聞いていない視聴者には、その一言がどれだけ優れていても役に立ちません。それだけで成立することは、後付けではなく選定基準です。

縦型への切り抜きは、何を残すかをどう決めますか？

16:9のフレームを9:16に再構成すると、幅の約4分の3が失われるため、その幅が何のためにあったのかを何かが判断しなければなりません。Clippenは、動画全体に1種類の切り抜きを当てはめるのではなく、シーンごとにレイアウトを選びます。

• TRACKは、顔検出で1人の話者を追います。カメラは滑らかに動きます。セーフゾーンの中では固定され、被写体がそこを出たときにだけ動きます。頭の動きをいちいち追う切り抜きは、目に見えて揺れ、フレーミングが技術的には正しくても素人っぽく見えるからです。
• GENERALは、ぼかした背景の上に全幅で表示します。どこか1点に切り抜くと被写体を捨ててしまうグループ撮影や風景向けです。
• SPLITは、2人の話者をハーフフレームに上下に並べます。ただし、シーンの一定の間、2人の顔が実際に同じショットに映っている場合に限ります。このテストが、本物の2人ショットと、切り返しショットの編集を見分けます。後者は、並べると同じ人物が2回映ってしまいます。
• SCREENCASTとWIDEは、スライドと共有画面を扱います。フレームの大部分に広がるコンテンツは切り抜きに耐えられないため、切り捨てずに、話者の上に重ねるか、全幅のまま残します。
• INSETは、配信のレイアウトを扱います。全幅の画面の隅に小さなWebカメラの枠がある構成です。画面を上に、Webカメラを拡大して下に配置します。
• 話者カットとパンチインは、レイアウトの上に重なります。話している人へのハードカットと、ビートに合わせた穏やかなズームインによって、固定カメラでも固定されたように見えないクリップになります。

1回の実行にかかる料金はいくらですか？

Clippenは有料のサービスで、投入した動画の長さに応じて課金されます。1クレジットは元動画1分で、その1回の料金に、動画から生成されるすべてのクリップ、縦型へのリフレーム、字幕、フックまで、実行全体が含まれます。60分のポッドキャストは、クリップが6本でも12本でも60クレジットです。プランは月額$19.99（150クレジット、年払いなら月額$11.66）から、月額$59.99（800クレジット）までです。無料プランはありません。

ツールを比較するときは、課金の単位が重要です。元動画の分数で課金されれば、結果がどうであれ、エピソードにかかる料金は開始ボタンを押す前にわかります。45分のインタビューなら45クレジットです。完成したクリップ単位で課金されると、予測できない出力に応じて料金が変動します。