Vrew 英語字幕の精度は? YouTube 英語(自動生成)と比較してみた

Vrew 字幕 英語
katakana_08_vu

Vrewというアプリで字幕が自動で作れる」

英語は使える?」

字幕を自動で生成してくれるアプリ、Vrewが話題になっています。

音声を自動でテキストに変換してくれるアプリで、現在は無料で使えます。(2020年6月時点)

動画編集の日本語テロップ作成で主に使われてますが、英語はどうでしょう?

Vrewの英語認識をYouTube 英語(自動生成)と比較してみましたので参考にしてください。




Vrewとその使い方

Vrewの画面はこのようになっています。

スクリーンショット 2020-03-20 18.25.09

Vrewで動画や音声データを開くと自動で字幕データを生成してくれます。

右側に生成された字幕データ、左側に字幕のプレビュー画面が表示されるので、字幕の完成イメージを確認しながら字幕データを修正・編集できます。

Vrewの基本的な使い方についてはこちらを参照してください。

動画編集 ファイル管理

【動画編集】ファイル管理とTips(fps、合成、字幕生成など)

2020年6月29日

Vrew 英語字幕とYouTube 英語(自動生成)を比較

YouTube 英語(自動生成)

YouTubeには字幕を自動生成する機能がついています。

YouTubeにアップされているこちらの動画で見てみます。

What is the coronavirus?

音声はイギリス英語のようです。

動画を再生し、メニューの「字幕」から英語(自動生成)を選択すると字幕が英語字幕が表示されます。

Vrew 英語 字幕テスト

こんな感じです。

ここで「文字起こしを開く」を選択すると字幕データ全体が見れます。

YouTube 英語字幕

「タイムスタンプ表示を切り替える」を選択すると時間が消えて字幕のみになります。

その他YouTubeの字幕機能等の詳細はググって調べてみてください。

YouTube 英語(自動生成)の精度

上の写真の字幕を見てもらえば分かるように、かなり高い精度です。

というか、間違いがあるのかもじっくり探さないと分からないほどにきちんと認識されてます。

英語は単語に区切りがあることもあって音声認識しやすい言語です。

コールセンターのAI化は英語からと言われるほどに音声認識精度は高いので、音声がクリアな動画では特に驚くことはないのかもしれません。

YouTube動画の音声抽出とVrewに取り込み

Vrewで字幕生成するためにまずこのYouTube動画をダウンロードします。

ですが、動画全体はデータが大きいので音声のみを取り出してVrewに取り込むことにします。

その際、Offlibertyを使うと簡単です。

詳細は以前のこちらの記事を参照してください。

動画編集 フリーサウンド

動画編集 フリーサウンドの使い方と管理方法

2020年3月9日

Vrewにその音声を取り込む際、音声認識する言語の設定で元音声の言語、イギリス英語を選びます。

Vrew 字幕設定

Vrewで認識した結果がこちらです。

This is an outbreak of disease

that started in root hands

one of the central Chinese cities.

It's caused by a novel coronavirus

that means it's brand new music

actually it doesn't have a name

yet. It's from a family called the coronavirus

is the symptoms of this

illness are pretty mundane on the face of it

so dry cough fever

and then breathing problems.

Quite mild in lots of people

and probably those people

don't end up in hospital at all.

We only know about the more severe cases

which is where people have gone on

全部は多いので初めの数十行だけ載せておきます。

一見特に間違いなく認識しているように見えます。

YouTube 英語(自動生成)とVrew字幕生成を比較

ここでYouTubeの英語(自動生成)の字幕とVrewの字幕生成の結果を比較してみます。

違いがあった箇所をYouTubwをY、VrewをVとしていくつか抜き出してみました。

ミスマッチ

(Y) Wuhan
(V)root hands

(Y)so new that actually
(V)music actually

(Y)pneumonia and those people obviously
(V)pneumonia people of east

(Y)over 40
(V)over 4.

このミスマッチの箇所を動画で確認すると、全てYouTube 英語(自動生成)の方が合ってます。

音声がクリアな英語音声の動画では、YouTube 英語(自動生成)の方が認識精度が高いという結果でした。

ただ、Vrewがダメかというとそうではなく、ほとんど認識できてます。

日本語の音声認識に比べてかなり精度が高い印象です。

Vrew 英語字幕 日常会話で認識

音声がクリアな動画ではVrewの英語の認識精度は高いことから、次に日常会話で認識させてみます。

こちらの動画で試してみました。

教育系YouTuberで人気のバイリンガール英会話 | Bilingirl Chikaさんの動画です。

日常生活で使う英会話を動画にしてアップされています。

ただ、日本語の説明や翻訳も含まれてるので、日本語を削除しながら英語でのやり取りを一部抜き出してみます。

0:35 から1:50までの約1分間の音声をVrewに取り込んでみたのがこちら。

Vrew 字幕

英語音声の含まれない部分をカットしたり、単語の発音の区切りが字幕と合ってなかったり、日本語を削除したり少し編集します。

その際、認識された単語を選択した状態でReturnキーを押すとその箇所の波形を表示できます。

Vrew 字幕

分離したい箇所にカットを入れて、改行したり削除したりします。

と細かな作業をしながら字幕データを完成させようとしたのですが、すぐに気づいてしまいました。

英語でも日常会話ではVrewはあまり使えないことを。

以下のパートがまさにそうです。

Vrew 字幕

これはカフェの店員とのやり取りの字幕ですが、長い音声の中で「I have coffee on the side of it.」としか字幕が生成されていません。

この字幕をテキストで出力したのがこちらです。

So

Hey guys,

it's Jacob.

Right now.

I am standing in front of another cool cafe.

This place is called Republic,

breakfast menu

I have coffee on the side of it.

regular breakfast

Mac and cheese

black folder and leave it open for breakfast or lunch.

I just got service station around the corner

if you need to order anything else

in case you're another. Send it. So cute.

eat like this.

T A simple

just strawberries and powdered sugar and syrup.

Like hip hop music,

but the cafe is very kind of. Looks like castle

like Renaissance feel

very cool mix.

good.

The strawberries are a little Tarts

that goes really well with the sweet syrup

会話になってませんね。

元の動画と聴き比べてもらうと分かりますが、ほとんど認識出来ていないという結果です。

ちなみに、YouTubeの英語字幕(自動生成)ですが、こちらの動画は日本語字幕を手動で入れられてます。

さらに、英語もそこに含めてるようです。

字幕選択に英語はないので自動認識を試してみたのですが、入力済みの日本語字幕から英語字幕を生成しているので、精度の高い英語文章が生成されるのでVrewの結果と比較できないです。

英語字幕 YouTube

まとめ

クリアな英語音声の動画ではVrewもYouTubeの英語字幕(自動生成)もどちらも高い精度で認識できます。

Vrewの字幕生成も悪くないですが、YouTubeの方が精度は高いです。

ただ、日常生活の英会話ではVrewでは厳しいようです。

もう少しノイズの少ない場所で、さらにゆっくり話すと精度は高くなると予想しますが未検証。

Vrewの英語字幕生成の利用価値ですが、欧米では派手なテロップ動画はあまり使われておらず、YouTubeの字幕機能で間に合ってるような感じです。

日本のエンタメ系テロップを英語で欧米向けのYouTubeチャンネルでやってみたらどうなんでしょうね。

【無料で学ぶ Adobe Premiere Pro】の一覧はこちらです。

動画編集 始め方

動画編集 始め方 無料で学ぶ Adobe Premiere Pro

2020年6月23日

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください