|
「Vrewというアプリで字幕が自動で作れる」 「英語は使える？」 |
字幕を自動で生成してくれるアプリ、Vrewが話題になっています。
音声を自動でテキストに変換してくれるアプリで、現在は無料で使えます。（2020年6月時点）
動画編集の日本語テロップ作成で主に使われてますが、英語はどうでしょう？
Vrewの英語認識をYouTube 英語（自動生成）と比較してみましたので参考にしてください。
なお、Adobe Premiere Proの使い方は以下記事を参考にしてください。
目次
Vrewとその使い方
Vrewの画面はこのようになっています。
Vrewで動画や音声データを開くと自動で字幕データを生成してくれます。
右側に生成された字幕データ、左側に字幕のプレビュー画面が表示されるので、字幕の完成イメージを確認しながら字幕データを修正・編集できます。
Vrewの基本的な使い方についてはこちらを参照してください。
Vrew 英語字幕とYouTube 英語（自動生成）を比較
YouTube 英語（自動生成）
YouTubeには字幕を自動生成する機能がついています。
YouTubeにアップされているこちらの動画で見てみます。
The Guardian’s health editor, Sarah Boseley, answers some of the most common and pressing questions surrounding the recent coronavirus outbreak in Wuhan, China Subscribe to Guardian News on YouTube ► http://bit.ly/guardianwiressub Coronavirus: three Chinese cities locked down and Beijing festivities scrapped ► https://www.theguardian.com/world/2020/jan/23/coronavirus-panic-spreads-in-china-with-three-cities-in-lockdown Coronavirus: panic and anger in Wuhan as China orders city into lockdown ► https://www.theguardian.com/world/2020/jan/23/coronavirus-panic-and-anger-in-wuhan-as-china-orders-city-into-lockdown Support the Guardian ► https://support.theguardian.com/contribute Today in Focus podcast ► https://www.theguardian.com/news/series/todayinfocus The Guardian YouTube network: The Guardian ► http://www.youtube.com/theguardian Owen Jones talks ► http://bit.ly/subsowenjones Guardian Football ► http://is.gd/guardianfootball Guardian Sport ► http://bit.ly/GDNsport Guardian Culture ► http://is.gd/guardianculture
What is the coronavirus?
音声はイギリス英語のようです。
動画を再生し、メニューの「字幕」から英語（自動生成）を選択すると字幕が英語字幕が表示されます。
こんな感じです。
ここで「文字起こしを開く」を選択すると字幕データ全体が見れます。
「タイムスタンプ表示を切り替える」を選択すると時間が消えて字幕のみになります。
その他YouTubeの字幕機能等の詳細はググって調べてみてください。
YouTube 英語（自動生成）の精度
上の写真の字幕を見てもらえば分かるように、かなり高い精度です。
というか、間違いがあるのかもじっくり探さないと分からないほどにきちんと認識されてます。
英語は単語に区切りがあることもあって音声認識しやすい言語です。
コールセンターのAI化は英語からと言われるほどに音声認識精度は高いので、音声がクリアな動画では特に驚くことはないのかもしれません。
YouTube動画の音声抽出とVrewに取り込み
Vrewで字幕生成するためにまずこのYouTube動画をダウンロードします。
ですが、動画全体はデータが大きいので音声のみを取り出してVrewに取り込むことにします。
その際、Offlibertyを使うと簡単です。
詳細は以前のこちらの記事を参照してください。
Vrewにその音声を取り込む際、音声認識する言語の設定で元音声の言語、イギリス英語を選びます。
Vrewで認識した結果がこちらです。
This is an outbreak of disease
that started in root hands
one of the central Chinese cities.
It's caused by a novel coronavirus
that means it's brand new music
actually it doesn't have a name
yet. It's from a family called the coronavirus
is the symptoms of this
illness are pretty mundane on the face of it
so dry cough fever
and then breathing problems.
Quite mild in lots of people
and probably those people
don't end up in hospital at all.
We only know about the more severe cases
which is where people have gone on
全部は多いので初めの数十行だけ載せておきます。
一見特に間違いなく認識しているように見えます。
YouTube 英語（自動生成）とVrew字幕生成を比較
ここでYouTubeの英語（自動生成）の字幕とVrewの字幕生成の結果を比較してみます。
違いがあった箇所をYouTubwをY、VrewをVとしていくつか抜き出してみました。
（Y） Wuhan
（V）root hands
（Y）so new that actually
（V）music actually
（Y）pneumonia and those people obviously
（V）pneumonia people of east
（Y）over 40
（V）over 4.
このミスマッチの箇所を動画で確認すると、全てYouTube 英語（自動生成）の方が合ってます。
音声がクリアな英語音声の動画では、YouTube 英語（自動生成）の方が認識精度が高いという結果でした。
ただ、Vrewがダメかというとそうではなく、ほとんど認識できてます。
日本語の音声認識に比べてかなり精度が高い印象です。
Vrew 英語字幕 日常会話で認識
音声がクリアな動画ではVrewの英語の認識精度は高いことから、次に日常会話で認識させてみます。
こちらの動画で試してみました。
カウンターで注文！L.A.のカフェで朝食☀️〔#512〕
L.A.の素敵なカフェで朝食♬ Follow me on Instagram @bilingirl_chika Republique http://republiquela.com/ 624 South La Brea Avenue, Los Angeles, CA 90036 おすすめプレイリスト # 001から見る http://bit.ly/29ZeYF4 人気順で見る http://bit.ly/29M3QZW 海外で使える英会話 http://bit.ly/29QS4Od 海外シリーズ (シアトル) http://bit.ly/29X75OY その他プレイリスト http://bit.ly/29PhhJI ————————————————————- INSTAGRAM http://instagram.com/bilingirl_chika BLOG http://blog.livedoor.jp/bilingirl_chika/ FACEBOOK https://www.facebook.com/chika.english TWITTER http://twitter.com/chika_english ————————————————————- ✴︎ レッスンリクエストはこちら☆ http://bit.ly/1M7qGUo ✴︎ 字幕の表示方法 PCで表示: http://bit.ly/29ax9SB スマホで表示：http://bit.ly/29ecHED WORK (BUSINESS INQUIRIES) お仕事のお問い合わせはこちら http://www.yoshidamasaki.com/inquiry/ MUSIC Epidemic Sound http://www.epidemicsound.com/ #英会話 #英語 #アメリカ英語 #アメリカ #英語学習 #英会話無料 #英語無料 #英単語 #英語リスニング #オンライン英会話 #英語発音 #英語教材 #留学 #海外旅行
教育系YouTuberで人気のバイリンガール英会話 | Bilingirl Chikaさんの動画です。
日常生活で使う英会話を動画にしてアップされています。
ただ、日本語の説明や翻訳も含まれてるので、日本語を削除しながら英語でのやり取りを一部抜き出してみます。
0:35 から1:50までの約１分間の音声をVrewに取り込んでみたのがこちら。
英語音声の含まれない部分をカットしたり、単語の発音の区切りが字幕と合ってなかったり、日本語を削除したり少し編集します。
その際、認識された単語を選択した状態でReturnキーを押すとその箇所の波形を表示できます。
分離したい箇所にカットを入れて、改行したり削除したりします。
と細かな作業をしながら字幕データを完成させようとしたのですが、すぐに気づいてしまいました。
英語でも日常会話ではVrewはあまり使えないことを。
以下のパートがまさにそうです。
これはカフェの店員とのやり取りの字幕ですが、長い音声の中で「I have coffee on the side of it.」としか字幕が生成されていません。
この字幕をテキストで出力したのがこちらです。
So
Hey guys,
it's Jacob.
Right now.
I am standing in front of another cool cafe.
This place is called Republic,
breakfast menu
I have coffee on the side of it.
regular breakfast
Mac and cheese
black folder and leave it open for breakfast or lunch.
I just got service station around the corner
if you need to order anything else
in case you're another. Send it. So cute.
eat like this.
T A simple
just strawberries and powdered sugar and syrup.
Like hip hop music,
but the cafe is very kind of. Looks like castle
like Renaissance feel
very cool mix.
good.
The strawberries are a little Tarts
that goes really well with the sweet syrup
会話になってませんね。
元の動画と聴き比べてもらうと分かりますが、ほとんど認識出来ていないという結果です。
ちなみに、YouTubeの英語字幕（自動生成）ですが、こちらの動画は日本語字幕を手動で入れられてます。
さらに、英語もそこに含めてるようです。
字幕選択に英語はないので自動認識を試してみたのですが、入力済みの日本語字幕から英語字幕を生成しているので、精度の高い英語文章が生成されるのでVrewの結果と比較できないです。
まとめ
クリアな英語音声の動画ではVrewもYouTubeの英語字幕（自動生成）もどちらも高い精度で認識できます。
Vrewの字幕生成も悪くないですが、YouTubeの方が精度は高いです。
ただ、日常生活の英会話ではVrewでは厳しいようです。
もう少しノイズの少ない場所で、さらにゆっくり話すと精度は高くなると予想しますが未検証。
Vrewの英語字幕生成の利用価値ですが、欧米では派手なテロップ動画はあまり使われておらず、YouTubeの字幕機能で間に合ってるような感じです。
ただ、YouTubeの字幕機能を使う場合、現状いくつか問題があるのでVrewと併用したいところです。
日本のエンタメ系テロップを英語で欧米向けのYouTubeチャンネルでやってみたらどうなんでしょうね。
