Pixel8で「自動字幕起こし」機能を試す: 英語音声のリアルタイム翻訳、通話内容の文字起こし性能は?

音声テクノロジーのイメージ図 Mobile・App・Gadget
This image was created with DALL·E3
Mobile・App・Gadget
この記事は約4分で読めます。

TL;DR

– 自動字幕起こし(Live Caption)は、端末音声を字幕変換して画面上に表示する機能
– リアルタイム翻訳の性能は、YouTubeの自動翻訳よりも劣る印象
– 通話の字幕起こしは、Google スピーチサービスによる応答機能と併用できる

Pixel8で「自動字幕起こし」機能を試す: 英語音声のリアルタイム翻訳、通話内容の文字起こし性能は?

端末音声を表示

 Google Pixelなどに搭載されている自動字幕起こし(Live Caption)は、動画・通話音声をリアルタイムで文字変換する機能です。

 Pixel 6以降の端末は、日本語の文字起こし、及び他言語への自動翻訳にも対応しています。

Pixel8の自動字幕起こしを使った翻訳

英語 ⇨ 日本語に翻訳
Pixel8の自動字幕起こしを使った通話文字起こし

通話内容の文字起こし

押さえておきたいポイント

 使用する際の留意点としては、以下の2つが挙げられます。

1. リアルタイム翻訳の精度

 翻訳UXについては、YouTubeの自動翻訳よりも劣る印象があります。

 私が「英語 ⇨ 日本語」で試した限りでは、以下の点が気になりました。

  • 翻訳が表示されるまで時間がかかる
  • 一度翻訳した文章を修正表示する場合がある(= 読みにくい)
  • 長い英文の場合、一部翻訳が表示されないことがある

2. サービス対象外の音声

 歌詞、及びRecorderアプリの音声は、自動字幕起こし機能の対象外になっています。

設定手順

 以下の1~6の順に操作します。

1. 設定画面に進む

 端末の設定を開き、「音とバイブレーション」 ⇨ 「自動字幕起こし」に進みます。

pixel8の自動字幕起こし設定1

音とバイブレーション
pixel8の自動字幕起こし設定2

自動字幕起こし

2. 自動字幕起こしをOn

 「自動字幕起こしを使用する」をOnにします。

pixel8の自動字幕起こし設定3

3. 言語を選択する

 「言語と翻訳」をタップし、文字起こし、及び翻訳に使用する言語を選択します。

 追加で言語データをダウンロードしたい場合は、「+ 言語を追加」をタップします。

pixel8の自動字幕起こしの言語と翻訳設定

「言語と翻訳」をタップ
pixel8の自動字幕起こしの言語追加ダウンロード

言語データの追加ダウンロードも可能

4. 字幕スタイル、字幕サイズの設定

 1つ前の画面に戻り、「字幕の設定」⇨ 「字幕のサイズとスタイル」をタップします。

 字幕スタイルは6種類、字幕サイズは5種類(極小・小・中・大・極大)から選択可能です。

pixel8の自動字幕起こしの字幕の設定

字幕の設定
pixel8の自動字幕起こしの字幕のサイズとスタイル

字幕のサイズとスタイル
CHECK!
字幕起こしの画面サイズを変更する方法

 自動字幕起こしの画面サイズを変更したい場合は、表示中のウィンドウをダブルタップします。

pixel8の自動字幕起こしで字幕画面サイズを変更する方法1

この黒い部分をダブルタップする
pixel8の自動字幕起こしで字幕画面サイズを変更する方法2

ウィンドウが大きくなる

5. 通話の字幕起こし

 「通話の字幕起こしをする」をタップして、「常時」を選択します。

 また、「通話中に返答を入力する」をOnにすると、Google スピーチサービス(機械音声による応答サービス)を使用することができます。

pixel8の自動字幕起こしで通話字幕起こしを設定する

6. 自動字幕起こしの切り替えボタン設置(省略可)

 「音量調節で自動字幕起こしボタンを表示」をOnにすると、専用の切り替えボタンが音量調節バーの下に設置されます。

pixel8の自動字幕起こしボタン設置1

自動字幕起こしボタンを表示
pixel8の自動字幕起こしボタン設置2

音量バー下に切り替えボタンが表示される

動画の字幕起こし・翻訳

 動画を再生すると、音声の字幕表示がスタートします。日本語に翻訳する方法は、以下の2通りがあります。

1. 「日本語に翻訳」をタップ

pixel8の自動字幕起こしで日本語訳を表示する方法1

「日本語に翻訳」をタップ
pixel8の自動字幕起こしで日本語訳を表示する方法2

日本語訳が表示される

2. オプションメニューを開いて「字幕を翻訳」をOn

pixel8の自動字幕起こしで日本語訳を表示する方法3

オプションメニューを開く
pixel8の自動字幕起こしで日本語訳を表示する方法4

「字幕を翻訳」をOnにする

通話の字幕起こし

 通話すると、その内容が字幕表示されます。

 Google スピーチサービスを使用する場合は、字幕起こし画面上のキーボードアイコンをタップします。応答内容を入力して送信すると、相手側に機械音声が流れます。

pixel8の自動字幕起こしでgoogleスピーチサービスを使用する方法1

キーボードアイコンをタップ
pixel8の自動字幕起こしでgoogleスピーチサービスを使用する方法2

応答テキストを入力

まとめ

 Googleの自動字幕起こしは、多言語の字幕起こし、リアルタイム翻訳、通話応答などの機能を搭載しています。

(端末・バージョン情報)

Pixel 8  /  Android 14

関連記事はこちら //

Google Pixelの「音声絵文字」機能を使って通話相手に拍手や笑い声を届ける
Google Pixelの「音声絵文字」機能は、拍手や笑い声など6種類の特殊音声を通話相手に届けることができます。内容に応じた多彩なリアクションで、会話の楽しさを広げましょう。
ChatGPTアプリ「Voice Mode」のアップデート: バックグラウンド起動のOn/Off 設定が可能に
ChatGPTモバイルアプリに「バックグラウンドでの会話」設定が登場しました。この切り替えにより、他アプリ起動中や画面Off状態でも音声会話を継続するか、ユーザーが選択できるようになります。
Apple IntelligenceとSiri: WWDC 2024
WWDC 2024では、Apple Intelligenceの概要と合わせてSiriの大幅アップグレードがアナウンスされました。SiriのUXは、AIシステムとの連携により大きく改善する可能性があります。
タイトルとURLをコピーしました