YomiPlay が中国の App Store に戻ってきました

YomiPlay が中国の App Store で再び配信されるようになり、今は安定してダウンロードできます。

以前デモを見て、試してみたいのに見つからなかった方も、App Store を開いて「YomiPlay」と検索すれば見つかります。

10月24日、プログラマーの日。YomiPlay の音声認識をようやく自分がいちばん満足できる状態まで磨き上げ、みなさんに試してもらおうとしていたところで、中国の App Store から姿を消しました。あの日の記事の最後に、私はこう書きました。「なんといっても、本当に心を込めて作っているのだから」。

今日はいい知らせを持って戻ってこられて、ほっとしています。前回きちんと紹介できなかった細かなところを、今回はゆっくりお話しします。

もう一度聴きたいなら、その字幕をタップするだけ

通勤中に日本語のポッドキャストを聴いていると、よくこんなことがあります。文の終わりまで聴いて、はじめて途中の一語が聞き取れていなかったと気づく。シークバーをドラッグすると、戻りが足りなくて文頭を逃し、戻りすぎるとその前の部分が終わるのを待つことになる。何度か行ったり来たりしているうちに、どの言葉を聴き直したかったのかさえ忘れてしまう。

そのとき思いました。その文を直接タップできたら、どんなにいいだろう、と。

今は、好きなポッドキャストを YomiPlay に取り込めば、AI が音声に字幕をつけてくれます。聴いているところに字幕がついてきます。聴き直したい文があれば、その行をタップするだけで、文頭から音声が流れます。早口のところでは、1文リピートをオンにすれば、手を画面から離していられます。

まず訳文を隠しておく人もいます。だいたいわかれば、そのまま先へ。少し自信がなければ、訳文を開いてちらっと見る。文全体で一語だけ引っかかっているときは、その語をダブルタップすれば、AI が文脈をふまえた解説を出してくれます。意味がわかったら訳文をまた隠し、原音の口調や間に合わせて、何度かシャドーイングをします。

会議のあとで、ようやく本当に聞き取れた日本語がある

YomiPlay は私の仕事にも役立っています。Teams の会議が終わったあとも、同僚が言ったひと言が気になっていることがあります。会議中はだいたい理解できたのに、いざ自分がその表現を使おうとすると、相手がどう言っていたのか思い出せない。

振り返りに使える会議の録画があれば、YomiPlay でみんなの発言を字幕にして、もう一度聴きます。文字があれば、気になっていたその一文がすぐ見つかります。タップして、同僚がどう切り出し、どう質問をはっきりさせ、どう自然に次の人へ話を渡したのかを聴く。教科書で何度も見た表現なのに、このときになってようやく、次の会議で自分がどう使えばいいのかがわかるのです。

手元の素材は、どこから来たものでもそのまま取り込めます。画面録画が写真アプリにあれば、写真から選ぶだけ。音声や動画がファイルアプリにあれば、ファイルを直接選べます。音声・動画の直リンクがあれば、URL からも取り込めます。友だちから送られてきた学習素材の ZIP や、YomiPlay コミュニティで共有されている素材も、ワンタップで取り込んで、開けばすぐ続きから学べます。

端末内の認識から、クラウド認識へ

YomiPlay を作りはじめたころの考えは、とても素朴なものでした。スマホだけで音声を認識できれば、クラウドサービスを呼び出すお金を節約できるのでは、と。その後、自分で使い込むうちに、ほしいものがもっとはっきりしてきました。ポッドキャスト1本分を、もっと早く認識し終えてほしい。会議でもともと聞き取れなかったあの一文こそ、もっと正確に字幕にしてほしい。

この二つのために、クラウドの大規模モデルと、より新しい AI の API を取り入れました。何度も試して効果を確かめるのに時間がかかりましたし、サーバーや API の利用にも継続的にお金がかかっています。それでも私にとっては、録音から字幕を作ったあとで手直しする箇所が減ったのを見ると、この投資は価値があったと思えます。

新しい音声認識を試してみたいなら、まずはクラウド認識をいちばんにおすすめします。

とくにポッドキャスト1本分や長めの画面録画では、サーバー上の大規模モデルのほうがたいてい正確で、処理も速くなります。主な計算はサーバーで行うので、スマホの性能やバッテリーへの負担も軽くなります。もちろん、iPhone 15 Pro Max やそれと同等以上の新しい機種なら、端末内の認識でも十分快適に使えます。

聞き取れたあと、字幕に数秒の余白を

ぜひ試してほしい練習法があります。

精聴モードで、まず YomiPlay に訳文を読み上げてもらい、日本語の原文はひとまず見ないでおきます。訳文を聴き終えたら、数秒だけ自分に考える時間をあげてください。もしこの文を自分が言う番だったら、どう言うだろう？

まずは自分で一度言ってみる。つっかえつっかえでもかまいません。続けて日本語の原音を2回聴きます。1回目は、相手の使った言葉が自分の考えたものと同じかどうかを聴く。2回目は、相手がどこで間を置いているか、さっき自分がうまく言えなかったところを、相手はどう一息で言い切っているかに注意する。そして、もう一度自分で言ってみます。

しばらくしてまた思い出せなくなったら、その文を暗記帳に入れておきましょう。忘却曲線に沿って復習の通知が来たときに、もう一度口に出すチャンスを自分にあげるのです。

一つの文を学んでいちばんうれしい瞬間は、たいてい少し遅れてやってくる気がします。数日たって、会議でちょうど誰かに質問されたとき、練習したあの日本語がすっと口から出てくる。

そのときはじめて、それは本当に自分の言葉になるのだと思います。

手元に文章しかなくても、聴く教材にできる

好きな日本語の文章を読んでいて、意味はだいたいわかるのに、いくつかの語の読み方がわからないことがあります。その文章を取り込み画面の「テキスト朗読」に貼り付ければ、自然な読み上げ音声が作られ、音声に合わせて動く字幕もつきます。

保存した字幕は、ポッドキャストを取り込んで作った字幕と同じように使えます。ある語が入っている文を聴きたければ、その行をタップ。リピートも、精聴も、シャドーイングもできます。夜に読んだ文章を、翌日出かけるときに聴きながら持ち歩けます。

字幕は何度も見るものなので、編集の主導権は使う人に残しました。複合語の区切りがおかしければ、手で分かち書きを直せます。この文では漢字を別の読み方で読むべきなら、それも自分で直せます。よく出会う読み分けの難しい漢字は、よく使う読み方を「ふりがな辞書（個人）」に保存しておけば、次から直すのが楽になります。

日本語を学んでいる人なら、こんな経験があるかもしれません。長いカタカナをしばらく読んでもピンとこなかったのに、元の英単語を見たとたんに、ぱっとわかる。だから YomiPlay では、カタカナの外来語に元の英単語と意味も表示します。字幕を整えるときは、SI に校正や翻訳を手伝ってもらい、そのうえで自分の理解に沿って一つずつ確かめていけます。ははは、ちなみにこの SI（スーパーインテリジェンス）は、本当に私がお金を払って雇っています。字幕のテーマカラーも、自分が見ていて心地よいものを選べます。

残したい言葉には、ときどき道すがら出会う

ふと目にした覚えておきたい日本語は、さっと写真に撮って暗記帳に入れておけます。しばらくしてまた開いたとき、どこで見かけたのかまで思い出せるかもしれません。まとめた暗記帳は、日本語を学ぶ友だちとも共有できます。

好きなポッドキャストも共有できます。字幕まるごとを友だちに送って一緒に学んでもいいし、いちばんいいところだけを切り出して字幕つきの動画にし、動画サイトに投稿してもいい。暗記帳にあるおもしろい単語一つ、思わずにやりとする一文だけでも動画にして、見ればすぐわかってくれるあの人に届けられます。

前回中国の App Store から消えたとき、いちばんつらかったのは、「ダウンロードして試してみて」と言おうとしていたのに、その一言が言えなくなったことでした。今日、ようやく言えます。スクリーンショットを送ってくれたり、問題を丁寧に説明してくれたりしたみなさん、ありがとうございます。みなさんが指摘してくれた小さな不便の多くが、その後 YomiPlay の使いやすいところに変わっていきました。

次の通勤には、もともと聴きたかったポッドキャストを一つ持っていきませんか。気に入った一文に出会ったら、そこで少し立ち止まる。はっきり聴き取って、それから自分で言ってみる。

一度の道のりで、一文を持ち帰れたり、心に残せたりしたら、それで十分です。

そうそう、隠し機能がひとつ

ここまで日本語のことばかり書いてきましたが、実は好きな英語のポッドキャストを YomiPlay に入れて、学びたい英語の一文を選び、タップして聴いて、続けて言ってみることもできます。身近に中国語を勉強している日本の友だちがいたら、その人にも試してもらってください。いつもはあなたがその人について日本語を学んでいるけれど、今回は逆に、その人があなたの共有した中国語の一文で練習する番です。

この隠し機能を見つけたら、ぜひ戻ってきて教えてください。YomiPlay でどの言語を学んで、どんな一文を覚えたのか。その一文をみんなにも共有してもらえたらうれしいです。もしかしたら、次の誰かもちょうどそれを学びたいと思っているかもしれません。