英会話の進捗可視化アプリDeltaをリリースしました(ios)。
英会話の進捗可視化アプリDeltaをリリースしました。
英会話アプリの開発
東京大学 FoundX の Fellows プログラムの一環で
課題仮説の検証
英会話サービス 既に気軽に英会話を提供するサービスは他の言語も含め山ほどある。
英会話復習
英会話の進捗可視化
アプリの概要
アプリのコンセプトは、英会話を録音するだけで進捗を可視化するというもの。 英会話はレッスンや自身の英語の練習など 録音された音声を文字起こしして流暢さや語彙などを分析し、会話時間などとともに数値の変化を可視化することで、英会話練習の進捗を把握できます。 TOEFL や IELTS などの英語検定に沿ったレベル別の基準などと比べることで、自分のレベルの把握や目標設定にも役立ちます。
技術的な
アプリ開発のベースは今回も React Native と Expo です。 バックエンドは今回は Goodle could platform（GCP、及び Firebase）を使って構築しました。
基本の UI であったり、音声の録音、グラフ作成などは Expo 対応の各種パッケージで 最優先の機能に絞り、UI も極力シンプルにするため、タブなどは使用せずに 1 つのスクリーンのみに収めることにしました。 ユーザーが行う操作は音声の録音・停止のみで、あとはグラフを見るだけです。
根幹となる音声データの処理には GCP の Speech-to-text API を使用しました。 この API を使ったリアルタイムの音声処理も可能なはずですが、今回は音声を細切れに送信して文字起こしする形式で実装しました。 録音に関してのメタデータや文字起こしのデータは Firebase database、 音声データは Storage に保存して、API を利用した文字起こしや英文分析などは Functions で逐次処理しています。 ちなみにアプリの初期段階では文字起こしを Realtime database にも保存して分割された音声ごとにチャット形式のように表示するなどもしていました。
また、これらの記録をユーザーごとに保存・読み取りするため、Authentication を使って Goodle ログイン（加えて ios の都合で Apple ログイン）を実装しました。
改善すべき点
録音の途中でバックグラウンドに移れない仕様
Android 対応