このツールを利用すると何ができる？
ビデオコンテンツ、Webinar、Web会議の音声データをテキストに変換し、画面上に字幕表示します。 翻訳機能も有しているので、英語のWebinarを視聴しながら日本語字幕をリアルタイムに表示することができます。
ツール自体の簡単な説明を書いているこちらの記事を読んでから、この記事を読んでいただくとイメージがつきやすいかと思います🙂
仕組みは？
UiPathには、複雑な処理を行うオリジナルのカスタム部品(カスタムアクティビティ)を作成する機能があります。
カスタムアクティビティにて、PCのスピーカー出力を取得し、 IBM Watson Speech to Text にて音声データをリアルタイムでテキストに変換し、その後 IBM Watson Language Translator にて翻訳を行い、結果を画面に字幕として表示しています。
ソースは以下Githubにて公開しています。C#でコードを書いて実装しています。
今回は、IBM Cloud Advent Calendar 2020の14日目の記事として書いていますので、IBM Cloud視点での実装裏話をしてみたいと思います！
使用しているのは、IBM Watson コグニティブサービス
リアルタイム翻訳&字幕アプリの作成に使用したIBM Cloudのサービスは以下の2つです。
1. Watson Speech to Text
音声データに含まれるテキストを文字起こししてくれる音声テキスト変換サービスです。略称はWatson STTです。私が勝手にそう呼んでるだけですがｗ
Watson STTには、大きく2通りの使い方があります。
1つは、 音声ファイルをアップロードして一括テキスト変換（バッチ処理）する使い方 です。同期HTTP、非同期HTTPインターフェースが用意されています。あらかじめ録音されたデータをぽいっとSTTに渡してあげればテキスト化してくれるので便利です!!
もう1つは リアルタイムに音声データを垂れ流しで送り続け、テキスト化されたデータを垂れ流しで受け取り続ける使い方 です。WebSocketインターフ ェースが用意されています。今回はWebinarなどでの音声データをリアルタイムで字幕として表示したいので、こちらを使用します。
2. Watson Language Translator
テキスト翻訳を行ってくれるサービスです。
英語から日本語に、日本語からドイツ語に、といった風に言語を指定して呼び出すことができます。
カスタム辞書を用意することで、翻訳の質向上やユーザー固有の情報を加味した翻訳ができるようになります。
※今回はカスタム辞書は使用していません。
実装に関するお話
普段仕事で触っていることもあり、UiPathをインターフェースに考えました。
UiPathには複雑な処理を行うオリジナルのカスタム部品(カスタムアクティビティ)を作成する機能があります。
UiPath画面でAPIKeyなどの設定情報を入力するだけで簡単にWatson STTやLanguage Translatorを利用できます。
Visual StudioとC#で開発
UiPathカスタムアクティビティ開発に使用するのはVisual Studio、C#の組み合わせがメジャーです。 UiPathはWindows Workflow Foundation(以下WF)というフレームワークをベースに作られているので、WFに従い実装した機能をUiPath上で動かすことができます。UiPathの中の人が作ってくれたActicity Creatorというカスタムアクティビティを簡単に作れるテンプレートがあるので、今回こちらを使用しています。めちゃ便利です。
Waston Speech to Textインターフェースの実装
ということで、C#(.NET)でWatson STTとのI/Fを実装しようと考えました。
こういうAPIサービスを利用した何かを作るときに確認する時、私はサービス仕様→API仕様→SDK仕様の順に調査します。
サービス仕様
実装したい機能の実現方法、できることできないことを確認します。認証周りについても確認しておきます。
Watson STTサービス仕様
API仕様
どのAPIを呼び出す必要があるのか、どういった呼び出し方(入出力パラメータや呼び出し方法)をするのかなどを確認します。
Watson STT API仕様
SDK仕様
全て手組みでコードを書く必要があるのか、あらかじめSDK(Software Development Kit)として提供されているのかを確認します。
Watson STT .NET SDK仕様
ということで、リアルタイム音声テキスト変換したいという要件に基づき調査し、調査した結果以下がわかりました。
- Web Socketインターフェースを使用する必要があること
- CurlやJava、NodeでのWeb Socketインターフェース実装サンプルはあったが.NETはないこと
- .NET用のSDKが提供されていることを確認したが、 Web Socketインターフェースは.NET SDKでは提供されていないこと を確認（悲報😥）
そうなんです。Watson STTでのWeb Socketは.NET SDKが対応しておらず、.NETコードでの実装サンプルが公式からはほぼ見つからなかったのです。。。 少し気が遠くなりました😧が、頑張ってみました。ということで作ったのがこんな感じ。
まぁここはCurlやJavaの実装例なんかを見ながら作れたのだけど、難しかったのはPCのスピーカー出力をキャプチャーし、音声ストリームとしてWeb Socketに流し込むところ。
NAudioという音声処理系のライブラリを使うと、スピーカー出力をキャプチャーするのは簡単にできるんだけど、Watson君が受け入れてくれる形式に変換するのが難しかった。。。もう忘れたから説明もできないけどこんなかんじｗ
このQiita記事など参考にさせていただきました。ありがとうございました。
Waston Language Translatorインターフェースの実装
SDK提供していたので、めちゃ楽できました。このコード量の少なさ。これですよこれ。
ということで、無事に実装できたわけですが、翻訳の精度がやはりいまいちなので、いずれは音声データのサンプリング方法をいじったり、カスタム辞書登録なども受け付けれらるようにしたいなぁとは思っていますが、いずれはと言っているうちはおそらく寝かせることでしょう。ｗ
本ツールの使い方はこちらの記事に書いていますので、良かったら是非遊んでみてください！
以上です！