こんにちは、金融ソリューション事業部の若本です。 先日ChatGPT（gpt-3.5-turbo）のAPIが公開されるとともに、Open AIのサービスが使いやすくなりました。 今回は、ChatGPTから返ってきたレスポンスを読み上げる簡易アプリケーションの作成を行います。 使用するもの 処理概要 1. APIの作成 1.1 Open-AI API(ChatGPT)を介して、質問の答えを取得 1.2 Espnetを用いて、合成音声を生成 2. APIを呼び出すアプリの作成 おわりに 使用するもの OpenAI API 事前にAPIキーを発行しておく必要があります。また、1000トークン（約70…

こちらの続きとしてvocoderの学習と、生成したmelspectrogramをvocoderに通して音声生成してみる https://jsapachehtml.hatenablog.com/entry/2021/06/16/094213 学習 前回書いた通りmultiband-melganを試してみる。データセットもJSUTで同じくLJSpeechと同様の形式にしたものを使う。 なお、コードはv0.0.13のtag時点のものをcheckoutした。理由としてはなるべく最新の状態に近いものを利用したかったが、v0.0.14以降だとconfigの実装が変更されていて少し設定方法を直す必要があって…

先月末に日本経済新聞の社説に載っていた「技能実習は速やかに廃止を」の記事。思わず「はぁ？今ごろ何言ってんの？」って感じで読みました。 「人手不足を補うために海外から人材を受け入れるだけ受け入れ、劣悪な労働環境は放置というのでは無責任のそしりを免れない」と。さすが日経、難しい言葉使うなぁ「そしりを免れない」なんて（そっちかよ？）。つまり、外国人技能実習生を使い捨ての如く悪条件でコキ使う企業は無責任！と、非難を受けるのは当然ということらしい。それを日本経済新聞が社説に書くとは驚きました。 実はワタクシ、日経の半年以上前に当ブログでこんなことを書いておりました。 今の仕事に就く前、大森のハローワーク…

いままで音声の生成はやってみたことがないため勉強のためにやってみたのでメモ。 目的としてはどういうことを行っているのか理解したいというのと、TTSを学習させてみた場合にどの程度のコストがかかってどのくらいの音声が生成できるのかというのが気になったというのもある。 TTSの学習・推論処理をまとめたrepositoryはいくつかあるが、coqui-ai/ttsを使ってみることにした https://github.com/coqui-ai/TTS 理由としては やってみた系の記事が上がってるので勉強にちょうどよい https://qiita.com/tset-tset-tset/items/7b38…

ゴールデンウイーク中にいろいろ考えていて（本当はやりたかったことは違うのだけど…）、できるようになったのでメモ。普段の生活でなにか便利なことできないかなと思って、調べていたところNode-REDとGoogleHomeの連携が思いの外簡単だというものでした。テキストとGoogleHomeのIPアドレスが別れば、数分でできちゃいます。 状況としては、こんな感じの想定でしょうか？ あまりにも簡単すぎて、デバッグ時に何度も自室からリビングにあるGoogle Homeを経由してTTSなどを行って、家族からかなり気持ち悪がられました。

一応作成途中なのでIndesignのスクショにしてます（WIPの状態で保存する人がいると困るため） TTSとは TTS(Text-to-Speech) は、テキストからの音声合成です。 画像系とはだいぶ研究の進展が異なり、現状はFlow-basedのモデルが圧倒しています。 また、画像生成におけるIS, FID、言語モデルにおけるGLUEなどと異なり、決定的な評価指標が未だに存在しません。MOSという人間の感覚指標で1-5段階のスコア付けをして評価するのが一般的なようです。 飽きたのでまた気が向いたら制作再開します… Twitterを張っていると、定期的に音声系の論文が流れてくるため、流しそう…