ESPnet

はじめに おはようございます！AnyTechの渡邉です。最近はAIとお話しすることにハマってます。 本記事はおしゃべりAIをオフラインかつローカルで実装するシリーズです。 JARVISって？ 映画アイアンマンに登場する、主人公を日常・戦闘・開発のあらゆる状況で助けてくれる架空の人工知能です。 声で話しかけて、それに応じてJARVISが情報を提供したり、アイアンマンを自律制御したりサポートしてくれます。 主人公の良き相棒であり、頼れる存在です。 シリーズ こちらの手順を踏まえて、作っていきたいと思います。 ※ 本シリーズはローカルUbuntuマシンにGPUがある場合を想定しております。 第一回：…

github.com はじめに以前から「Open JTalk」や「ESPnet」を使って音声合成にチャレンジしてきました。 touch-sp.hatenablog.com touch-sp.hatenablog.com 今回は「Bark」というものにチャレンジしてみました。 今までチャレンジしてきた音声合成の中で最も簡単でした。 日本語に限って言えば、結果は「ESPnet」の方が良い印象です。環境 Ubuntu 22.04 on WSL2 CUDA 11.8 Python 3.10pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 …

はじめに前回ESPnetというのを使わせて頂き音声合成を行いました。 touch-sp.hatenablog.com スクリプトを一部変えるだけで様々な音声が合成できるようなので今回一部を試してみました。結果（3種類の音声）jsut前回と同じです。 text2speech = Text2Speech.from_pretrained( model_tag=str_or_none('kan-bayashi/jsut_full_band_vits_prosody'), vocoder_tag=str_or_none('none'), device="cuda" ) tsukuyomi text2sp…

最終更新日：2023年4月14日 はじめに PC環境 Python環境構築 Pythonスクリプト 用意するテキストファイル 使い方 インストールされたライブラリのバージョン その他の環境 2022年7月9日追記①（torch==1.12.0+cu113） 2022年7月9日追記②（torch==1.12.0+cu116） 2023年2月11日追記（torch==1.13.1+cu116） 2023年4月14日追記（torch==1.13.1+cu117） 2022年7月12日追記 はじめに以前「Open JTalk」を使って同様のことをしました。 touch-sp.hatenablog.co…

はじめに 私の熱い『アイの歌声を聴かせて』ファン活動、アイカツ、はじまります！ 私のアイカツ（#アイの歌声を聴かせて 技術者なりのファン活動）、シオン v0.0.1に大きく近づきました🙌この嬉しさ、「やったな、サンダー」級！！プログラムを起動してから音声で入力、すると音声でオウム返ししてくれます！😆（デモでお見せしたいのですが、どう収録すればいいのかな？） pic.twitter.com/vew5qjSLv8— nikkie にっきー シオンv0.0.1開発中⚒ (@ftnext) 2022年2月13日 この記事は、アイの歌声を聴かせてに関する一技術者なりのファン活動の一幕です。 実は私、大好…

この記事は、 NTT Communications Advent Calendar 2024 1日目の記事です。 こんにちは、イノベーションセンターの加藤です。普段はコンピュータビジョンの技術開発やAI/機械学習（ML: Machine Learning）システムの検証に取り組んでいます。一方で、兼務で生成AIチームに参加し、大規模言語モデル（LLM: Large Language Model）に関する技術の調査を行なっています。 音声アシスタントをLLMベースで作成する際、ユーザーの入力音声を一旦テキストに変換し、LLMに応答させた後、その応答文から読み上げ音声を生成するというカスケード方式…

はじめに 動作環境 事前準備 環境準備 Pyenvのインストール pythonのインストールに必要なライブラリのインストール Pythonをインストール coeiroink等のインストール作業 確認作業 まとめ はじめに この記事は公開されているcoeiroinkを利用してRaspberryPiで使用しましょうというものです。 とりあえずは動くものの残念ながらリアルタイム性では実用的ではないのは最初に言っておきます。 使用したソースはcommitが去年のものなので最新ではないでしょう。 ほんとにとりあえず動くのを確かめたかっただけなのでそこのところ勘案していただければと思います。 また、pyt…

概要 こんにちは、RevCommでMiiTelの音声解析機能に関する研究開発を担当している石塚です。前回のRevComm Tech Blogにて、2023年時点でSOTAの精度であったE-Branchformer[1]を利用して日本語の音声認識モデルを構築する記事について書きました。 前回の実験において、E-Branchformerで構築したモデルは、精度ではConformerで構築したモデルより優れていましたが、スピードはConformerで構築したモデルよりも少し遅いものとなっていました。音声認識システムの実運用を考えると、音声認識のスピードは非常に重要です。 そこで今回は、高速な非自己回…

開発環境 ライブラリのインストール アライメント処理 開発環境 Ubuntu 22.02 Python 3.10 ライブラリのインストール 以下で必要なライブラリを入れます pip install soundfile espnet_model_zoo torch sudo pip install soundfile espnet_model_zoo torch アライメント処理 以下を参考にコードを書いていきます。 github.com モデルは reazon-research/reazonspeech-espnet-v2を使用します espnet_model_zooを使用する場合は、以下から…

開発環境 ライブラリのインストール mp3に変換・保存 開発環境 Ubunts 22.02 ライブラリのインストール pip install pydub sudo apt-get install ffmpeg pip install librosa soundfile mp3に変換・保存 以下で.arrowで保存されているデータをmp3に変換して、保存します import os from datasets import load_dataset from pydub import AudioSegment import numpy as np # データセットのロード ds = load_da…

はじめに 本記事はおしゃべりAIをオフラインかつローカルで実装するシリーズ第四回です。 前回までは、音声認識、text to text、音声合成を実装しました。 今回は上記の実装に加えて、合成音声で出力した音声に合わせてキャラクターが口パクし話しているような見た目をUnityで実装します。 シリーズ こちらの手順を踏まえて、作っていきたいと思います。 ※ 本シリーズはローカルUbuntuマシンにGPUがある場合を想定しております。 第一回：マイクからリアルタイムで音声認識する 第二回：音声認識した結果から返答生成する 第三回：返答を合成音声で喋らせる 第四回：キャラクターが喋っているような見た…