STUDIES Corpus: Japanese empathetic dialogue speech corpus

ダウンロード (Download link):
here (application form on NII IDR)

概要:

STUDIES コーパスは，声優3名 (男性1名・女性2名) による模擬対話音声を収録した音声コーパスです．
本コーパスは，「対話相手に寄り添って発話可能なAIエージェント」の実現を目指して構築されています．
「個別指導塾の女性講師が，勉強の合間に生徒と雑談している」シチュエーションを想定しており，声優は，自身と対話相手の両方の台詞と感情ラベルを考慮して発話しました．
対話の台本と感情ラベルは，クラウドソーシングにより収集したものを開発者で一部校正して作成しました．
音声データはすべて48kHz/16bitのwavファイルです．
研究目的であれば無償で利用可能ですが，再配布・公序良俗に反する利用などの行為はご遠慮ください．
論文などで利用される場合，下記の通りに引用していただければ幸いです．

齋藤佑樹, 西邑勇人, 高道慎之介, 橘健太郎, 猿渡洋, "STUDIES：表現豊かな音声合成に向けた日本語共感的対話音声コーパス," 日本音響学会 2022年春季研究発表会講演論文集, 2-3P-15, pp. 1133--1136, 2022年3月.

Summary:

The STUDIES contains simulated dialogue recorded by three voice actors (one male and two females).
This corpus is designed with the aim of developing an AI agent that can speak in close proximity to its interlocutor.
The dialogue in this corpus is based on a situation where a female teacher of a cram is chatting with her students in between studying, and the voice actors spoke considering the dialogue lines and emotion labels of both oneself and interlocutor.
The dialogue lines and emotion labels were collected through crowdsourcing and partially proofread by the developers.
All audio data are 48kHz/16bit wav files.
The materials may be used free of charge for research purposes, but please refrain from redistribution or use that is offensive to public order and morals.
If you wish to use this information in your paper, please cite the following paper:

Yuki Saito, Yuto Nishimura, Shinnosuke Takamichi, Kentaro Tachibana, and Hiroshi Saruwatari, "STUDIES: Corpus of Japanese empathetic dialogue speech towards friendly voice agent," arXiv 2203.14757 (submitted to INTERSPEECH 2022), Mar. 2022. (arXiv)

収録音声 (Contents):

Long-dialogue: 10--20ターンで終了する対話 (Dialogues that takes 10--20 turns)

Short-dialogue: 4ターンで終了する対話 (Dialogues that exactly takes 4 turns)

ITA: ITAコーパスの読み上げ．女性講師役のみ収録 (Reading of ITA corpus (phonetically balanced open-sourced sentences), which only available for the teacher's voice)

デモ (Demonstrations):

感情ラベルと文脈埋め込みベクトルで条件付けしたFastSpeech 2を用いた共感的対話音声合成 (Empathetic dialogue speech synthesis using FastSpeech 2 conditioned by emotion labels and context embedding vector)

更新情報 (Update information):

コーパス Version 1 を公開しました (2022/03/29) / Version 1 is available online (Mar. 29, 2022)

主な開発者 (Main developers):

齋藤佑樹 (東京大学情報理工学系研究科) / Yuki Saito at The University of Tokyo, Japan.
西邑勇人 (東京大学工学部) / Yuto Nishimura at The University of Tokyo, Japan.
高道慎之介 (東京大学情報理工学系研究科) / Shinnosuke Takamichi at The University of Tokyo, Japan.
橘健太郎 (株式会社LINE) / Kentaro Tachibana at LINE Corp., Japan.
猿渡洋 (東京大学情報理工学系研究科) / Hiroshi Saruwatari at The University of Tokyo, Japan.

謝辞 (Acknowledgements):

本研究は，LINE株式会社と東京大学猿渡・小山研究室の共同研究プロジェクトとして実施した． / This research was conducted as a joint research project between LINE Corp. and Saruwatari-Koyama Lab. at The University of Tokyo, Japan.