STUDIES 2: Complaint handling and Attentive Listening Lines Speech (CALLS)

ダウンロード (Download link):
here (application form on NII IDR)

概要:

STUDIES 2 コーパス (通称: CALLS) は，共感的対話音声合成のためのデータセット STUDIES コーパスの続編です．
本コーパスは，女性声優1名による模擬対話音声を収録した音声コーパスです．この女性話者は，STUDIES コーパスの講師役話者と同じです．
本コーパスは，「顧客の感情に寄り添って対応可能なコールセンターAIオペレータ」の実現を目指して構築されています．
「コールセンターに勤務する女性オペレータが，顧客からの電話に対応する」シチュエーションを想定しており，声優は，自身と対話相手の両方の台詞と感情ラベルを考慮して発話しました．
対話の台本と感情ラベルは，クラウドソーシングにより収集したものを開発者で一部校正して作成しました．
音声データはすべて48kHz/16bitのwavファイルです．
研究目的であれば無償で利用可能ですが，再配布・公序良俗に反する利用などの行為はご遠慮ください．
論文などで利用される場合，下記の通りに引用していただければ幸いです．

齋藤佑樹, 飯森英治, 高道慎之介, 橘健太郎, 猿渡洋, "多ドメイン共感的対話音声合成に向けた音声コーパスの構築," 電子情報通信学会音声研究会, 2023年3月.

Summary:

The STUDIES 2 (or CALLS) corpus is the sequel of our STUDIES corpus, a spoken dialogue resource to develop empathetic dialogue speech synthesis technologies.
It contains simulated dialogue recorded by one female voice actor, who is the same speaker as the Teacher in STUDIES.
This corpus is designed with the aim of developing an AI call-center operator that can empathetically talk to the customer.
The dialogue in this corpus is based on a situation where a female operator in a call center talk to a customer, and the voice actor considered the dialogue and emotion labels of both herself and her interlocutor.
The dialogue lines and emotion labels were collected through crowdsourcing and partially proofread by the developers.
All audio data are 48kHz/16bit wav files.
The materials may be used free of charge for research purposes, but please refrain from redistribution or use that is offensive to public order and morals.
If you wish to use this information in your paper, please cite the following paper:

Yuki Saito, Eiji Iimori, Shinnosuke Takamichi, Kentaro Tachibana, and Hiroshi Saruwatari, "CALLS: Japanese empathetic dialogue speech corpus of complaint handling and attentive listening in customer center," Proc. INTERSPEECH, pp. xxxx--xxxx, Dublin, Ireland, Aug. 2023.

収録音声 (Contents):

Positive attentive-listening dialogue: 4ターンで終了する傾聴対話 (Dialogues that exactly takes 4 turns)

Sample 1

Speaker	Text (jp)	Text (en)	Operator's voice
Customer (Happy)	こちらの会社で買ったイヤホン、音質が良くて耳にフィットして、すごく満足しています。	I am very happy with the earphones I bought from this company, the sound quality is good and they fit my ears.
Operator	お買い上げいただき、ありがとうございます！	Thank you for your purchase!
Customer (Happy)	価格も安くて最高です！	Great price, great value!
Operator	またのご利用を、お待ちしております！	We look forward to serving you again!

Sample 2

Speaker	Text (jp)	Text (en)	Operator's voice
Customer (Happy)	コロナがやっと治って退院できたのよ。	I have recovered from the coronavirus and have been discharged from the hospital.
Operator	さようでございましたか。大変な中お電話いただきありがとうございます。	I see. Thank you very much for calling despite the difficult circumstances.
Customer (Happy)	何の後遺症もなく元気になったので良かったわ。	I'm glad I recovered without any after-effects.
Operator	お元気になられて何よりでございます。	I'm also glad to hear that you have recovered and are doing well.

Situation-oriented complaints handling dialogue: 2--12ターンで終了する苦情対応対話 (Dialogues that takes 2--12 turns)

Sample 1

Speaker	Text (jp)	Text (en)	Operator's voice
Male Customer (Neutral)	虫よけの商品を買ったんだけど。	I bought an insect repellent product from your shop.
Operator	弊社の商品をご愛用くださり、ありがとうございます。	Thank you for using our products.
Male Customer (Angry)	網戸や窓に吊るしていてもどんどん虫が入ってくるし、虫が周りにいるよ。効果がないよ。	Even if I hang it on a screen door or window, more and more bugs are coming in and around it. It doesn't work.
Operator	このたびは，お客様のご期待におこたえできず、心苦しいばかりです。大変申し訳ございませんでした。	We are very sorry that we could not meet your expectations.
Male Customer (Angry)	どうにかならないのか？せっかくお金払って買ってるんだから、効き目のある商品を作ってよ。	Can't you do something about it? We're paying for this product, so make a product that works.
Operator	重ね重ねお詫びいたします。改善を検討いたしまして、よりよい商品をお作りいたしてまいります。	We apologize again for the inconvenience. We will consider improvements and make our products even better.

Sample 2

Speaker	Text (jp)	Text (en)	Operator's voice
Female Customer (Angry)	あ、どうも、こんにちは。この前、あなたの所のレジャー施設に行ったんだけど、駐車料金がものすごく高くて驚きでした。ちょっと尋常じゃなくないですか？	Hello. I went to a leisure facility owned by your company the other day, and I was surprised to find that the parking fees were extremely high. Isn't that a little unusual?
Operator	誠に申し訳ございません。開園時間中は常時スタッフを配置して、駐車場の安全管理に努めておりまして、確かに少々割高かもしれません。	We sincerely apologize for the inconvenience. We have staff on duty at all times during opening hours to ensure the safety of the parking lot, and it is true that it may be a bit expensive.
Female Customer (Angry)	うん、ものすごく高いよ。だって場所が田舎の山奥なのに、都会のパーキング以上してるのおかしいよね？	Yes, it's extremely expensive. It's funny that it's located deep in the mountains in the countryside, but it's more than city parking, isn't it?
Operator	改めてお詫び申し上げます。経費の見直しを行い、料金改定を検討させていただきます。	We apologize again for the inconvenience. We will review our expenses and consider revising our fees.
Female Customer (Neutral)	もう少し安くしてもらえると、みんな利用しやすいと思いますよ。	If you could make it a little cheaper, I think people would be more likely to use it.

デモ (Demonstrations):

2023年3月1日 SPEASIP研究会発表資料 (Google Slides for SPEASIP2023 in Japanese)

FastSpeech 2 + HiFi-GAN を用いた音声合成 (Speech synthesis using FastSpeech 2 + HiFi-GAN)

更新情報 (Update information):

コーパス Version 1 を公開しました (2023/03/24) / Version 1 is available online (Mar. 24, 2023)

主な開発者 (Main developers):

齋藤佑樹 (東京大学情報理工学系研究科) / Yuki Saito at The University of Tokyo, Japan.
飯森英治 (東京大学工学部) / Eiji Iimori at The University of Tokyo, Japan.
高道慎之介 (東京大学情報理工学系研究科) / Shinnosuke Takamichi at The University of Tokyo, Japan.
橘健太郎 (LINE株式会社) / Kentaro Tachibana at LINE Corp., Japan.
猿渡洋 (東京大学情報理工学系研究科) / Hiroshi Saruwatari at The University of Tokyo, Japan.

謝辞 (Acknowledgements):

本研究は，LINE株式会社と東京大学猿渡・高道研究室の共同研究プロジェクトとして実施した． / This research was conducted as a joint research project between LINE Corp. and Saruwatari-Takamichi Lab. at The University of Tokyo, Japan.