齋藤 佑樹, Ph.D.

Language: EN/JP


東京大学 の システム情報学専攻第一研究室 の助教です．
音声合成，音声変換，機械学習などに興味があります．

履歴書 (英語版) は [こちら (full)] と [こちら(short)]

Email: yuuki_saito {at} ipc.i.u-tokyo.ac.jp Twitter: @ysaito_human LinkedIn: yuki-saito-36a32a129

研究発表:

原著論文

  1. Satoshi Mizoguchi, Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "DNN-based low-musical-noise single-channel speech enhancement based on higher-order-moments matching," IEICE Transactions on Information and Systems, Vol. E104-D, No. 11, pp. 1971--1980, Nov. 2021. (J-STAGE)
  2. Takaaki Saeki, Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Real-time full-band voice conversion with sub-band modeling and data-driven phase estimation of spectral differentials," IEICE Transactions on Information and Systems, Vol. E104-D, No. 7, pp. 1002--1016, Jul. 2021. (2021年度電子情報通信学会 論文賞), (J-STAGE)
  3. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Perceptual-similarity-aware deep speaker representation learning for multi-speaker generative modeling," IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 29, pp. 1033--1048, Feb. 2021. (IEEE Xplore, Poster at ICASSP2022)
  4. Yuki Saito, Taiki Nakamura, Yusuke Ijima, Kyosuke Nishida, and Shinnosuke Takamichi, "Non-parallel and many-to-many voice conversion using variational autoencoders integrating speech recognition and speaker verification," Acoustical Science and Technology, Vol. 42, No. 1, pp. 1--11, Jan. 2021. (J-STAGE)
  5. Yuki Saito, Kei Akuzawa, and Kentaro Tachibana, "Joint adversarial training of speech recognition and synthesis models for many-to-one voice conversion using phonetic posteriorgrams," IEICE Transactions on Information and Systems, Vol. 103-D, No. 9, pp. 1978--1987, Sep. 2020. (J-STAGE)
  6. Shinnosuke Takamichi, Ryosuke Sonobe, Kentaro Mitsui, Yuki Saito, Tomoki Koriyama, Naoko Tanji, and Hiroshi Saruwatari, "JSUT and JVS: free Japanese voice corpora for accelerating speech synthesis research," Acoustical Science and Technology, Vol. 41, No. 5, pp. 761--768, 2020. (J-STAGE)
  7. Shinnosuke Takamichi, Yuki Saito, Norihiro Takamune, Daichi Kitamura, and Hiroshi Saruwatari, "Phase reconstruction from amplitude spectrograms based on directional-statistics deep neural networks," Signal Processing, Vol. 169, pp. 107368, Apr. 2020. (ScienceDirect)
  8. Hiroki Tamaru, Yuki Saito, Shinnosuke Takamichi, Tomoki Koriyama, and Hiroshi Saruwatari, "Generative moment matching network-based neural double-tracking for synthesized and natural singing voices," IEICE Transactions on Information and Systems, Vol. E103-D, No. 3, pp. 639--647, Mar. 2020. (J-STAGE)
  9. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Vocoder-free text-to-speech synthesis incorporating generative adversarial networks using low-/multi-frequency STFT amplitude spectra," Computer Speech and Language, Vol. 58, pp. 347--363, Nov. 2019. (ScienceDirect)
  10. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Statistical parametric speech synthesis incorporating generative adversarial networks," IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26, No. 1, pp. 84--96, Jan. 2018. (第34回 電気通信普及財団 テレコムシステム技術学生賞, IEEE Signal Processing Society Japan Student Journal Paper Award, 2020 IEEE SPS Young Author Best Paper Award), (IEEE Xplore)
  11. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Voice conversion using input-to-output highway networks," IEICE Transactions on Information and Systems, Vol. E100-D, No. 8, pp. 1925--1928, Aug. 2017. (J-STAGE)

査読付き国際会議

  1. Yota Ueda, Shinnosuke Takamichi, Yuki Saito, Norihiro Takamune, and Hiroshi Saruwatari, "HumanDiffusion: diffusion model using perceptual gradients," Proc. INTERSPEECH, pp. xxxx--xxxx, Dublin, Ireland, Aug. 2023. (ACCEPTED)
  2. Yuki Saito, Shinnosuke Takamichi, Eiji Iimori, Kentaro Tachibana, and Hiroshi Saruwatari, "ChatGPT-EDSS: empathetic dialogue speech synthesis trained from ChatGPT-derived context word embeddings," Proc. INTERSPEECH, pp. xxxx--xxxx, Dublin, Ireland, Aug. 2023. (Demo, ACCEPTED)
  3. Yuki Saito, Eiji Iimori, Shinnosuke Takamichi, Kentaro Tachibana, and Hiroshi Saruwatari, "CALLS: Japanese empathetic dialogue speech corpus of complaint handling and attentive listening in customer center," Proc. INTERSPEECH, pp. xxxx--xxxx, Dublin, Ireland, Aug. 2023. (Demo, ACCEPTED)
  4. Dong Yang, Tomoki Koriyama, Yuki Saito, Takaaki Saeki, Detai Xin, and Hiroshi Saruwatari, "Duration-aware pause insertion using pre-trained language model for multi-speaker text-to-speech," Proc. ICASSP, pp. xxxx--xxxx, Rhodes Island, Greece, Jun. 2023. (Demo, ACCEPTED)
  5. Aya Watanabe, Shinnosuke Takamichi, Yuki Saito, Detai Xin, and Hiroshi Saruwatari, "Mid-attribute speaker generation using optimal-transport-based interpolation of Gaussian mixture models," Proc. ICASSP, pp. xxxx--xxxx, Rhodes Island, Greece, Jun. 2023. (Demo, ACCEPTED)
  6. Kazuki Fujii, Yuki Saito, and Hiroshi Saruwatari, "Adaptive end-to-end text-to-speech synthesis based on error correction feedback from humans," Proc. APSIPA ASC, pp. 1699--1674, Chiang Mai, Thailand, Nov. 2022. (PDF, Slide)
  7. Yusuke Nakai, Yuki Saito, Kenta Udagawa, and Hiroshi Saruwatari, "Multi-task adversarial training algorithm for multi-speaker neural text-to-speech," Proc. APSIPA ASC, pp. 744--749, Chiang Mai, Thailand, Nov. 2022. (PDF, Slide)
  8. Yuki Saito, Yuto Nishimura, Shinnosuke Takamichi, Kentaro Tachibana, and Hiroshi Saruwatari, "STUDIES: Corpus of Japanese Empathetic Dialogue Speech Towards Friendly Voice Agent," Proc. INTERSPEECH, pp. 5155--5159, Incheon, South Korea, Sep. 2022. (PDF, Speech samples, Poster)
  9. Wataru Nakata, Tomoki Koriyama, Shinnosuke Takamichi, Yuki Saito, Yusuke Ijima, Ryo Masumura, and Hiroshi Saruwatari, "Predicting VQVAE-based Character Acting Style from Quotation-Annotated Text for Audiobook Speech Synthesis," Proc. INTERSPEECH, pp. 4551--4555, Incheon, South Korea, Sep. 2022. (PDF, Speech samples, Poster)
  10. Yuto Nishimura, Yuki Saito, Shinnosuke Takamichi, Kentaro Tachibana, and Hiroshi Saruwatari, "Acoustic Modeling for End-to-End Empathetic Dialogue Speech Synthesis Using Linguistic and Prosodic Contexts of Dialogue History," Proc. INTERSPEECH, pp. 3373--3377, Incheon, South Korea, Sep. 2022. (Google Travel Grants for Students in East Asia) (PDF, Speech samples, Slide)
  11. Kenta Udagawa, Yuki Saito, and Hiroshi Saruwatari, "Human-in-the-loop Speaker Adaptation for DNN-based Multi-speaker TTS," Proc. INTERSPEECH, pp. 2968--2972, Incheon, South Korea, Sep. 2022. (PDF, Speech samples, Poster)
  12. Xuan Luo, Shinnosuke Takamichi, Tomoki Koriyama, Yuki Saito, and Hiroshi Saruwatari, "Emotion-controllable speech synthesis using emotion soft labels and fine-grained prosody factors," Proc. APSIPA ASC, pp. 794--799, Tokyo, Japan, Dec. 2021. (PDF, Speech samples)
  13. Detai Xin, Yuki Saito, Shinnosuke Takamichi, Tomoki Koriyama, and Hiroshi Saruwatari, "Cross-lingual speaker adaptation using domain adaptation and speaker consistency loss for text-to-speech synthesis," Proc. INTERSPEECH, pp. 1614--1618, Brno, Czech Republic, Sep. 2021. (PDF)
  14. Yota Ueda, Kazuki Fujii, Yuki Saito, Shinnosuke Takamichi, Yukino Baba, and Hiroshi Saruwatari, "HumanACGAN: conditional generative adversarial network with human-based auxiliary classifier and its evaluation in phoneme perception," Proc. ICASSP, pp. 6468--6472, Toronto, Canada, Jun. 2021. (PDF, arXiv preprint, Poster)
  15. Yuki Yamashita, Tomoki Koriyama, Yuki Saito, Shinnosuke Takamichi, Yusuke Ijima, Ryo Masumura, and Hiroshi Saruwatari, "Investigating effective additional contextual factors in DNN-based spontaneous speech synthesis," Proc. INTERSPEECH, pp. 3201--3205, Shanghai, China, Oct. 2020. (PDF)
  16. Detai Xin, Yuki Saito, Shinnosuke Takamichi, Tomoki Koriyama, and Hiroshi Saruwatari, "Cross-lingual text-to-speech synthesis via domain adaptation and perceptual similarity regression in speaker space," Proc. INTERSPEECH, pp. 2947--2951, Shanghai, China, Oct. 2020. (PDF) (Speech samples)
  17. Shunsuke Goto, Kotaro Ohnishi, Yuki Saito, Kentaro Tachibana, and Koichiro Mori, "Face2Speech: towards multi-speaker text-to-speech synthesis using an embedding vector predicted from a face image," Proc. INTERSPEECH, pp. 1321--1325, Shanghai, China, Oct. 2020. (PDF) (Demo)
  18. Takaaki Saeki, Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Real-time, full-band, online DNN-based voice conversion system using a single CPU," Proc. INTERSPEECH, pp. 1021--1022, Shanghai, China, Oct. 2020. (PDF, Video)
  19. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "SMASH corpus: a spontaneous speech corpus recording third-person audio commentaries on gameplay," Proc. LREC, pp. 6573--6579, Marseille, France, May 2020. (PDF)
  20. Yuki Yamashita, Tomoki Koriyama, Yuki Saito, Shinnosuke Takamichi, Yusuke Ijima, Ryo Masumura, and Hiroshi Saruwatari, "DNN-based speech synthesis using abundant tags of spontaneous speech corpus," Proc. LREC, pp. 6440--6445, Marseille, France, May 2020. (PDF)
  21. Kazuki Fujii, Yuki Saito, Shinnosuke Takamichi, Yukino Baba, and Hiroshi Saruwatari, "HumanGAN: generative adversarial network with human-based discriminator and its evaluation in speech perception modeling," Proc. ICASSP, pp. 6239--6243, Barcelona, Spain, May 2020. (Main contribution paper for FujiSankei Business i Awards, Main contribution paper for National Institute of Technology Student Award) (PDF, arXiv preprint, Video)
  22. Takaaki Saeki, Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Lifter training and sub-band modeling for computationally efficient and high-quality voice conversion using spectral differentials," Proc. ICASSP, pp. 7784--7788, Barcelona, Spain, May 2020. (PDF, arXiv preprint, Video)
  23. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "DNN-based speaker embedding using subjective inter-speaker similarity for multi-speaker modeling in speech synthesis," Proc. The 10th ISCA SSW, pp. 51--56, Vienna, Austria, Sep. 2019. (PDF, arXiv preprint, Poster)
  24. Taiki Nakamura, Yuki Saito, Shinnosuke Takamichi, Yusuke Ijima, and Hiroshi Saruwatari, "V2S attack: building DNN-based voice conversion from automatic speaker verification," Proc. The 10th ISCA SSW, pp. 161--165, Vienna, Austria, Sep. 2019. (PDF, arXiv preprint, Poster)
  25. Hiroki Tamaru, Yuki Saito, Shinnosuke Takamichi, Tomoki Koriyama, and Hiroshi Saruwatari, "Generative moment matching network-based random modulation post-filter for DNN-based singing voice synthesis and neural double-tracking," Proc. ICASSP, pp. 7070--7074, Brighton, United Kingdom, May 2019. (PDF, arXiv preprint, Poster, Demo)
  26. Masakazu Une, Yuki Saito, Shinnosuke Takamichi, Daichi Kitamura, Ryoichi Miyazaki and Hiroshi Saruwatari, "Generative approach using the noise generation models for DNN-based speech synthesis trained from noisy speech," Proc. APSIPA ASC, pp. 99--103, Hawaii, U.S.A., Nov. 2018. (Invited Special Session), (PDF, Slide)
  27. Shinnosuke Takamichi, Yuki Saito, Norihiro Takamune, Daichi Kitamura, and Hiroshi Saruwatari, "Phase reconstruction from amplitude spectrograms based on von-Mises-distribution deep neural network," Proc. IWAENC, pp. 286--290, Tokyo, Japan, Sep. 2018. (PDF, Poster)
  28. Yuki Saito, Yusuke Ijima, Kyosuke Nishida, and Shinnosuke Takamichi, "Non-parallel voice conversion using variational autoencoders conditioned by phonetic posteriorgrams and d-vectors," Proc. ICASSP, pp. 5274--5278, Alberta, Canada, Apr. 2018. (Grants for Researchers Attending International Conferences from NEC C&C, Outstanding Paper Award for Young C&C Researchers) (PDF, Poster)
  29. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Text-to-speech synthesis using STFT spectra based on low-/multi-resolution generative adversarial networks," Proc. ICASSP, pp. 5299--5303, Alberta, Canada, Apr. 2018. (PDF, Poster)
  30. Hiroyuki Miyoshi, Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Voice conversion using sequence-to-sequence learning of context posterior probabilities," Proc. INTERSPEECH, pp. 1268--1272, Stockholm, Sweden, Aug. 2017. (PDF, Slide, Speech samples)
  31. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Training algorithm to deceive anti-spoofing verification for DNN-based speech synthesis," Proc. ICASSP, pp. 4900--4904, New Orleans, U.S.A., Mar. 2017. (Spoken Language Processing Student Grant of ICASSP 2017), (PDF, Slide)
  32. Yuki Saito, and Hiroshi Tenmoto, "Construction of highly interpretable classification rule based on linear SVM," Proc. ISTS, Taipei, Taiwan, Nov. 2014.

研究会

  1. 渡邊 亞椰, 高道 慎之介, 齋藤 佑樹, 猿渡 洋, "自由記述文による声質制御に向けたin-the-wild文データ収集法," 電子情報通信学会研究報告, NLC2022-29, Vol. 122, No. 449, pp.55-60, 2023年3月. (PDF)
  2. 齋藤 佑樹, 飯森 英治, 高道 慎之介, 橘 健太郎, 猿渡 洋, "多ドメイン共感的対話音声合成に向けた音声コーパスの構築," 電子情報通信学会研究報告, Vol. 122, No. 389, 2023年3月. (Slide)
  3. 平井 龍之介, 齋藤 佑樹, 猿渡 洋, "Fed-StarGANv2-VC:連合学習を用いた多対多声質変換," 情報処理学会研究報告, 2023-SLP-146, No. 11, pp. 1--6, 2023年3月. (PDF, Slide)
  4. 齋藤 佑樹, 佐藤 宏, "国際会議INTERSPEECH2022参加報告," 情報処理学会研究報告, 2022-SLP-144, No. 14, p. 1, 2022年11月.
  5. 西邑 勇人, 齋藤 佑樹, 高道 慎之介, 橘 健太郎, 猿渡 洋, "対話履歴の韻律情報を考慮した共感的対話音声合成," 情報処理学会研究報告, 2022-SLP-140, No. 16, pp. 1--6, 2022年3月. (PDF, Speech samples, Slide)
  6. 仲井 佑友輔, 宇田川 健太, 齋藤 佑樹, 猿渡 洋, "多話者音声合成のためのAdversarial Regularizerを考慮した学習アルゴリズム," 電子情報通信学会研究報告, SP2021-57, Vol. 121, No. 385, pp. 50--55, 2022年3月. (PDF, Speech samples, Slide)
  7. 中田 亘, 郡山 知樹, 高道 慎之介, 齋藤 佑樹, 井島 勇祐, 増村 亮, 猿渡 洋, "VQVAEによって獲得されたキャラクター演技スタイルに基づく多話者オーディオブック音声合成," 電子情報通信学会研究報告, SP2021-47, Vol. 121, No. 282, pp. 42--47, 2021年12月. (PDF, Slide, Speech samples)
  8. 藤井 一貴, 齋藤 佑樹, 猿渡 洋, "韻律情報で条件付けされた非自己回帰型End-to-End 日本語音声合成の検討," 情報処理学会研究報告, 2021-SLP-138, No. 16, pp. 1--6, 2021年10月. (PDF, Slide)
  9. 宇田川 健太, 齋藤 佑樹, 猿渡 洋, "人間の知覚評価フィードバックによる音声合成の話者適応," 電子情報通信学会研究報告, SP2021-33, Vol. 121, No. 202, pp. 46--51, 2021年10月. (PDF, Slide, Speech samples)
  10. 倉田 将希, 高道 慎之介, 佐伯 高明, 荒川 陸, 齋藤 佑樹, 樋口 啓太, 猿渡 洋, "リアルタイムDNN音声変換フィードバックによるキャラクタ性の獲得手法," 情報処理学会研究報告, 2021-SLP-136, No. 31, pp. 1--6, 2021年3月. (PDF, Slide)
  11. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "主観的話者間類似度を考慮したDNN話者埋め込みのためのActive Learning," 情報処理学会研究報告, 2021-SLP-136, No. 30, pp. 1--6, 2021年3月. (2021年度情報処理学会 音声言語情報処理研究会 企業賞 (Yahoo!Japan賞)) (PDF, Slide)
  12. 藤井 一貴, 齋藤 佑樹, 高道 慎之介, 馬場 雪乃, 猿渡 洋, "人間GAN：人間による知覚評価に基づく敵対的生成ネットワークと生成音声の自然性評価," 電子情報通信学会研究報告, SP2020-06, Vol. 120, No. 57, pp. 15--20, 2020年6月. (音学シンポジウム 学生ポスター賞)(PDF)
  13. 内藤 悟嗣, 齋藤 佑樹, 高道 慎之介, 齋藤 康之, 猿渡 洋, "VOCALOID曲の歌唱におけるブレス位置の自動推定," 情報処理学会研究報告, 2020-MUS-127, No. 33, pp. 1--6, 2020年6月. (PDF)
  14. 山下 優樹, 郡山 知樹, 齋藤 佑樹, 高道 慎之介, 井島 勇祐, 増村 亮, 猿渡 洋, "DNN に基づく話し言葉音声合成における追加コンテキストの効果," 電子情報通信学会研究報告, SP2019-61, Vol. 119, No. 441, pp. 65--70, 2020年3月. (PDF)
  15. 佐伯 高明, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "差分スペクトル法に基づくDNN声質変換のためのリフタ学習およびサブバンド処理," 情報処理学会研究報告, 2020-SLP-131, No. 2, pp. 1--6, 2020年2月. (PDF, Slide)
  16. 藤井 一貴, 齋藤 佑樹, 高道 慎之介, 馬場 雪乃, 猿渡 洋, "人間GAN：人間による知覚的識別に基づく敵対的生成ネットワーク," 情報論的学習理論ワークショップ (IBIS) 2019, 2-037, 2019年11月. (Poster)
  17. 中村 泰貴, 齋藤 佑樹, 高道 慎之介, 井島 勇祐, 猿渡 洋, "話者V2S攻撃：話者認証から構築される声質変換とその音声なりすまし可能性の評価," コンピュータセキュリティシンポジウム (CSS) 2019, 2E1-2, pp. 697--703, 2019年10月. (PDF, Slide)
  18. 高道 慎之介, 三井 健太郎, 齋藤 佑樹, 郡山 知樹, 丹治 尚子, 猿渡 洋, "JVS：フリーの日本語多数話者音声コーパス," 情報処理学会研究報告, 2019-SLP-129, No. 1, pp. 1--6, 2019年10月. (PDF, Slide)
  19. 田丸 浩気, 齋藤 佑樹, 高道 慎之介, 郡山 知樹, 猿渡 洋, "モーメントマッチングに基づくDNN合成歌声のランダム変調ポストフィルタとニューラルダブルトラッキングへの応用," 情報処理学会研究報告, 2018-SLP-125, No. 1, pp. 1--6, 2018年12月. (PDF, Slide)
  20. 溝口 聡, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "カートシスマッチングに基づく低ミュージカルノイズDNN音声強調の評価," 電子情報通信学会研究報告, EA2018-66, Vol. 118, No. 312, pp. 19--24, 2018年11月. (PDF, Poster)
  21. 高道 慎之介, 齋藤 佑樹, 高宗 典玄, 北村 大地, 猿渡 洋, "von Mises分布DNNに基づく振幅スペクトログラムからの位相復元," 情報処理学会研究報告, 2018-SLP-122, No. 1, pp. 1--6, 2018年6月. (音学シンポジウム優秀賞, 情報処理学会 山下記念研究賞) (PDF, Poster)
  22. 齋藤 佑樹, 井島 勇祐, 西田 京介, 高道 慎之介, "音素事後確率とd-vectorを用いたVariational Autoencoderによるノンパラレル多対多音声変換," 電子情報通信学会研究報告, SP2017-88, Vol. 117, No. 517, pp. 21--26, 2018年3月. (平成29年度音声研究会 研究奨励賞) (PDF, Slide)
  23. 宇根 昌和, 齋藤 佑樹, 高道 慎之介, 北村 大地, 宮崎 亮一, 猿渡 洋, "雑音環境下音声を用いた音声合成のための雑音生成モデルの敵対的学習,," 情報処理学会研究報告, 2017-SLP-118, No. 1, pp. 1--6, 2017年10月. (PDF, Slide)
  24. 三好 裕之, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "コンテキスト事後確率のSequence-to-Sequence学習を用いた音声変換とDual Learningの評価," 電子情報通信学会研究報告, SP2017-16, Vol. 117, No. 160, pp. 9--14, 2017年7月. (PDF, Slide)
  25. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "DNNテキスト音声合成のための Anti-spoofing に敵対する学習アルゴリズム," 情報処理学会研究報告, 2017-SLP-115, No. 1, pp. 1--6, 2017年2月. (PDF, Slide)
  26. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "Anti-spoofingに敵対するDNN音声変換の評価," 電子情報通信学会研究報告, SP2016-69, Vol. 116, No. 414, pp. 29--34, 2017年1月. (2017年 SP研究会 学生ポスター賞) (PDF, Poster)

全国大会

  1. 渡邊 亞椰, 高道 慎之介, 齋藤 佑樹, 辛 徳泰, 猿渡 洋, "最適輸送によるGMM補間を用いた中間属性の非実在話者生成," 日本音響学会 2023年春季研究発表会 講演論文集, 2-3Q-8, pp. 899--902, 2023年3月. (PDF)
  2. Dong Yang, Tomoki Koriyama, Yuki Saito, Takaaki Saeki, Detai Xin, and Hiroshi Saruwatari, "More differentiated pause insertion for phoneme-based multi-speaker TTS models," 日本音響学会 2023年春季研究発表会 講演論文集, 2-3P-9, pp. 867--870, 2023年3月. (PDF)
  3. 原田そら, 中田 亘, 高道 慎之介, 齋藤 佑樹, 齋藤 康之, 猿渡 洋, "避難呼びかけ音声の持つ緊急性の分析と音声合成への適用の検討," 日本音響学会 2022年秋季研究発表会 講演論文集, 2-Q-41, pp. 1283--1286, 2022年9月. (PDF, Poster)
  4. 藤井 一貴, 齋藤 佑樹, 猿渡 洋, "人間からの誤り訂正フィードバックに基づく適応的なEnd-to-End日本語音声合成に関する検討 ," 日本音響学会 2022年秋季研究発表会 講演論文集, 2-Q-36, pp. 1265--1268, 2022年9月. (PDF, Poster)
  5. 中田 亘, 郡山 知樹, 高道 慎之介, 齋藤 佑樹, 井島 勇祐, 増村 亮, 猿渡 洋, "キャラクタ分散表現を用いた演じ分けを実現するオーディオブック音声合成," 日本音響学会 2022年春季研究発表会 講演論文集, 3-3-1, pp. 965--968, 2022年3月. (PDF)
  6. 齋藤 佑樹, 西邑 勇人, 高道 慎之介, 橘 健太郎, 猿渡 洋, "STUDIES：表現豊かな音声合成に向けた日本語共感的対話音声コーパス," 日本音響学会 2022年春季研究発表会 講演論文集, 2-3P-15, pp. 1133--1136, 2022年3月. (PDF, Speech samples)
  7. 齋藤 佑樹, 矢田部 浩平, Shogun, "大乱闘スマッシュブラザーズの対人対戦におけるコントローラー操作音からのキャラクター識別," 日本音響学会 2022年春季研究発表会 講演論文集, 1-1Q-8, pp. 351--352, 2022年3月. (PDF)
  8. 宇田川 健太, 齋藤 佑樹, 猿渡 洋, "人間の知覚評価をフィードバックに用いた音声合成の話者適応における探索手法の検討," 日本音響学会 2022年春季研究発表会 講演論文集, 1-3-16, pp. 927--930, 2022年3月. (PDF)
  9. 羅 旋, 高道 慎之介, 郡山 知樹, 齋藤 佑樹, 猿渡 洋, "韻律特徴と感情ソフトラベルを利用した制御可能な音声合成モデル," 日本音響学会 2021年秋季研究発表会 講演論文集 3-3-21, pp. 985--988, 2021年9月. (PDF)
  10. 齋藤 佑樹, 猿渡 洋, "End-to-End音声合成のContinual Learningにおける破滅的忘却の影響の調査," 日本音響学会 2021年秋季研究発表会 講演論文集, 1-3Q-8, pp. 1069--1072, 2021年9月. (PDF)
  11. 辛 徳泰, 齋藤 佑樹, 高道 慎之介, 郡山 知樹, 猿渡 洋, "ドメイン適応と話者一致損失を用いた話者適応によるクロスリンガル音声合成," 日本音響学会 2021年秋季研究発表会 講演論文集, 1-3Q-8, pp. 1049--1052, 2021年9月. (PDF)
  12. 上田 陽太，藤井 一貴，齋藤 佑樹，高道 慎之介，馬場 雪乃，猿渡 洋， "HumanACGAN：人間の知覚を補助分類器に用いた条件付き敵対的生成ネットワークと音素知覚における評価," 日本音響学会 2021年春季研究発表会 講演論文集, 1-2-14, pp. 819--822, 2021年3月. (PDF)
  13. 佐伯 高明, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "サブバンドフィルタリングに基づくリアルタイム広帯域DNN声質変換の実装と評価," 日本音響学会 2020年秋季研究発表会 講演論文集, 1-2-11, pp. 715--718, 2020年9月. (Slide, PDF)
  14. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "主観的話者間類似度のグラフ埋め込みに基づくDNN話者埋め込み," 日本音響学会 2020年秋季研究発表会 講演論文集, 1-2-11, pp. 697--698, 2020年9月. (日本音響学会 粟屋 潔学術奨励賞) (PDF, Slide)
  15. 藤井 一貴, 齋藤 佑樹, 高道 慎之介, 馬場 雪乃, 猿渡 洋, "人間GAN：人間による知覚評価に基づく敵対的生成ネットワークと音声の自然性知覚における評価," 日本音響学会 2020年春季研究発表会 講演論文集, 3-P-40, pp. 1181--1184, 2020年3月. (PDF)
  16. 高道 慎之介, 小沼 海, 金田 卓, 金田 隆志, 齋藤 佑樹, 郡山 知樹, 猿渡 洋, "周波数伸縮に基づく話者匿名化のためのクラウドソーシングに基づくパラメータ最適化," 日本音響学会 2020年春季研究発表会 講演論文集, 3-P-31, pp. 1159--1162, 2020年3月. (PDF)
  17. 後藤 駿介, 大西 弘太郎, 齋藤 佑樹, 橘 健太郎, 森 紘一郎, "顔画像から予測される埋め込みベクトルを用いた複数話者音声合成," 日本音響学会 2020年春季研究発表会 講演論文集, 2-Q-49, pp. 1141--1144, 2020年3月. (PDF, poster)
  18. 佐伯 高明, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "差分スペクトル法に基づく広帯域声質変換のためのサブバンドリフタ学習," 日本音響学会 2020年春季研究発表会 講演論文集, 2-2-5, pp. 1085--1088, 2020年3月. (PDF)
  19. 高道 慎之介, 齋藤 佑樹, 中村 友彦, 郡山 知樹, 猿渡 洋, "manga2voice:マンガ画像からの音声合成に向けた音声分析," 日本音響学会 2020年春季研究発表会 講演論文集, 1-2-15, pp. 1065--1068, 2020年3月. (PDF)
  20. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "SMASHコーパス：ゲーム動画の後付け実況解説音声収録に基づく自発発話音声コーパス," 日本音響学会 2020年春季研究発表会 講演論文集, 1-2-14, pp. 1061--1064, 2020年3月. (PDF, Slide)
  21. 内藤 悟嗣, 齋藤 佑樹, 高道 慎之介, 齋藤 康之, 猿渡 洋, "ユーザによるVOCALOID曲の歌唱のためのブレス位置推定," 日本音響学会 2020年春季研究発表会 講演論文集, 1-2-12, pp. 1057--1058, 2020年3月. (PDF)
  22. 齋藤 佑樹，阿久澤 圭, 橘 健太郎, "音素事後確率を用いた多対一音声変換のための音声認識・生成モデルの同時敵対学習," 日本音響学会 2019年秋季研究発表会 講演論文集, 2-4-2, pp. 963--966, 2019年9月. (PDF, Slide)
  23. 佐伯 高明, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "差分スペクトル法に基づくDNN声質変換の計算量削減に向けたフィルタ推定," 日本音響学会 2019年秋季研究発表会 講演論文集, 2-4-1, pp. 961--962, 2019年9月. (PDF, Slide)
  24. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "主観的話者間類似度に基づくDNN話者埋め込みを用いた多数話者DNN音声合成の実験的評価," 日本音響学会 2019年秋季研究発表会 講演論文集, 1-P-18, pp. 999--1002, 2019年9月. (PDF, Poster)
  25. 田丸 浩気, 齋藤 佑樹, 高道 慎之介, 郡山 知樹, 猿渡 洋, "ユーザ歌唱のためのgenerative moment matching network に基づくneural double-tracking," 日本音響学会 2019年秋季研究発表会 講演論文集, 1-4-2, pp. 935--938, 2019年9月. (PDF, Slide)
  26. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "DNN 音声合成に向けた主観的話者間類似度を考慮したDNN話者埋め込み," 日本音響学会 2019年春季研究発表会 講演論文集, 3-10-7, pp. 1067--1070, 2019年3月. (PDF, Slide)
  27. 中村 泰貴, 齋藤 佑樹, 西田 京介, 井島 勇祐, 高道 慎之介, "音素事後確率とd-vectorを用いたノンパラレル多対多VAE音声変換における学習データ量とd-vector次元数に関する評価," 日本音響学会 2019年春季研究発表会 講演論文集, 2-P-30, pp. 1149--1150, 2019年3月. (PDF, Poster)
  28. 田丸 浩気, 齋藤 佑樹, 高道 慎之介, 郡山 知樹, 猿渡 洋, "Generative moment matching netに基づく歌声のランダム変調ポストフィルタとdouble-trackingへの応用," 日本音響学会 2019年春季研究発表会 講演論文集, 2-10-5, pp. 1035--1038, 2019年3月. (The 3rd IEEE Signal Processing Society Tokyo Joint Chapter Student Award) (PDF)
  29. 溝口 聡, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "多様なカートシスを持つ雑音に対応した低ミュージカルノイズDNN音声強調," 日本音響学会 2019年春季研究発表会 講演論文集, 1-6-6, pp. 185--188, 2019年3月. (PDF)
  30. 高道 慎之介, 齋藤 佑樹, 高宗 典玄, 北村 大地, 猿渡 洋, "方向統計DNNに基づく振幅スペクトログラムからの位相復元," 日本音響学会 2018年秋季研究発表会 講演論文集, 2-4-2, pp. 1127--1130, 2018年9月. (PDF, Slide)
  31. 溝口 聡, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "カートシスマッチングと深層学習に基づく低ミュージカルノイズ音声強調," 日本音響学会 2018年秋季研究発表会 講演論文集, 2-1-7, pp. 177--180, 2018年9月. (日本音響学会 第18回学生優秀発表賞) (PDF, Slide)
  32. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "多重周波数解像度のSTFTスペクトルを用いた敵対的DNN音声合成," 日本音響学会 2018年春季研究発表会 講演論文集, 3-8-14, pp. 259--262, 2018年3月. (PDF, Slide)
  33. 宇根 昌和, 齋藤 佑樹, 高道 慎之介, 北村 大地, 宮崎 亮一, 猿渡 洋, "雑音環境下音声を用いたDNN音声合成のための雑音生成モデルの敵対的学習," 日本音響学会 2018年春季研究発表会 講演論文集, 3-8-8, pp. 243--244, 2018年3月. (PDF, Slide)
  34. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "敵対的DNN音声合成におけるダイバージェンスの影響の調査," 日本音響学会 2017年秋季研究発表会 講演論文集, 1-8-7, pp. 189--192, 2017年9月. (PDF, Slide)
  35. 高道 慎之介, 郡山 知樹, 齋藤 佑樹, 猿渡 洋, "Moment-matching networkに基づく一期一会音声合成における発話間ゆらぎの評価," 日本音響学会 2017年秋季研究発表会 講演論文集, 1-8-9, pp. 195--196, 2017年9月. (PDF, Slide)
  36. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "敵対的DNN音声合成におけるF0・継続長の生成," 日本音響学会 2017年春季研究発表会 講演論文集, 2-6-6, pp. 257--258, 2017年3月. (PDF, Slide)
  37. 三好 裕之, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "コンテキスト事後確率のSequence-to-Sequence学習を用いた音声変換," 日本音響学会 2017年春季研究発表会 講演論文集, 1-6-15, pp. 237--238, 2017年3月. (PDF, Slide)
  38. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "Highway networkを用いた差分スペクトル法に基づく敵対的DNN音声変換," 日本音響学会 2017年春季研究発表会 講演論文集, 1-6-14, pp. 235--236, 2017年3月. (The 1st IEEE Signal Processing Society Tokyo Joint Chapter Student Award) (PDF, Slide)
  39. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "DNN音声合成のためのAnti-Spoofingを考慮した学習アルゴリズム," 日本音響学会 2016年秋季研究発表会 講演論文集, 3-5-1, pp. 149--150, 2016年9月. (日本音響学会 第14回学生優秀発表賞) (PDF, Slide)

学位論文

  1. 齋藤 佑樹, "Statistical speech synthesis based on human's speech information processing abilities," 博士論文, 東京大学大学院 情報理工学系研究科 システム情報学専攻, 2021年3月. (指導教員: 猿渡 洋 教授) (情報理工学系研究科 研究科長賞) (PDF, Slide)
  2. 齋藤 佑樹, "High-quality statistical parametric speech synthesis using generative adversarial networks," 修士論文, 東京大学大学院 情報理工学系研究科 創造情報学専攻, 2018年3月. (指導教員: 猿渡 洋 教授) (PDF, Slide)

競争的資金:

  1. 立石科学技術振興財団 研究助成 (S), "スモールデータ機械学習に基づくリアルタイム音コミュニケーション能力拡張システム," 3,000万円, 2023年4月--2026年3月.（分担）
  2. 日本学術振興会 若手研究, "eスポーツ理解に向けた実況解説音声の分析及び音声合成アルゴリズムの開発," 360万円, 2022年4月--2025年3月.（代表）
  3. 立石科学技術振興財団 研究助成 (A), "連合学習に基づく多話者音声変換のユーザ参加型学習," 220万円, 2022年4月--2023年3月.（代表）
  4. 日本学術振興会 研究活動スタート支援, "Continual Learning に基づく持続的に学習可能な音声合成," 240万円, 2021年9月--2023年3月.（代表）
  5. 2021年度 キオクシア（旧東芝メモリ）奨励研究, 100万円, 2021年6月--2022年3月.（代表）
  6. 日本学術振興会 特別研究員奨励費, "聞き手モデルに基づく能動的音声合成に関する研究," 250万円, 2018年5月--2021年3月.（代表）
  7. 公益財団法人 NEC C&C 財団 平成30年度 前期国際会議論文発表者助成受給者, 25万円, 2018年4月.

受賞:

  1. 第22回 船井情報科学振興財団 船井研究奨励賞, 2023年5月.
  2. 2021年度電子情報通信学会 論文賞, 2022年6月.
  3. 2021年度情報処理学会 音声言語情報処理研究会 企業賞 (Yahoo!Japan賞), 2022年3月.
  4. 2020 IEEE SPS Young Author Best Paper Award, 2021年6月.
  5. 2020年度 東京大学 大学院情報理工学系研究科 研究科長賞（システム情報学専攻・博士課程）, 2021年3月.
  6. 日本音響学会 第49回粟屋 潔学術奨励賞, 2021年3月.
  7. 2018年度C&C若手優秀論文賞, 2019年1月.
  8. The 12th IEEE Signal Processing Society Japan Student Journal Paper Award, 2018年11月.
  9. 平成29年度音声研究会 研究奨励賞, 2018年8月.
  10. 日本学生支援機構 第一種奨学金 特に優れた業績による奨学金返還免除 (半額) 対象者, 2018年5月.
  11. 第34回 電気通信普及財団 テレコムシステム技術学生賞, 2018年3月.
  12. The 1st IEEE Signal Processing Society Tokyo Joint Chapter Student Award, 2017年11月.
  13. Spoken Language Processing Student Grant of ICASSP, 2017年3月.
  14. 日本音響学会 第14回学生優秀発表賞, 2017年3月.
  15. 2017年 SP研究会 学生ポスター賞, 2017年1月.
  16. 平成27年度 釧路高専専攻科 学生特別研究発表会 奨励賞, 2016年2月.
  17. 平成25年度 釧路高専 校長賞, 2014年3月.

共著者の受賞:

  1. Google Travel Grants for Students in East Asia, 2022年7月. (受賞者：西邑 勇人)
  2. 令和2年度 国立高等専門学校機構学生表彰, 2021年3月. (受賞者：藤井 一貴)
  3. 音学シンポジウム 学生ポスター賞, 2020年6月. (受賞者：藤井 一貴)
  4. フジサンケイビジネスアイ 先端技術大賞 特別賞, 2020年6月. (受賞者：藤井 一貴)
  5. 情報処理学会 山下記念研究賞, 2020年3月. (受賞者: 高道 慎之介)
  6. The 3rd IEEE Signal Processing Society Tokyo Joint Chapter Student Award, 2019年12月. (受賞者: 田丸 浩気)
  7. 日本音響学会 第18回学生優秀発表賞, 2019年3月. (受賞者: 溝口 聡)
  8. 音学シンポジウム優秀賞, 2018年6月. (受賞者: 高道 慎之介)

査読:

  1. Journal of Audio Engineering Society 査読 (2022年より)
  2. 電子情報通信学会 論文誌 査読 (2022年より)
  3. 情報処理学会 論文誌 査読 (2022年より)
  4. APSIPA Transactions on Signal and Information Processing 査読 (2021年より)
  5. EURASIP Journal on Audio Speech and Music Processing 査読 (2021年より)
  6. INTERSPEECH 査読 (2021年より)
  7. IEEE Access 査読 (2021年より)
  8. IEEE/ACM Transactions on Audio, Speech, and Language Processing 査読 (2020年より)
  9. IEEE MLSP 査読 (2019年より)
  10. IEEE Signal Processing Letter 査読 (2018年より)
  11. IEEE ICASSP 査読 (2018年より)

職歴:

  1. 東京大学 特任助教 (JST ムーンショット型研究開発事業 "音響情報処理・音声変換の研究開発"), 2021年4月1日--2025年xx月xx日. (代表者: 猿渡 洋) (Project)
  2. 東京大学 技術補佐員 (総務省SCOPE "知覚モデルに基づくストレスフリーなリアルタイム広帯域音声変換の研究"), 2019年4月1日--2021年3月31日. (代表者: 高道 慎之介) (Project)
  3. 株式会社ディー・エヌ・エー (DeNA) AIシステム研究開発部 アルバイト, 2018年10月1日--2019年3月29日 & 2019年6月1日--2020年3月31日. (指導者: 橘 健太郎)
  4. 日本学術振興会 特別研究員 (DC1, "聞き手モデルに基づく能動的音声合成に関する研究"), 2018年4月1日--2021年3月31日. (代表者: 齋藤 佑樹) (KAKEN) (Project)
  5. NTT メディアインテリジェンス研究所 音声言語メディアプロジェクト インターン, 2017年8月30日--2017年10月31日. (指導者: 井島 勇祐)
  6. NTT コミュニケーション科学基礎研究所 メディア情報研究部 インターン, 2016年8月8-日-2016年9月9日. (指導者: 亀岡 弘和)

ボランティア活動など:

  1. 日本音響学会 学生・若手フォーラム 幹事会員（2017年3月--現在）兼 副代表（2019年4月--2022年3月）.

音声コーパス:

  1. 齋藤 佑樹, 飯森 英治, 高道 慎之介, 橘 健太郎, 猿渡 洋, "STUDIES 2 (CALLS) Corpus: Complaint handling and Attentive Listening Lines Speech," Mar. 2023. (URL)
  2. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "SMASHコーパス: ゲーム動画の後づけ実況解説音声収録に基づく自発発話音声コーパス," Jul. 2022. (URL)
  3. 齋藤 佑樹, 西邑 勇人, 高道 慎之介, 橘 健太郎, 猿渡 洋, "STUDIES Corpus: Japanese empathetic dialogue speech corpus," Mar. 2022. (URL, arXiv preprint)
  4. 高道 慎之介, 三井 健太郎, 齋藤 佑樹, 郡山 知樹, 丹治 尚子, 猿渡 洋, "JVS corpus: free Japanese multi-speaker voice corpus," Aug. 2019. (URL, arXiv preprint)

招待講演 / 訪問講演:

  1. Yuki Saito, "Towards human-in-the-loop DNN-based speech synthesis technologies," Seminar by IEEE NZ Signal Processing / Information Theory Joint Chapter and Acoustics Research Center, the University of Auckland, Dec. 2022.
  2. Yuki Saito, "Towards human-in-the-loop speech synthesis technologies," Seminar by IEEE Systems, Man and Cybernetics Singapore Chapter, Chinese and Oriental Languages Information Processing Society Teochew Doctorate Society, Singapore, and Human Language Technology Lab., National University of Singapore, Aug. 2022.

特許:

  1. 橘 健太郎, 齋藤 佑樹, 阿久澤 圭, “音声処理装置及び音声処理プログラム," 特開2020-190605, 2019年5月21日出願.
  2. 高道 慎之介, 齋藤 佑樹, 佐伯 高明, 猿渡 洋, “音声変換方法及び音声変換プログラム," 特開2021-032940, 2019年8月19日出願.
  3. 高道 慎之介, 齋藤 佑樹, 佐伯 高明, 猿渡 洋, “音声変換装置、音声変換方法及び音声変換プログラム," PCT/JP2020/031122, 2020年8月18日出願.
  4. 高道 慎之介, 齋藤 佑樹, 佐伯 高明, 猿渡 洋, “音声変換装置、音声変換方法及び音声変換プログラム," PCT/JP2021/004367, 2021年2月5日出願.

講義:

学歴:

その他: