齋藤 佑樹

Language: EN/JP


東京大学 の システム情報学専攻第一研究室 に所属している博士後期課程の学生です．
日本学術振興会の特別研究員 (DC1) としても活動しています．
音声合成，音声変換，機械学習などに興味があります．
履歴書 (英語版) は [こちら]

Email: yuuki_saito {at} ipc.i.u-tokyo.ac.jp

デモ:

研究発表:

原著論文

  1. Yuki Saito, Kei Akuzawa, and Kentaro Tachibana, "Joint adversarial training of speech recognition and synthesis models for many-to-one voice conversion using phonetic posteriorgrams," IEICE Transactions on Information and Systems, Vol. xxx-x, No. x, pp. xxx--xxx, 2020. (ACCEPTED)
  2. Shinnosuke Takamichi, Ryosuke Sonobe, Kentaro Mitsui, Yuki Saito, Tomoki Koriyama, Naoko Tanji, and Hiroshi Saruwatari, "JSUT and JVS: free Japanese voice corpora for accelerating speech synthesis research," Acoustical Science and Technology, Vol. xxx, No. xxx, pp. xxxx--xxxx, 2020. (ACCEPTED)
  3. Hiroki Tamaru, Yuki Saito, Shinnosuke Takamichi, Tomoki Koriyama, and Hiroshi Saruwatari, "Generative moment matching network-based neural double-tracking for synthesized and natural singing voices," IEICE Transactions on Information and Systems, Vol. E103-D, No. 3, pp. 639--647, Mar. 2020. (J-STAGE)
  4. Shinnosuke Takamichi, Yuki Saito, Norihiro Takamune, Daichi Kitamura, and Hiroshi Saruwatari, "Phase reconstruction from amplitude spectrograms based on directional-statistics deep neural networks," Signal Processing, Vol. 169, pp. 107368, Apr. 2020. (ScienceDirect)
  5. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Vocoder-free text-to-speech synthesis incorporating generative adversarial networks using low-/multi-frequency STFT amplitude spectra," Computer Speech and Language, Vol. 58, pp. 347--363, Nov. 2019. (ScienceDirect)
  6. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Statistical parametric speech synthesis incorporating generative adversarial networks," IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26, No. 1, pp. 84--96, Jan. 2018. (第34回 電気通信普及財団 テレコムシステム技術学生賞, IEEE Signal Processing Society Japan Student Journal Paper Award), (IEEE Xplore)
  7. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Voice conversion using input-to-output highway networks," IEICE Transactions on Information and Systems, Vol. E100-D, No. 8, pp. 1925--1928, Aug. 2017. (J-STAGE)

査読付き国際会議

  1. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "SMASH corpus: a spontaneous speech corpus recording third-person audio commentaries on gameplay," Proc. LREC, pp. 6573--6579, Marseille, France, May 2020. (PDF)
  2. Yuki Yamashita, Tomoki Koriyama, Yuki Saito, Shinnosuke Takamichi, Yusuke Ijima, Ryo Masumura, and Hiroshi Saruwatari, "DNN-based speech synthesis using abundant tags of spontaneous speech corpus," Proc. LREC, pp. 6440--6445, Marseille, France, May 2020. (PDF)
  3. Kazuki Fujii, Yuki Saito, Shinnosuke Takamichi, Yukino Baba, and Hiroshi Saruwatari, "HumanGAN: generative adversarial network with human-based discriminator and its evaluation in speech perception modeling," Proc. ICASSP, pp. 6239--6243, Barcelona, Spain, May 2020. (PDF, arXiv preprint, Video)
  4. Takaaki Saeki, Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Lifter training and sub-band modeling for computationally efficient and high-quality voice conversion using spectral differentials," Proc. ICASSP, pp. 7784--7788, Barcelona, Spain, May 2020. (PDF, arXiv preprint, Video)
  5. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "DNN-based speaker embedding using subjective inter-speaker similarity for multi-speaker modeling in speech synthesis," Proc. The 10th ISCA SSW, pp. 51--56, Vienna, Austria, Sep. 2019. (PDF, arXiv preprint, Poster)
  6. Taiki Nakamura, Yuki Saito, Shinnosuke Takamichi, Yusuke Ijima, and Hiroshi Saruwatari, "V2S attack: building DNN-based voice conversion from automatic speaker verification," Proc. The 10th ISCA SSW, pp. 161--165, Vienna, Austria, Sep. 2019. (PDF, arXiv preprint, Poster)
  7. Hiroki Tamaru, Yuki Saito, Shinnosuke Takamichi, Tomoki Koriyama, and Hiroshi Saruwatari, "Generative moment matching network-based random modulation post-filter for DNN-based singing voice synthesis and neural double-tracking," Proc. ICASSP, pp. 7070--7074, Brighton, United Kingdom, May 2019. (PDF, arXiv preprint, Poster, Demo)
  8. Masakazu Une, Yuki Saito, Shinnosuke Takamichi, Daichi Kitamura, Ryoichi Miyazaki and Hiroshi Saruwatari, "Generative approach using the noise generation models for DNN-based speech synthesis trained from noisy speech," Proc. APSIPA ASC, pp. 99--103, Hawaii, U.S.A., Nov. 2018. (Invited Special Session), (PDF, Slide)
  9. Shinnosuke Takamichi, Yuki Saito, Norihiro Takamune, Daichi Kitamura, and Hiroshi Saruwatari, "Phase reconstruction from amplitude spectrograms based on von-Mises-distribution deep neural network," Proc. IWAENC, pp. 286--290, Tokyo, Japan, Sep. 2018. (PDF, Poster)
  10. Yuki Saito, Yusuke Ijima, Kyosuke Nishida, and Shinnosuke Takamichi, "Non-parallel voice conversion using variational autoencoders conditioned by phonetic posteriorgrams and d-vectors," Proc. ICASSP, pp. 5274--5278, Alberta, Canada, Apr. 2018. (公益財団法人 NEC C&C 財団 平成30年度 前期国際会議論文発表者助成, 2018年度 C&C若手優秀論文賞) (PDF, Poster)
  11. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Text-to-speech synthesis using STFT spectra based on low-/multi-resolution generative adversarial networks," Proc. ICASSP, pp. 5299--5303, Alberta, Canada, Apr. 2018. (PDF, Poster)
  12. Hiroyuki Miyoshi, Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Voice conversion using sequence-to-sequence learning of context posterior probabilities," Proc. INTERSPEECH, pp. 1268--1272, Stockholm, Sweden, Aug. 2017. (arXiv preprint, Slide, Speech samples)
  13. Yuki Saito, Shinnosuke Takamichi, and Hiroshi Saruwatari, "Training algorithm to deceive anti-spoofing verification for DNN-based speech synthesis," Proc. ICASSP, pp. 4900--4904, New Orleans, U.S.A., Mar. 2017. (Spoken Language Processing Student Grant of ICASSP 2017), (PDF, Slide)
  14. Yuki Saito, and Hiroshi Tenmoto, "Construction of highly interpretable classification rule based on linear SVM," Proc. ISTS, Taipei, Taiwan, Nov. 2014.

研究会

  1. 山下 優樹, 郡山 知樹, 齋藤 佑樹, 高道 慎之介, 井島 勇祐, 増村 亮, 猿渡 洋, "DNN に基づく話し言葉音声合成における追加コンテキストの効果," 電子情報通信学会研究報告, SP2019-61, Vol. 119, No. 441, pp. 65--70, 2020年3月. (PDF)
  2. 佐伯 高明, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "差分スペクトル法に基づくDNN声質変換のためのリフタ学習およびサブバンド処理," 情報処理学会研究報告, 2020-SLP-131, No. 2, pp. 1--6, 2020年2月. (PDF, Slide)
  3. 藤井 一貴, 齋藤 佑樹, 高道 慎之介, 馬場 雪乃, 猿渡 洋, "人間GAN：人間による知覚的識別に基づく敵対的生成ネットワーク," 情報論的学習理論ワークショップ (IBIS) 2019, 2-037, 2019年11月. (Poster)
  4. 中村 泰貴, 齋藤 佑樹, 高道 慎之介, 井島 勇祐, 猿渡 洋, "話者V2S攻撃：話者認証から構築される声質変換とその音声なりすまし可能性の評価," コンピュータセキュリティシンポジウム (CSS) 2019, 2E1-2, No. xx, pp. xx--xx, 2019年10月. (PDF, Slide)
  5. 高道 慎之介, 三井 健太郎, 齋藤 佑樹, 郡山 知樹, 丹治 尚子, 猿渡 洋, "JVS：フリーの日本語多数話者音声コーパス," 情報処理学会研究報告, 2019-SLP-129, No. 1, pp. 1--6, 2019年10月. (PDF, Slide)
  6. 田丸 浩気, 齋藤 佑樹, 高道 慎之介, 郡山 知樹, 猿渡 洋, "モーメントマッチングに基づくDNN合成歌声のランダム変調ポストフィルタとニューラルダブルトラッキングへの応用," 情報処理学会研究報告, 2018-SLP-125, No. 1, pp. 1--6, 2018年12月. (PDF, Slide)
  7. 溝口 聡, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "カートシスマッチングに基づく低ミュージカルノイズDNN音声強調の評価," 電子情報通信学会研究報告, EA2018-xx, Vol. xxx, No. xxx, pp. xx--xx, 2018年11月. (PDF, Poster)
  8. 高道 慎之介, 齋藤 佑樹, 高宗 典玄, 北村 大地, 猿渡 洋, "von Mises分布DNNに基づく振幅スペクトログラムからの位相復元," 情報処理学会研究報告, 2018-SLP-122, No. 1, pp. 1--6, 2018年6月. (音学シンポジウム優秀賞, 情報処理学会 山下記念研究賞) (PDF, Poster)
  9. 齋藤 佑樹, 井島 勇祐, 西田 京介, 高道 慎之介, "音素事後確率とd-vectorを用いたVariational Autoencoderによるノンパラレル多対多音声変換," 電子情報通信学会研究報告, SP2017-88, Vol. 117, No. 517, pp. 21--26, 2018年3月. (平成29年度音声研究会 研究奨励賞) (PDF, Slide)
  10. 宇根 昌和, 齋藤 佑樹, 高道 慎之介, 北村 大地, 宮崎 亮一, 猿渡 洋, "雑音環境下音声を用いた音声合成のための雑音生成モデルの敵対的学習,," 情報処理学会研究報告, 2017-SLP-118, No. 1, pp. 1--6, 2017年10月. (PDF, Slide)
  11. 三好 裕之, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "コンテキスト事後確率のSequence-to-Sequence学習を用いた音声変換とDual Learningの評価," 電子情報通信学会研究報告, SP2017-16, Vol. 117, No. 160, pp. 9--14, 2017年7月. (PDF, Slide)
  12. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "DNNテキスト音声合成のための Anti-spoofing に敵対する学習アルゴリズム," 情報処理学会研究報告, 2017-SLP-115, No. 1, pp. 1--6, 2017年2月. (PDF, Slide)
  13. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "Anti-spoofingに敵対するDNN音声変換の評価," 電子情報通信学会研究報告, SP2016-69, Vol. 116, No. 414, pp. 29--34, 2017年1月. (2017年 SP研究会 学生ポスター賞) (PDF, Poster)

全国大会

  1. 藤井 一貴, 齋藤 佑樹, 高道 慎之介, 馬場 雪乃, 猿渡 洋, "人間GAN：人間による知覚評価に基づく敵対的生成ネットワークと音声の自然性知覚における評価," 日本音響学会 2020年春季研究発表会 講演論文集, 3-P-40, pp. 1181--1184, 2020年3月. (PDF)
  2. 高道 慎之介, 小沼 海, 金田 卓, 金田 隆志, 齋藤 佑樹, 郡山 知樹, 猿渡 洋, "周波数伸縮に基づく話者匿名化のためのクラウドソーシングに基づくパラメータ最適化," 日本音響学会 2020年春季研究発表会 講演論文集, 3-P-31, pp. 1159--1162, 2020年3月. (PDF)
  3. 後藤 駿介, 大西 弘太郎, 齋藤 佑樹, 橘 健太郎, 森 紘一郎, "顔画像から予測される埋め込みベクトルを用いた複数話者音声合成," 日本音響学会 2020年春季研究発表会 講演論文集, 2-Q-49, pp. 1141--1144, 2020年3月. (PDF, poster)
  4. 佐伯 高明, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "差分スペクトル法に基づく広帯域声質変換のためのサブバンドリフタ学習," 日本音響学会 2020年春季研究発表会 講演論文集, 2-2-5, pp. 1085--1088, 2020年3月. (PDF)
  5. 高道 慎之介, 齋藤 佑樹, 中村 友彦, 郡山 知樹, 猿渡 洋, "manga2voice:マンガ画像からの音声合成に向けた音声分析," 日本音響学会 2020年春季研究発表会 講演論文集, 1-2-15, pp. 1065--1068, 2020年3月. (PDF)
  6. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "SMASHコーパス：ゲーム動画の後付け実況解説音声収録に基づく自発発話音声コーパス," 日本音響学会 2020年春季研究発表会 講演論文集, 1-2-14, pp. 1061--1064, 2020年3月. (PDF, Slide)
  7. 内藤 悟嗣, 齋藤 佑樹, 高道 慎之介, 齋藤 康之, 猿渡 洋, "ユーザによるVOCALOID曲の歌唱のためのブレス位置推定," 日本音響学会 2020年春季研究発表会 講演論文集, 1-2-12, pp. 1057--1058, 2020年3月. (PDF)
  8. 齋藤 佑樹，阿久澤 圭, 橘 健太郎, "音素事後確率を用いた多対一音声変換のための音声認識・生成モデルの同時敵対学習," 日本音響学会 2019年秋季研究発表会 講演論文集, 2-4-2, pp. 963--966, 2019年9月. (PDF, Slide)
  9. 佐伯 高明, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "差分スペクトル法に基づくDNN声質変換の計算量削減に向けたフィルタ推定," 日本音響学会 2019年秋季研究発表会 講演論文集, 2-4-1, pp. 961--962, 2019年9月. (PDF, Slide)
  10. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "主観的話者間類似度に基づくDNN話者埋め込みを用いた多数話者DNN音声合成の実験的評価," 日本音響学会 2019年秋季研究発表会 講演論文集, 1-P-18, pp. 999--1002, 2019年9月. (PDF, Poster)
  11. 田丸 浩気, 齋藤 佑樹, 高道 慎之介, 郡山 知樹, 猿渡 洋, "ユーザ歌唱のためのgenerative moment matching network に基づくneural double-tracking," 日本音響学会 2019年秋季研究発表会 講演論文集, 1-4-2, pp. 935--938, 2019年9月. (PDF, Slide)
  12. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "DNN 音声合成に向けた主観的話者間類似度を考慮したDNN話者埋め込み," 日本音響学会 2019年春季研究発表会 講演論文集, 3-10-7, pp. 1067--1070, 2019年3月. (PDF, Slide)
  13. 中村 泰貴, 齋藤 佑樹, 西田 京介, 井島 勇祐, 高道 慎之介, "音素事後確率とd-vectorを用いたノンパラレル多対多VAE音声変換における学習データ量とd-vector次元数に関する評価," 日本音響学会 2019年春季研究発表会 講演論文集, 2-P-30, pp. 1149--1150, 2019年3月. (PDF, Poster)
  14. 田丸 浩気, 齋藤 佑樹, 高道 慎之介, 郡山 知樹, 猿渡 洋, "Generative moment matching netに基づく歌声のランダム変調ポストフィルタとdouble-trackingへの応用," 日本音響学会 2019年春季研究発表会 講演論文集, 2-10-5, pp. 1035--1038, 2019年3月. (The 3rd IEEE Signal Processing Society Tokyo Joint Chapter Student Award) (PDF)
  15. 溝口 聡, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "多様なカートシスを持つ雑音に対応した低ミュージカルノイズDNN音声強調," 日本音響学会 2019年春季研究発表会 講演論文集, 1-6-6, pp. 185--188, 2019年3月. (PDF)
  16. 高道 慎之介, 齋藤 佑樹, 高宗 典玄, 北村 大地, 猿渡 洋, "方向統計DNNに基づく振幅スペクトログラムからの位相復元," 日本音響学会 2018年秋季研究発表会 講演論文集, 2-4-2, pp. 1127--1130, 2018年9月. (PDF, Slide)
  17. 溝口 聡, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "カートシスマッチングと深層学習に基づく低ミュージカルノイズ音声強調," 日本音響学会 2018年秋季研究発表会 講演論文集, 2-1-7, pp. 177--180, 2018年9月. (日本音響学会 第18回学生優秀発表賞) (PDF, Slide)
  18. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "多重周波数解像度のSTFTスペクトルを用いた敵対的DNN音声合成," 日本音響学会 2018年春季研究発表会 講演論文集, 3-8-14, pp. 259--262, 2018年3月. (PDF, Slide)
  19. 宇根 昌和, 齋藤 佑樹, 高道 慎之介, 北村 大地, 宮崎 亮一, 猿渡 洋, "雑音環境下音声を用いたDNN音声合成のための雑音生成モデルの敵対的学習," 日本音響学会 2018年春季研究発表会 講演論文集, 3-8-8, pp. 243--244, 2018年3月. (PDF, Slide)
  20. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "敵対的DNN音声合成におけるダイバージェンスの影響の調査," 日本音響学会 2017年秋季研究発表会 講演論文集, 1-8-7, pp. 189--192, 2017年9月. (PDF, Slide)
  21. 高道 慎之介, 郡山 知樹, 齋藤 佑樹, 猿渡 洋, "Moment-matching networkに基づく一期一会音声合成における発話間ゆらぎの評価," 日本音響学会 2017年秋季研究発表会 講演論文集, 1-8-9, pp. 195--196, 2017年9月. (PDF, Slide)
  22. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "敵対的DNN音声合成におけるF0・継続長の生成," 日本音響学会 2017年春季研究発表会 講演論文集, 2-6-6, pp. 257--258, 2017年3月. (PDF, Slide)
  23. 三好 裕之, 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "コンテキスト事後確率のSequence-to-Sequence学習を用いた音声変換," 日本音響学会 2017年春季研究発表会 講演論文集, 1-6-15, pp. 237--238, 2017年3月. (PDF, Slide)
  24. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "Highway networkを用いた差分スペクトル法に基づく敵対的DNN音声変換," 日本音響学会 2017年春季研究発表会 講演論文集, 1-6-14, pp. 235--236, 2017年3月. (The 1st IEEE Signal Processing Society Tokyo Joint Chapter Student Award) (PDF, Slide)
  25. 齋藤 佑樹, 高道 慎之介, 猿渡 洋, "DNN音声合成のためのAnti-Spoofingを考慮した学習アルゴリズム," 日本音響学会 2016年秋季研究発表会 講演論文集, 3-5-1, pp. 149--150, 2016年9月. (日本音響学会 第14回学生優秀発表賞) (PDF, Slide)

学位論文

  1. 齋藤 佑樹, "High-quality statistical parametric speech synthesis using generative adversarial networks," 修士論文, 東京大学大学院 情報理工学系研究科 創造情報学専攻, 2018年3月. (指導教員: 猿渡 洋 教授) (PDF, Slide)

競争的資金:

  1. 日本学術振興会 特別研究員奨励費, "聞き手モデルに基づく能動的音声合成に関する研究," 2018年5月--2021年3月.
  2. 公益財団法人 NEC C&C 財団 平成30年度 前期国際会議論文発表者助成受給者, 2018年4月.

受賞:

  1. 2018年度C&C若手優秀論文賞, 2019年1月.
  2. The 12th IEEE Signal Processing Society Japan Student Journal Paper Award, 2018年11月.
  3. 平成29年度音声研究会 研究奨励賞, 2018年8月.
  4. 日本学生支援機構 第一種奨学金 特に優れた業績による奨学金返還免除 (半額) 対象者, 2018年5月.
  5. 第34回 電気通信普及財団 テレコムシステム技術学生賞, 2018年3月.
  6. The 1st IEEE Signal Processing Society Tokyo Joint Chapter Student Award, 2017年11月.
  7. Spoken Language Processing Student Grant of ICASSP, 2017年3月.
  8. 日本音響学会 第14回学生優秀発表賞, 2017年3月.
  9. 2017年 SP研究会 学生ポスター賞, 2017年1月.
  10. 平成27年度 釧路高専専攻科 学生特別研究発表会 奨励賞, 2016年2月.
  11. 平成25年度 釧路高専 校長賞, 2014年3月.

共著者の受賞:

  1. 情報処理学会 山下記念研究賞, 2020年3月. (受賞者: 高道 慎之介)
  2. The 3rd IEEE Signal Processing Society Tokyo Joint Chapter Student Award, 2019年12月. (受賞者: 田丸 浩気)
  3. 日本音響学会 第18回学生優秀発表賞, 2019年3月. (受賞者: 溝口 聡)
  4. 音学シンポジウム優秀賞, 2018年6月. (受賞者: 高道 慎之介)

査読:

  1. IEEE ICASSP 査読 (2018年より)
  2. IEEE Signal Processing Letter 査読 (2018年より)
  3. IEEE MLSP 査読 (2019年より)

職歴:

  1. 東京大学 補助研究員 (総務省SCOPE "知覚モデルに基づくストレスフリーなリアルタイム広帯域音声変換の研究"), 2019年2月--2021年3月. (代表者: 高道 慎之介) (Project)
  2. 株式会社ディー・エヌ・エー (DeNA) AIシステム研究開発部 アルバイト, 2018年9月--2019年3月 & 2019年6月--2020年3月. (指導者: 橘 健太郎)
  3. 日本学術振興会 特別研究員 (DC1, "聞き手モデルに基づく能動的音声合成に関する研究"), 2018年4月--2021年3月. (代表者: 齋藤 佑樹) (KAKEN) (Project)
  4. NTT メディアインテリジェンス研究所 音声言語メディアプロジェクト インターン, 2017年8月--2017年10月. (指導者: 井島 勇祐)
  5. NTT コミュニケーション科学基礎研究所 メディア情報研究部 インターン, 2016年8月--2016年9月. (指導者: 亀岡 弘和)

ボランティア活動など:

  1. 日本音響学会 学生・若手フォーラム 幹事会員（2017年3月--現在）兼 副代表（2019年4月--2021年3月）.

音声コーパス:

  1. 高道 慎之介, 三井 健太郎, 齋藤 佑樹, 郡山 知樹, 丹治 尚子, 猿渡 洋, "JVS corpus: free Japanese multi-speaker voice corpus," Aug. 2019. (URL, arXiv preprint)

学歴:

その他: