Yuki Saito
@ysaito_human
Followers
547
Following
429
Media
70
Statuses
410
Lecturer (speech synthesis) @ UTokyo-SaruLab, Japan, JST ACT-X (次世代AI・数理情報)
Cyber Space
Joined April 2021
Don't wanna be here?
Send us removal request.
Explore trending content on Musk Viewer
Jesus is Lord
• 124219 Tweets
River
• 112733 Tweets
Franco
• 67261 Tweets
ebony
• 38683 Tweets
自民党本部
• 37601 Tweets
#SmackDown
• 36221 Tweets
gracie
• 34421 Tweets
Duke
• 32956 Tweets
首相官邸
• 31101 Tweets
Colapinto
• 30026 Tweets
Game 6
• 29590 Tweets
Undertaker
• 25548 Tweets
Botafogo
• 23496 Tweets
STREAM PARTY EXPRESS
• 22255 Tweets
GALA EN HAVEN
• 19656 Tweets
Florida State
• 17390 Tweets
Pinned Tweet
こちら，IEICE-SP研究会でお申し込みいただく場合，学生かつ聴講のみの場合であればなんと無料でご参加いただけます！😲対象者の皆様は以下の Google フォームからお申込みください！🤗
10月のIEICE-SP/IPSJ-SLP研究会は10月22日（火）9:30 ~ 17:00に Zoom で開催されます🧐
SP/SLPの幹事として，非常に素晴らしい講演者の皆様による招待講演・パネル講演などを企画しました🚀（ご快諾いただいた皆様ありがとうございます🙇♀️）
皆様ぜひご参加ください！😊
0
3
11
0
9
14
本日付で東京大学 猿渡・齋藤研究室の講師に昇格いたしました🥳
引き続き音声合成・変換の研究だけでなく、今後はさらに範囲を広げて環境音認識・合成や音声音響キャプショニングあたりもフォーカスに入れて研究していきます🧐
3
21
117
New preprint: "StyleCap: Automatic Speaking-Style Captioning from Speech Based on Speech and Language Self-supervised Learning Models"🧐
This is the first study for generating natural language description of speaking style from speech📃
1
18
74
科研費 若手研究に申請していた「eスポーツ理解に向けた実況解説音声の分析及び音声合成アルゴリズムの開発」の課題が採択されました！🥳
0
4
68
3月29日付けで東京大学 猿渡・高道研究室の助教としての活動が終了しました。
思えば博士修了してからの3年間、あっという間の大学教員生活でしたが、素晴らしい学生・同僚の皆様に恵まれ、充実した日々を送ることができました。本当に心から感謝の気持ちでいっぱいです。
ありがとうございました😊
0
9
67
ACT-X 研究領域「次世代ＡＩを築く数理・情報科学の革新」にて研究課題が採択されました🥳頑張ります．
2023年度の採択結果を公開しました。
各領域の
✓今年度の採択課題
✓選考についての総括総評
などを公開しています。
◎プレスリリースはこちらです。
◎CREST
◎さきがけ
◎ACT-X
1
178
400
1
14
64
本日付けで東京大学 大学院情報理工学系研究科のシステム情報学専攻から創造情報学専攻に異動となりました．所属が変わりますが，肩書（特任助教）も任期（残り3.5年）も変わりません．みなさま引き続き何卒よろしくお願いいたします！🙏🙏🙏
0
6
55
Our UTokyo-sarulab team won the FIRST PLACE in 2024 Discrete Speech Challenge (TTS Track) at
#INTERSPEECH2024
🥇
Many congratulations to the team leaders (K. Yamauchi & W. Nakata) 👏👏👏
2
23
67
大変光栄なことに #音学シンポジウム2023 優秀発表賞をいただきました！運営の皆様、共著者の皆様、講演をお聴きいただいた皆様に御礼申し上げます🙇♂️
0
10
56
研究課題「Continual Learning に基づく持続的に学習可能な音声合成」が2021年度 研究活動スタート支援に採択されました🥳がんばります．
1
7
55
arXiv で論文が公開されました．ベイズ最適化の枠組みに基づき，TTS を用いてユーザが自身の好きな話者性を探索する "human-in-the-loop speaker adaptation" というタスクを初めて提唱した論文です．
Udagawa+ ... We proposed human-in-the-loop speaker adaptation for TTS. Users can find their desired voice characteristics by iterating 1) listening TTSed voice and 2) choosing the best sample. The core algorithm is based on Bayesian optimization.
0
2
9
0
16
50
Four papers were accepted for
#INTERSPEECH2024
😎
- Igarashi+, Conditional denoising training for noise-robust voice conversion
- Yang+, Self-training for breath detection
- Seki+, Spatial voice conversion
- Saito+, SRC4VC dataset
3
7
48
「ユーザからの誤り訂正フィードバックに基づく適応型End-to-End テキスト音声合成」の研究課題が「2021年度 キオクシア奨励研究」に交付内定されました！🥳 今年度からは End-to-End 音声合成周りの研究もガンガン進めていきたいと思います🤖
0
10
44
@hyama5_
先生が担当されている東大院・情報理工の講義「ガウス過程と機械学習特論」で，敵対的学習に基づく統計的音声生成についてゲスト講演を行いました．スライドは ↓ から閲覧できます．
0
12
40
今日の13時からの信号処理特論でゲスト講師として発表します🤓 資料は👇 です（slideshare ですが，問題なく閲覧できると思います）
0
13
41
幸甚なことに2022年度 船井研究奨励賞をいただけることになりました．博士論文に関する業績です．ご助力いただいた皆様に感謝申し上げます🙇♀️
1
8
41
Three papers were accepted for
#INTERSPEECH2023
☺️
- Ueda+ , HumanDiffusion: diffusion model using perceptual gradients
- Saito+, CALLS: new speech corpus for empathetic dialogue speech synthesis (EDSS)
- Saito+, ChatGPT-EDSS: EDSS model trained from ChatGPT-derived context words
3
12
39
2022年春季音響学会で発表した STUDIES コーパスがついに公開されました！🎉
NII 音声資源コンソーシアム (SRC) で研究用途に限り誰でも入手できます．
詳細はコーパスのプロジェクトページ
もしくは NII SRC のページ
をご覧ください．
Our new paper on STUDIES, an empathetic dialogue speech corpus for developing a voice agent that can speak in a friendly manner, is out!
1
2
8
1
17
34
本日の SLP-NL 研究会での Interspeech2022 参加報告の資料です．音声認識・強調系を NTT の佐藤さん，音声合成系を私が発表しました😎
（スライド修正があったのですが，Slideshare だと修正版で更新できないのでアップロードし直しました🙇♀️）
0
9
34
My colleague Dr. Yuki Okamoto is presenting his work related to environmental sound synthesis using vocal imitation 🗣🐶
#ICASSP2024
0
6
34
スマブラSP発売5周年記念日に音響×スマブラの研究について記事を執筆しました🧐
1
16
33
研究課題「連合学習に基づく多話者音声変換のユーザ参加型学習」が公益財団法人 立石科学技術振興財団 2022年度助成金贈呈対象【研究助成(A)】 に採択されました！🤓がんばります💪🦾
0
5
32
Our UTokyo-SaruLab team won 1st place in The Interspeech2024 Speech Processing Using Discrete Speech Unit Challenge TTS (Acoustic + Vocoder) Track 🥇🎊
I'm proud of my great teammate😃
え、あのDiscrete Speech ChallengeのTTS (Acoustic + Vocoder) トラックで優勝しちゃったんですか？？
しかもVocoderトラックでも2位！？
すごい。すごすぎる…
0
11
24
0
9
30
Our lab member Mr. Kentaro Seki is presenting his work related to the core-set selection for TTS 🧼
#ICASSP2024
0
3
30
SPEASIP2024ワークショップで指導学生が2件の表彰をいただきました🥳おめでとうございます！
・平井 龍之介 他, "Fed-StarGANv2-VC:連合学習を用いた多対多声質変換" （SLP企業賞）
・山内 一輝 他, "VQ-VAEに基づく解釈可能なアクセント潜在変数を用いた多方言音声合成" （SP学生ポスター賞）
0
8
29
Two papers were accepted for
#ICASSP2023
🥹
- Watanabe+, Mid-attribute speaker generation
- Yang+, Speaker-dependent categorized pause insertion for multi-speaker TTS
1
2
28
今日の ASJ サマーセミナーで音声変換に関するゆるふわ LT をします🧐
0
8
27
本日付で音響学会 学生・若手フォーラム（
@ASJFresh
）の副代表の任期が満了しました。ここ3年間の学会活動がほぼほぼオンラインだったのであまり活動できた記憶がないですが、少しでも学会と若手の皆様に貢献できていたら幸いです。ありがとうございました！🤞
1
1
27
Dr. Takaaki Saeki, ex-member of our laboratory, is presenting his work on multilingual TTS 🧐
#ICASSP2024
0
4
26
I won the INTERSPEECH2023 Travel Grant Award!😸 Many thanks for my great co-authors!!🤞
0
5
24
Four papers were accepted at
#interspeech2022
:
- Nakata+, VQVAE-based audiobook speech synthesis
- Udagawa+, human-in-the-loop TTS adaptation
- Nishimura+, end-to-end empathetic dialogue speech synthesis
- Saito+, Japanese empathetic dialogue speech corpus
Congratulations all🥳
1
11
23
Our paper "Cross-lingual Speaker Adaptation Using Domain Adaptation and Speaker Consistency Loss for Text-To-Speech Synthesis" has been accepted for
#interspeech2021
, Congrats, Xin-san!🎉🎉🎉
0
3
21
Accepted for
#ICASSP2024
🥳
New preprint: "StyleCap: Automatic Speaking-Style Captioning from Speech Based on Speech and Language Self-supervised Learning Models"🧐
This is the first study for generating natural language description of speaking style from speech📃
1
18
74
0
3
21
arXiv preprint of our
#INTERSPEECH2023
paper (2) 🧐🧐:
We introduced ChatGPT to empathetic dialogue speech synthesis (EDSS) as an AI dialogue adviser that helps an EDSS model (AI listener) to speak empathetically considering the dialogue context.
0
9
21
現在沖縄で絶賛開催中の SPEASIP ワークショップでちょうど発表しましたが，スマートフォン収録の VC 評価向け多話者音声コーパス SRC4VC を作りました！ プロジェクトページにアクセスするための QR コードを含む発表資料 (Google Slides) は ↓で公開しています．
0
9
21
Our lab ex-member, Joonyong Park, presents his work related to generative spoken language model evaluation in
#INTERSPEECH2023
🤖
0
2
20
本日 16:15 ~ 17:15 のポスターセッションです！
(1-1Q-8) 大乱闘スマッシュブラザーズの対人対戦におけるコントローラー操作音からのキャラクター識別 - ○齋藤 佑樹(東大)，矢田部 浩平(早稲田大)，△Shogun (スマブラプレイヤー)
#asj2022s
@asj_onkyo
より
次の音響学会でスマブラの研究発表します！
@Shogun_Snake
さんのおかげで良いデータが録れて，面白い結果が出ました！
誤字・脱字・論理の乱れなどあれば直すので教えてくれると助かります！
1
355
1K
0
12
19
Three PhD students have joined in our Lab.🥳 We're looking forward to working with the rising stars 🌟🌟🌟
0
5
19
Our lab member, Detai Xin, presents his work related to laughter synthesis in
#INTERSPEECH2023
😃😄😁
0
3
17
Thanks for all who came to see my two presentations (though the second one happened suddenly) in
#interspeech2023
!☺️ I've just uploaded the presentation materials to my website: 🤗
0
6
18
Our lab member
@urukas4869
published implementation of Japanese Phoneme-Level (PL) BERT on GitHub🤓
0
9
18
Nishimura さんの INTERSPEECH2022 採択論文が Google Travel Grants for Students in East Asia を受賞されたようです．おめでとうございます！！👏
0
2
17
3月の研究会 at 沖縄で2件の発表があります🤓
- 仲��，宇田川，齋藤，猿渡："多話者音声合成のためのAdversarial Regularizerを考慮した学習アルゴリズム"
- 西邑，齋藤，高道，橘，猿渡："対話履歴の韻律情報を考慮した共感的対話音声合成"
1
6
17
Cool neural vocoder developed by NICT, which combines deep learning and traditional signal processing🧐
#ICASSP2024
0
4
17
Are you going to attend
#ICASSP2024
held in South Korea? Drop in the Poster session on Wednesday to see our work "StyleCap" 🤗
0
4
17
It was really unfortunate that I couldn't present my work in today's poster session because I was sick 😷
If you have any questions about this study, please send an e-mail to me!
#interspeechp2023
0
4
16
Tomorrow I will present our recent work with Mr. Detai Xin (PhD student at our lab) at online research talk hosted by Prof. Haizhou Li🧐
pls let me know if you have interested😆 (I can share the Zoom URL by DM)
2
10
16
This is the arXiv preprint of "Multi-Task Adversarial Training Algorithm for Multi-Speaker Neural Text-To-Speech"
0
4
16
New work by my student (D. Yang) during his internship supervised by
@hyama5_
🧐
We proposed a novel method for breath detection, a technology for detecting
breath sounds from speech, and evaluated its performance in breath-controllable text-to-speech 🌬
1
11
15
Two papers were accepted for APSIPA ASC 2022🤗
- Fujii et al., "Adaptive End-To-End Text-To-Speech Synthesis Based on Error Correction Feedback From Humans"
- Nakai et al., "Multi-Task Adversarial Training Algorithm for Multi-Speaker Neural Text-To-Speech"
1
4
15
Our system description paper is:
though it was not submitted for the Challenge Special Session 😌
Our UTokyo-sarulab team won the FIRST PLACE in 2024 Discrete Speech Challenge (TTS Track) at
#INTERSPEECH2024
🥇
Many congratulations to the team leaders (K. Yamauchi & W. Nakata) 👏👏👏
2
23
67
1
5
15
LREC2020で発表したスマブラ実況コーパスがついに公開されました👏
関係各所の皆様，ご協力ありがとうございました！🙇♀️🙇♀️🙇♀️
0
2
14
明日 18:00 から開始です！発表者枠は締め切りましたが，聴講参加者は鋭意募集中なので，ぜひご参加ください🥸
INTERSPEECH2022音声読み会(オンライン)
#interspeech2022jp
0
8
13
I am very honored to announce that I have been promoted to a lecturer in the Saruwatari-Saito Lab. starting today🤗
本日付で東京大学 猿渡・齋藤研究室の講師に昇格いたしました🥳
引き続き音声合成・変換の研究だけでなく、今後はさらに範囲を広げて環境音認識・合成や音声音響キャプショニングあたりもフォーカスに入れて研究していきます🧐
3
21
117
0
1
14
2023年度は猿渡・高道研音声Gから1名の博士学生と3名の修士学生が修了されました．皆様おめでとうございます！🥳
修了後も研究を続けたり，続けなかったりすると思いますが，皆様のさらなるご健勝とご活躍を心からお祈りしております🙏
0
4
13
5月11日(土)13時から，東京大学大学院情報理工学系研究科の入試説明会がハイブリッドで開催されます．
猿渡・齋藤研の説明会も実施しますが，少々イレギュラーな形での実施となります．
また，事前にWebで参加希望票の入力が必要なので注意してください．
1
15
13
Our lab member successfully implemented Miipher, the stronger speech restoration method published by Google DeepMind🤗
Today, I'm humbled to share my implementation of speech restoration model Miipher
I also provide pretrained weights and demo on huggingface spaces!
Try Miipher with your own noisy samples!
3
21
70
0
4
13
arXiv preprint of "SRC4VC," a new speech corpus which can be used for benchmarking the degradation-robustness of VC technologies 🗣
1
9
13
I've really enjoyed the oral presentation session for the first time in three years 🥳 Thank you for all attendees and organizers! The followings are our presentation materials and journal paper link (1/3):
#icassp2022
1
3
12
Today was my last day working as an assistant professor in the Saruwatari-Takamichi lab 😭
Thank you very much for all the wonderful days 😊🤞
3月29日付けで東京大学 猿渡・高道研究室の助教としての活動が終了しました。
思えば博士修了してからの3年間、あっという間の大学教員生活でしたが、素晴らしい学生・同僚の皆様に恵まれ、充実した日々を送ることができました。本当に心から感謝の気持ちでいっぱいです。
ありがとうございました😊
0
9
67
0
0
12
Interesting TTS work by Mr. Xin (our lab member)👀
RALL-E with chain-of-thought (CoT) prompting is helpful to improve the robustness of codec LLM for speech synthesis, reducing error rate from 68% to 4% on extremely hard test sentences.
1
14
57
0
0
12
Our lab member, Yuta Matsunaga, presents his work related to spontaneous speech synthesis at
#SpeechSynthesisWorkshop2023
😊
0
2
12
11/29 ~ 12/01 の NLC-SP-NL-SLP 合同研究会で INTERSPEECH2022 の参加報告をします🧐
0
3
12
3 members from our lab. (Saeki-san, Nishimura-san, and me)😎
猿渡・小山研 音声G関係者で3名の発表があります！（佐伯さん：研究アルバイト，西邑さん&私：共同研究）
遅ればせながら、弊社INTERSPEECHの成果についてPRが出ました。
弊社主著7本、NAVER、大学などの共著5本の合わせて12本でした。
現地では活発な議論をよろしくお願いします🙇♂️
0
3
44
0
3
12
Today we have 1 poster presentation at
#ICASSP2021
🧐
Ueda et al., "HumanACGAN: Conditional Generative Adversarial Network with Human-Based Auxiliary Classifier and its Evaluation in Phoneme Perception"
- Paper:
- Presentation:
0
5
11
Accepted for
#interspeech2022
🙌
Our new paper on STUDIES, an empathetic dialogue speech corpus for developing a voice agent that can speak in a friendly manner, is out!
1
2
8
1
3
11
