JST CREST「共創型音メディア機能拡張」プロジェクト

音メディアコミュニケーションにおいて、ユーザとシステムの共創的な働きかけに基づき、身体的制約を超えて発声・聴覚機能を拡張する基盤技術を創出します。機械学習に基づくデータ駆動型システムの枠組みにおいて、低遅延リアルタイム動作、不随意的なシステム挙動制御、インタラクションを通した意識的なシステム挙動制御を可能とする共創型発声・聴覚機能拡張基盤技術を構築し、発声・聴覚機能の回復・増強を達成します。

最近の活動報告

  • 2020年3月30日
    国際的な音声変換技術評価会「Voice Conversion Challenge 2020」のベースラインシステムを構築しました.


  • 2020年2月21日
    国際的な音声変換技術評価会「Voice Conversion Challenge 2020」の参加登録を開始しました.詳しくは【こちら】をご覧下さい.皆様,ぜひ奮ってご参加下さい!

    • オーガナイザ:戸田智基,Wen-Chin Huang(名大G)


  • 2019年12月3日
    「共創型音メディア機能拡張」プロジェクトのキックオフミーティングを首都大学東京(東京)にて開催しました.戸田(名大)の研究グループ,小野先生(首都大)の研究グループ,亀岡先生(NTT CS研)の研究グループで取り組んでいる研究内容について,とても有益な情報共有ができました.どんどん研究を進めていきたいと思います.


  • 2019年12月2日
    第2回JST-ANR連携「共生インタラクション」国際シンポジウム2019(新しいコミュニケーションが始まる未来情報社会をデザインする)【HPはこちら】にて,「共創型音メディア機能拡張」プロジェクトに関する紹介を行いました.

    • 発表:戸田 智基
    • 参加:Patrick Lumban Tobing,Mohammad Eshghi,関 翔悟,中谷 輝,彦坂 秀

これまでの活動報告

  • 2019年9月からの活動報告はこちら

ソーシャルウェア

開発したソフトウェアを公開していきます.

VCC2020 baseline: CycleVAE w/ PWG vocoder
 VCC2020ベースラインCycleVAE版
 開発者:Patrick Lumban Tobing,
     Yi-Chiao Wu
VCC2020 baseline: Cascase ASR + TTS
 VCC2020ベースラインESPnet版
 開発者:Wen-Chin Huang

デモ動画による研究紹介

構築した技術を紹介するデモ動画を公開していきます.

喉頭摘出者向け歌唱支援システム
近日公開予定

低遅延系列変換による音声変換
近日公開予定

低遅延ブラインド音源分離
近日公開予定

最近の研究発表

各表紙画像をクリックするとスライドが閲覧できます.

2019年12月:招待講演
音声言語シンポジウム

2019年12月:プロジェクト紹介
JST-ANR連携国際シンポジウム