国立研究開発法人 産業技術総合研究所 人間情報インタラクション研究部門
Media Interaction Group,
Human Informatics and Interaction Research Institute (HIIRI),
National Institute of Advanced Industrial Science and Technology (AIST)


The Media Interaction Group targets a variety of media content (music, video, text, user activities, physical devices, etc.) and conducts research on media interaction technologies that can enrich people's life. In particular, our group aims to promote content creation and utilization and enhance the creativity of the society by bridging the gap between creators and consumers. Toward this goal, we develop value-creation support technologies that facilitate content creation by complementing knowledge, experience, and technique of creators. We also develop value-enhancement support technologies that provide consumers with various means of appreciation, retrieval, recommendation, and browsing. These media technologies and interaction technologies demand a broad range of basic and applied research. We conduct research on music information processing, singing information processing, natural language processing, image and video processing, human-computer interaction, web services, signal processing, machine learning, retrieval and recommendation, data mining, visualization, computer graphics, community analysis and support, etc.

お知らせ News

record_voice_over 加藤 淳 主任研究員が People of ACMで紹介されました。[2023/04/25]
People of ACM - Jun Kato
stars 後藤 真孝 首席研究員が 第55回 市村学術賞 貢献賞を受賞しました。[2023/04/19]
stars 加藤 淳 主任研究員と後藤 真孝 首席研究員が国際会議ACM CHI 2023において Honorable Mention Awardを受賞しました。[2023/04/19]
Lyric App Framework: A Web-based Framework for Developing Interactive Lyric-driven Musical Applications
article IEICE TRANSACTIONS on Information and Systemsに論文 1本が採択されました。[2023/4/1]
Kosetsu TSUKUDA, Masahiro HAMASAKI, and Masataka GOTO: Why and How People View Lyrics While Listening to Music on a Smartphone open_in_new
stars 佃 洸摂 主任研究員、石田 啓介 テクニカルスタッフ、濱崎 雅弘 総括企画主幹、後藤 真孝 首席研究員が 第38回 電気通信普及財団賞 (テレコム学際研究賞) 入賞を受賞しました。[2023/03/22]
Kiite Cafe: A Web Service for Getting Together Virtually to Listen to Music
article 国際会議 IEEE ICASSP 2023に論文 2本が採択されました。[2023/6/4-6/10, Greece]
Hiromu Yakura and Masataka Goto: Self-Supervised Contrastive Learning for Singing Voices open_in_new
article 国際会議 ACM CHI 2023に提案 1件が採択されました。[2023/4/23-4/29, Germany]
Jun Kato, Jonas Frich, Zhicong Lu, Jennifer Jacobs, Kumiyo Nakakoji, and Celine Latulipe: Special Interest Group on Creativity and Cultures in Computing open_in_new
article 国際会議 ACM CHI 2023に論文 2本が採択されました。[2023/4/23-4/29, Germany]
Jun Kato and Masataka Goto: Lyric App Framework: A Web-based Framework for Developing Interactive Lyric-driven Musical Applications open_in_new
Riku Arakawa, Hiromu Yakura, and Masataka Goto: CatAlyst: Domain-Extensible Intervention for Preventing Task Procrastination Using Large Generative Models open_in_new

stars 加藤主任研究員が Japan ACM SIGCHI Chapterにて表彰されました。[2023/02/18]
Jun Kato: 2023 Japan ACM SIGCHI Chapter Distinguished Young Researcher Award open_in_new
Jun Kato: The HCI researcher as toolsmith(受賞講演) open_in_new
record_voice_over NLP 2023 (言語処理学会 第29回年次大会)にて研究発表を行います。[2023/3/14, Okinawa]
渡邉 研斗, 後藤 真孝: 入力文章の内容に沿った新たな歌詞を生成する作詞支援システムと剽窃リスクを下げる歌詞生成手法 open_in_new
article 国内シンポジウム インタラクション 2023に論文 1本が採択されました。[2023/3/8-3/10, Tokyo]
小山 裕己,後藤 真孝: BO as Assistant: ベイズ最適化を活用した非同期的なデザイン案生成のためのフレームワーク open_in_new
record_voice_over IPSJ-ONE 2023にて招待講演を行います。[2023/3/4, Tokyo]
渡邉 研斗: 歌詞を理解し,作詞を支援するコンピュータ
article 国際会議 WACV 2023に論文 1本が採択されました。[1/3-1/7, USA]
Takayuki Nakatsuka, Masahiro Hamasaki, Masataka Goto: Content-Based Music-Image Retrieval Using Self- and Cross-Modal Feature Embedding Memory open_in_new
stars 小山主任研究員が国内シンポジウム VC + VCC 2022にて表彰されました。[2022/10/08]
Yuki Koyama: VC Young Researcher Award open_in_new
record_voice_over 国内シンポジウム VC + VCC 2022にて2件の国際論文招待講演を行います。[10/6-8, Kyoto + Hybrid]
Yuki Koyama, Masataka Goto: BO as Assistant: Using Bayesian Optimization for Asynchronously Generating Design Suggestions (UIST2022) open_in_new
Hiromu Yakura, Yuki Koyama, and Masataka Goto: Tool- and Domain-Agnostic Parameterization of Style Transfer Effects Leveraging Pretrained Perceptual Metrics (IJCAI2021) open_in_new
article 国際会議 UIST 2022に論文 2本が採択されました。[10/29-11/2, USA]
Yuki Koyama, Masataka Goto: BO as Assistant: Using Bayesian Optimization for Asynchronously Generating Design Suggestions open_in_new
Kenta Yamamoto, Yuki Koyama, Yoichi Ochiai: Photographic Lighting Design with Photographer-in-the-Loop Bayesian Optimization open_in_new
stars 第135回音楽情報科学研究会(夏のシンポジウム)にて ベストプレゼンテーション賞 を受賞しました。[2022/09/16]
矢倉 大夢, 渡邉 研斗, 後藤 真孝: 歌声のための自己教師あり対照学習による特徴量表現の獲得手法
record_voice_over 第135回音楽情報科学研究会(夏のシンポジウム)にて 2件の研究発表をします。[9/14-15, Tokyo + Hybrid]
中野 倫靖, 後藤 真孝: MDX-Mixer: 複数の音楽音源分離モデルによる出力波形を時変混合するシステム
矢倉 大夢, 渡邉 研斗, 後藤 真孝: 歌声のための自己教師あり対照学習による特徴量表現の獲得手法
article 国際会議 EUSIPCO 2022に論文 1本が採択されました。[8/29-9/2, Serbia + Hybrid]
Tian Cheng, Masataka Goto: An Analysis of Using Fuzzy Annotations in CRNN-based Join Beat and Downbeat Tracking open_in_new
record_voice_over ヒューマンコミュニケーション基礎研究会(HCS)にて招待講演をします。[8/26-27, Hyogo + Hybrid]
佃 洸摂: 音楽聴取者の行動分析で理解する人と音楽とのインタラクション
article 国際誌 IEEE Accessに論文 1本が採録されました。[2022/6/17]
Daichi Haraguchi, Shota Sakaguchi, Jun Kato, Masataka Goto, Seiichi Uchida: Fonts That Fit the Music: A Multimodal Design Trend Analysis of Lyric Videos open_in_new
article 国際誌 IEEE/ACM Trans. ASLPに論文 1本が採録されました。[2022/05/03]
Hitoshi Suda, Daisuke Saito, Satoru Fukayama, Tomoyasu Nakano, Masataka Goto: Singer Diarization for Polyphonic Music With Unison Singing open_in_new
article 国際会議 ACM CHI 2022に論文 1本が採択されました。[4/30-5/5, Online]
Riku Arakawa, Hiromu Yakura, Sosuke Kobayashi: VocabEncounter: NMT-powered Vocabulary Learning by Presenting Computer-Generated Usages of Foreign Words into Users' Daily Lives open_in_new
article 国際誌 IEEE/ACM Trans. ASLPに論文 1本が採録されました。[2022/04/26]
Hiromu Yakura, Kento Watanabe, Masataka Goto: Self-Supervised Contrastive Learning for Singing Voices open_in_new
record_voice_over 国際会議 CVM 2022にて招待講演を行います。[4/7-9, China + Hybrid]
Yuki Koyama: Human-in-the-Loop Preferential Bayesian Optimization for Visual Design open_in_new

過去のお知らせ / Past News

研究プロジェクト Research Projects

Songle(ソングル https://songle.jp)は、音楽をより深く理解しながら、能動的に音楽鑑賞が楽しめるサービスです。 詳しくは「Songleとは」およびプレスリリースをご覧下さい。
Songrium (ソングリウム https://songrium.jp)は、音楽コンテンツ間の多様な関係性を意識しながら、 Web上で新たな音楽コンテンツに出会うことができる音楽視聴支援サービスです。詳しくは「Songriumとは」およびプレスリリースをご覧下さい。
TextAlive (https://textalive.jp)は、ウェブ上に公開されている音楽に合わせ歌詞が動く動画(歌詞アニメーション)をブラウザ上で作れる制作支援サービスです。簡単に自分好みの演出をつけることができます。詳しくは「TextAliveとは」およびプレスリリースをご覧下さい。

※後藤真孝 首席研究員(メディアインタラクション研究グループ兼務)による、

プレスリリース Press Releases

public 音楽印象分析・音楽推薦を駆使して楽曲と出会える音楽発掘サービス「Kiite」を公開
public 音楽に合わせて多様なデバイスを制御できるプラットフォームを公開
-インターネットを介した大規模音楽連動制御を手軽に利用できる「Songle Sync」-
関連URL:大規模音楽連動制御プラットフォーム「Songle Sync(ソングルシンク)」
public 歌詞のトピックに基づいてさまざまな歌詞に出会える新しい歌詞探索ツール「Lyric Jumper」を公開
関連URL:歌詞探索ツール「Lyric Jumper(リリック ジャンパー)」
public 音楽に合わせ歌詞が動く動画を容易に制作・共有できるサービスを公開
public ウェブ上の音楽コンテンツの関係性を可視化する音楽視聴支援システム
public インターネット上の楽曲の中身を自動解析する音楽鑑賞システム

メンバー Members

2017/09 撮影

連絡先 Contact information

国立研究開発法人 産業技術総合研究所 人間情報インタラクション研究部門
〒305-8568 茨城県つくば市梅園1-1-1 中央第二事業所 2-10棟313号室

Media Interaction Group
Human Informatics and Interaction Research Institute (HIIRI),
National Institute of Advanced Industrial Science and Technology (AIST)
AIST Tsukuba Central 2, 1-1-1 Umezono, Tsukuba, Ibaraki 305-8560, Japan

問い合わせ先 / Contact
つくば事業所へのアクセス / Access