メディアインタラクション研究グループでは、さまざまなメディアコンテンツ（音楽、動画、テキスト、ユーザ活動など）を対象に、人々の生活の豊かさの向上に資するメディアインタラクション技術を研究開発しています。具体的には、コンテンツの創出と利活用を促進し、生産者と消費者をつないで社会の創造性を高めることを目的とし、生産者の知識・経験・技術を補いながらコンテンツの創出を容易にして価値創出を支援する技術と、消費者の鑑賞・検索・推薦・ブラウジングなどを多様化してコンテンツの価値向上を支援する技術を開発します。そのためのメディア処理技術やインタラクション技術などを研究開発し、音楽情報処理、歌声情報処理、自然言語処理、動画像処理、ヒューマンコンピューターインタラクション、ウェブサービス、信号処理、機械学習、検索・推薦、データマイニング、可視化、コンピューターグラフィックス、コミュニティー分析・支援などに関して、基礎研究から応用研究まで幅広く取り組みます。

The Media Interaction Group targets a variety of media content (music, video, text, user activities, etc.) and conducts research on media interaction technologies that can enrich people's life. In particular, our group aims to promote content creation and utilization and enhance the creativity of the society by bridging the gap between creators and consumers. Toward this goal, we develop value-creation support technologies that facilitate content creation by complementing knowledge, experience, and technique of creators. We also develop value-enhancement support technologies that provide consumers with various means of appreciation, retrieval, recommendation, and browsing. These media technologies and interaction technologies demand a broad range of basic and applied research. We conduct research on music information processing, singing information processing, natural language processing, image and video processing, human-computer interaction, web services, signal processing, machine learning, retrieval and recommendation, data mining, visualization, computer graphics, community analysis and support, etc.

お知らせ News

FY2025

record_voice_over 情報処理学会 第213回ヒューマンコンピュータインタラクション研究会にて下記の発表を行いました。 [2025/6/18]

- 本間 拓人, 横山 武昌, 木村 元洋, 佃 洸摂, 中塚 貴之, 渡邉 研斗, 中野 倫靖, 後藤 真孝: 「推し」の形成プロセスおよび決定要因のモデル化に関する検討open_in_new

record_voice_over 電子情報通信学会和文論文誌Dに論文が採択されました。 [2025/5/1 掲載]

- 三林 亮太, 佃 洸摂, 渡邉 研斗, 中野 倫靖, 後藤 真孝, 山本 岳洋, 大島 裕明: ラップバトルにおけるアンサーの類型化およびアンサーの有無と表現の自動分類open_in_new

record_voice_over 国際会議 ACM CHI 2025に論文が採択されました。 [2025/4/26-5/1 発表]

- Yuto Mandai, Katie Seaborn, Tomoyasu Nakano, Xin Sun, Yijia Wang, Jun Kato: Super Kawaii Vocalics: Amplifying the "Cute" Factor in Computer Voiceopen_in_new

- Takao Fujii, Katie Seaborn, Madeleine Steeds, Jun Kato: Inter(sectional) Alia(s): Ambiguity in Voice Agent Identity via Intersectional Japanese Self-Referentsopen_in_new

- Yuki Tatsukawa, I-Chao Shen, Mustafa Doga Dogan, Anran Qi, Yuki Koyama, Ariel Shamir, and Takeo Igarashi: FontCraft: Multimodal Font Design Using Interactive Bayesian Optimizationopen_in_new

record_voice_over 国際会議 NAACL2025に論文が採択されました。 [2025/4/30 研究発表]

- Kento Watanabe, Masataka Goto: A Data-Driven Method for Analyzing and Quantifying Lyrics-Dance Motion Relationshipsopen_in_new

record_voice_over 国際会議 ACM CHI 2025にSIGが採択されました。 [2025/4/28 発表]

- Jun Kato, Yuki Koyama, Akinobu Maejima, Ryotaro Mihara, Katie Seaborn: Anime SIG: Researching Japanese Animation From Technical, Cultural, and Industrial Perspectivesopen_in_new

FY2024

record_voice_over インタラクション2025に論文が採択されました。 [2025/3/2-4 発表]

- 木下 裕一朗, 佃 洸摂, 渡邉 研斗, 中塚 貴之, 中野 倫靖, 後藤 真孝, 中村 聡史: 動画共有サービス上の時刻同期コメントを視聴のきっかけに用いた音楽動画探索システムに関する検討

- 佃 洸摂, 高橋 卓見, 石田 啓介, 濱崎 雅弘, 後藤 真孝: Kiite World: マップ上でのプレイリストの共有と楽曲の同期再生に基づくソーシャルな音楽発掘サービス（インタラクティブ発表賞（一般投票）受賞）

record_voice_over 国際会議 ACM CHIIR 2025に論文が採択されました。 [2025/3/24 研究発表]

- Kosetsu Tsukuda, Atsuki Maruta, Makoto P. Kato and Hideo Joho: Eliciting Implicit Information Needs in E-Commerce Search by Using the Think-Aloud Methodopen_in_new

record_voice_over IPSJ-ONE 2025にて招待講演を行いました。 [2025/3/15]

- 佃 洸摂: Webサービスで実現するまだ見ぬ好みの楽曲との出会い open_in_new

record_voice_over 情報処理学会 第142回音楽情報科学研究発表会にて下記の発表を行いました。 [2025/3/6-8]

- 中塚 貴之, 濱崎 雅弘, 後藤 真孝: 超球面上の確率的表現学習を用いたマルチモーダル音楽情報検索

- 佃 洸摂, 石田 啓介, 高橋 卓見, 濱崎 雅弘, 後藤 真孝: レイヤー構造に基づく楽曲推薦手法の提案と音楽発掘サービスKiiteへの応用

- 辰己 紗楓、中野 倫靖、後藤 真孝、土方 嘉徳: ピッチとテンポの変更によるポピュラー音楽への嗜好評価の変化に関する研究

record_voice_over 第4回計算社会科学会大会(CSSJ2025)にて下記の発表を行いました。 [2025/2/16]

- 高雄 里音，湊 小楽，濱崎 雅弘，後藤 真孝，土方 嘉徳: 推薦システムにおける悪意のある誘導に対する視線動作に関する心理学実験

- 天井 里咲，德山 陽祐，佃 洸摂，濱崎 雅弘，後藤 真孝，土方嘉徳: 推薦エンジンの切り替え機能が信頼形成に与える影響を明らかにするための心理学実験

record_voice_over 情報処理学会論文誌に論文が採択されました。 [2025/2/15 掲載]

加藤 淳, 後藤 真孝: インタラクティブな歌詞駆動型視覚表現「リリックアプリ」開発用フレームワークの提案と実証研究open_in_new（情報処理学会論文誌ジャーナル/JIP特選論文（2024年度）受賞）

record_voice_over Tokyo Music AI Gatheringにて招待講演を行いました。 [2025/2/5]

Masataka Goto: Music Information Research (MIR): Milestones and Future Challenges open_in_new

record_voice_over コンピュータソフトウェア（日本ソフトウェア科学会）に論文が採択されました。 [2025/1/24 掲載]

倉持 友哉, 濱崎 雅弘, 中野 倫靖: MusicCommentVisualizer: 音楽動画へのコメントの可視化に基づく音楽推薦・鑑賞インタフェースopen_in_new

record_voice_over 国際会議 MMM 2025に採択されました。 [2025/1/8 研究発表] [佃、高橋、石田、濱崎、後藤]

- Kosetsu Tsukuda, Takumi Takahashi, Keisuke Ishida, Masahiro Hamasaki, Masataka Goto: Kiite World: Socializing Map-Based Music Exploration Through Playlist Sharing and Synchronized Listening open_in_new

stars 小山 裕己 主任研究員がJapan ACM SIGCHI Chapterより、Distinguished Young Researcher Awardを受賞しました。[2024/12/27]

stars 加藤 淳 主任研究員が文部科学省科学技術・学術政策研究所（NISTEP）より、科学技術への顕著な貢献2024（ナイスステップな研究者）を受賞しました。[2024/12/17]

record_voice_over WISS 2024に採択されました。[2024/12/11 研究発表] [中野、渡邉、加藤、濱崎、後藤]

中野 倫靖, 加藤 淳, 渡邉 研斗, 濱崎 雅弘, 後藤 真孝: 歌詞に基づく歌声アノテーションのためのインタフェース構築 open_in_new

article IEICE Transactions on Information and Systemsに採択されました。[2024/11/13 掲載] [渡邉、後藤]

Kento Watanabe, Masataka Goto: A Text-to-Lyrics Generation Method Leveraging Image-based Semantics and Reducing Plagiarism Risk open_in_new

record_voice_over 国際会議 ISMIR 2024に採択されました。[2024/11/12-14 研究発表] [中塚、加藤、濱崎、中野、後藤]

- Tomoyasu Nakano, Masataka Goto: Using Item Response Theory to Aggregate Music Annotation Results of Multiple Annotators open_in_new

- Takayuki Nakatsuka, Masahiro Hamasaki, Masataka Goto: Harnessing the Power of Distributions: Probabilistic Representation Learning on Hypersphere for Multimodal MIR open_in_new

- Michele Newman, Lidia Morris, Jun Kato, Masataka Goto, Jason Yip, Jin Ha Lee: Purposeful Play: Evaluation and Co-Design of Casual Music Creation Applications with Children open_in_new

record_voice_over 第27回情報論的学習理論ワークショップ (IBIS2024)にて下記の発表を行いました。[2024/11/6] [小山, 濱崎, 後藤]

岩井 皓暉, 熊谷 雄介, 小山 裕己, 濱崎 雅弘, 後藤 真孝: 制約付き選好ベイズ最適化によるクリック率を考慮したバナー広告デザイン

article 情報処理（学会誌）に掲載されました。[2024/9/17 掲載] [小山]

小山 裕己: 好奇心の力：Human-in-the-Loopベイズ最適化によるデザイン支援 open_in_new

record_voice_over 京都大学 学術情報メディアセンターセミナー「Web情報学の今」にて下記の依頼講演を行いました。[2024/9/9] [佃]

佃 洸摂: Webサービスで実現する人と音楽との新たなインタラクション

record_voice_over 国際会議 DAFx24に採択されました。[2024/9/4 研究発表] [渡邉、中塚、Cheng、中野、後藤]

Osamu Take, Kento Watanabe, Takayuki Nakatsuka, Tian Cheng, Tomoyasu Nakano, Masataka Goto, Shinnosuke Takamichi, Hiroshi Saruwatari: Audio Effect Chain Estimation and Dry Signal Recovery from Multi-Effect-Processed Musical Signals open_in_new

record_voice_over 第141回音楽情報科学研究会にて下記の発表を行いました。[2024/8/26] [佃，中野，濱崎，後藤]

佃 洸摂, 中野 倫靖, 濱崎 雅弘, 後藤 真孝: 初めて聴く楽曲の好みを判断する際に影響を与える音楽要素の分析と楽曲の推薦・探索への応用

record_voice_over Visual Computing 2024にて招待講演を行いました。[2024/9/11] [小山]

Yuki Tatsukawa, I-Chao Shen, Anran Qi, Yuki Koyama, Takeo Igarashi, and Ariel Shamir: FontCLIP: A Semantic Typography Visual-Language Model for Multilingual Font Applications open_in_new

article IEEE Accessに採択されました。[2024/8/9 掲載] [小山]

Shigeo Yoshida, Yuki Koyama, and Yoshitaka Ushiku: Toward AI-Mediated Avatar-Based Telecommunication: Investigating Visual Impression of Switching Between User- and AI-Controlled Avatars in Video Chat open_in_new

record_voice_over 第209回ヒューマンコンピュータインタラクション研究発表会にて下記の発表を行いました。[2024/7/22] [佃，渡邉，中塚，中野，後藤]

木下 裕一朗，佃 洸摂，渡邉 研斗，中塚 貴之，中野 倫靖，後藤 真孝，中村 聡史: 動画共有サービス上の興味を引く時刻同期コメントを用いた音楽動画探索システムに関する検討

record_voice_over 国際会議 SMC 2024に採択されました。[2024/7/5 研究発表] [中塚、濱崎、後藤]

Takayuki Nakatsuka, Masahiro Hamasaki, Masataka Goto: A Cover Image Composition Method for Music Content Using Multimodal Image Retrieval and Cropping Techniques open_in_new

article IEICE Transactions on Information and Systemsに採択されました。[2024/4/5 掲載] [中野、後藤]

Tomoyasu Nakano, Masataka Goto: MDX-Mixer: Music Demixing by Leveraging Source Signals Separated by Existing Demixing Models open_in_new

record_voice_over 国際会議ISMIR2024 (San Francisco, CA, USA)のTutorialsに採択されました。[2024/6/17 掲載] [渡邉、後藤]

Masataka Goto, Jin Ha Lee, and Meinard Muller: T2: Exploring 25 Years of Music Information Retrieval: Perspectives and Insights

Daniel Stoller, Emir Demirel, Kento Watanabe, and Brendan O'Connor: T6: Lyrics alignment and transcription: Methods and applications

record_voice_over 2024年度人工知能学会全国大会にて下記の発表を行いました。[2024/5/31, アクトシティ浜松＋オンライン] [小山、濱崎、後藤]

岩井 皓暉, 熊谷 雄介, 小山 裕己, 濱崎 雅弘, 後藤 真孝: 不等式制約を伴う選好ベイズ最適化 open_in_new

article コロナ社から出版される書籍デジタルファブリケーションとメディアのチャプターを執筆しました。[2024/5/10 発行] [小山]

小山 裕己: 出力物体の機能性に着目したコンピュテーショナルデザイン

record_voice_over ACM CHI 2024に論文が採択されました。[2024/5/13 発表] [加藤]

Jun Kato, Kenta Hara, Nao Hirasawa: Griffith: A Storyboarding Tool Designed with Japanese Animation Professionalsopen_in_new

article Computer Graphics Focumに採択されました。[2024/4/30 掲載] [小山]

Yuki Tatsukawa, I-Chao Shen, Anran Qi, Yuki Koyama, Takeo Igarashi, and Ariel Shamir: FontCLIP: A Semantic Typography Visual-Language Model for Multilingual Font Applications open_in_new

article 情報処理学会論文誌データベースTODに採択されました。[2024/4/23 掲載] [佃、渡邉、中野、後藤]

三林 亮太, 山本 岳洋, 佃 洸摂, 渡邉 研斗, 中野 倫靖, 後藤 真孝, 大島 裕明: ラップバトルにおける逆向き生成によるライムを含む返答バース生成 open_in_new

article Multimedia Tools and Applicationsに採択されました。[2024/4/10 掲載] [中野、濱崎、後藤]

Takayuki Itoh, Tomoyasu Nakano, Satoru Fukayama, Masahiro Hamasaki, Masataka Goto: SingDistVis: interactive Overview+Detail visualization for F0 trajectories of numerous singers singing the same song open_in_new

▼ 過去のお知らせ / Past News

研究プロジェクト Research Projects

Songle（ソングル https://songle.jp）は、音楽をより深く理解しながら、能動的に音楽鑑賞が楽しめるサービスです。 詳しくは「Songleとは」およびプレスリリースをご覧下さい。

Songrium （ソングリウム https://songrium.jp）は、音楽コンテンツ間の多様な関係性を意識しながら、 Web上で新たな音楽コンテンツに出会うことができる音楽視聴支援サービスです。詳しくは「Songriumとは」およびプレスリリースをご覧下さい。

TextAlive （https://textalive.jp）は、ウェブ上に公開されている音楽に合わせ歌詞が動く動画（歌詞アニメーション）をブラウザ上で作れる制作支援サービスです。簡単に自分好みの演出をつけることができます。詳しくは「TextAliveとは」およびプレスリリースをご覧下さい。

※後藤真孝 首席研究員（メディアインタラクション研究グループ兼務）による、
当グループの研究成果（一部）の紹介です。

プレスリリース Press Releases

public 音楽推薦に基づくマップ上で好みの楽曲を共有できる音楽発掘サービス「Kiite World」を公開

－好みの100曲をお互いに公開してマップ上で一緒に聴きながら好みの楽曲を見つけ出せる－

発表・掲載日：2023/07/19

関連URL：音楽発掘サービス「Kiite World（キイテワールド）」

public 音楽印象分析・音楽推薦を駆使して楽曲と出会える音楽発掘サービス「Kiite」を公開

－視聴者の音楽への関心と音楽情報処理技術の力を結びつけて好みの楽曲を見つけ出せる－

発表・掲載日：2019/08/30

関連URL：音楽発掘サービス「Kiite（キイテ）」

public 音楽に合わせて多様なデバイスを制御できるプラットフォームを公開

－インターネットを介した大規模音楽連動制御を手軽に利用できる「Songle Sync」－

発表・掲載日：2017/08/02

関連URL：大規模音楽連動制御プラットフォーム「Songle Sync（ソングルシンク）」

public 歌詞のトピックに基づいてさまざまな歌詞に出会える新しい歌詞探索ツール「Lyric Jumper」を公開

－(株)シンクパワー「プチリリ」の大規模歌詞データを産総研の技術で自動解析して実現－

発表・掲載日：2017/02/21

関連URL：歌詞探索ツール「Lyric Jumper（リリック ジャンパー）」

public 音楽に合わせ歌詞が動く動画を容易に制作・共有できるサービスを公開

－誰でも好みの演出の歌詞アニメーションを作って楽しめる「TextAlive」－

発表・掲載日：2015/09/08

関連URL：歌詞アニメーション制作支援サービス「TextAlive（テキストアライブ）」

public ウェブ上の音楽コンテンツの関係性を可視化する音楽視聴支援システム

－誰でも利用できる音楽視聴支援サービス「Songrium」を一般公開－

発表・掲載日：2013/08/27

関連URL：音楽視聴支援サービス「Songrium（ソングリウム）」

public インターネット上の楽曲の中身を自動解析する音楽鑑賞システム

－誰でも利用できる能動的音楽鑑賞サービス「Songle」を一般公開－

発表・掲載日：2012/08/29

関連URL：能動的音楽鑑賞サービス「Songle（ソングル）」

メンバー Members

• 研究グループ長 / Leader of the Media Interaction Group
  • 中野 倫靖 / Tomoyasu Nakano


• 上級首席研究員 / Senior Principal Researcher
  • 後藤 真孝 / Masataka Goto


• 主任研究員 / Senior Researcher
  • 加藤 淳 / Jun Kato
  • 佃 洸摂 / Kosetsu Tsukuda
  • 渡邉 研斗 / Kento Watanabe
  • Tian Cheng


• 研究員 / Researcher
  • 中塚 貴之 / Takayuki Nakatsuka


• グループ付 / Concurrent Post
  • 濱崎 雅弘 / Masahiro Hamasaki


• 契約職員 (テクニカルスタッフ) / Technical Staff
  • 川崎 裕太 / Yuta Kawasaki
  • 石田 啓介 / Keisuke Ishida
  • 井上 隆広 / Takahiro Inoue
  • 笠井 志麻 / Shima Kasai
  • 田中 一大 / Hitohiro Tanaka


• 契約職員 (事務秘書) / Assistant (Secretary)
  • 佐藤 めぐみ / Megumi Sato


• 客員研究員 / Invited Researcher
  • 小山 裕己 / Yuki Koyama


• 協力研究員 / Collaborative Researcher
  • 橋本 麦 / Baku Hashimoto
  • 高橋 卓見 / Takumi Takahashi


• 連携大学院生 / Graduate Students
  • M2 中澤 一輝 / Kazuki Nakazawa

連絡先 Contact information

国立研究開発法人　産業技術総合研究所　人間情報インタラクション研究部門
メディアインタラクション研究グループ
〒305-8568 茨城県つくば市梅園1-1-1 中央事業所2群 2-10棟313号室

Media Interaction Group
Human Informatics and Interaction Research Institute (HIIRI),
National Institute of Advanced Industrial Science and Technology (AIST)
AIST Tsukuba Central 2, 1-1-1 Umezono, Tsukuba, Ibaraki 305-8568, Japan

▼ 問い合わせ先 / Contact
▼ つくば事業所へのアクセス / Access