国立研究開発法人 産業技術総合研究所 人間情報インタラクション研究部門
メディアインタラクション研究グループ
 Media Interaction Group,
Human Informatics and Interaction Research Institute (HIIRI),
National Institute of Advanced Industrial Science and Technology (AIST)

メディアインタラクション研究グループでは、さまざまなメディアコンテンツ（音楽、動画、テキスト、ユーザ活動、実世界デバイスなど）を対象に、人々の生活の豊かさの向上に資するメディアインタラクション技術を研究開発しています。具体的には、コンテンツの創出と利活用を促進し、生産者と消費者をつないで社会の創造性を高めることを目的とし、生産者の知識・経験・技術を補いながらコンテンツの創出を容易にして価値創出を支援する技術と、消費者の鑑賞・検索・推薦・ブラウジングなどを多様化してコンテンツの価値向上を支援する技術を開発します。そのためのメディア処理技術やインタラクション技術などを研究開発し、音楽情報処理、歌声情報処理、自然言語処理、動画像処理、ヒューマンコンピューターインタラクション、ウェブサービス、信号処理、機械学習、検索・推薦、データマイニング、可視化、コンピューターグラフィックス、コミュニティー分析・支援などに関して、基礎研究から応用研究まで幅広く取り組みます。

The Media Interaction Group targets a variety of media content (music, video, text, user activities, physical devices, etc.) and conducts research on media interaction technologies that can enrich people's life. In particular, our group aims to promote content creation and utilization and enhance the creativity of the society by bridging the gap between creators and consumers. Toward this goal, we develop value-creation support technologies that facilitate content creation by complementing knowledge, experience, and technique of creators. We also develop value-enhancement support technologies that provide consumers with various means of appreciation, retrieval, recommendation, and browsing. These media technologies and interaction technologies demand a broad range of basic and applied research. We conduct research on music information processing, singing information processing, natural language processing, image and video processing, human-computer interaction, web services, signal processing, machine learning, retrieval and recommendation, data mining, visualization, computer graphics, community analysis and support, etc.



お知らせ News

record_voice_over 加藤 淳 主任研究員が People of ACMで紹介されました。[2023/04/25]
「People of ACM - Jun Kato」
stars 後藤 真孝 首席研究員が 第55回 市村学術賞 貢献賞を受賞しました。[2023/04/19]
「音楽を自動理解する情報技術の先駆的研究開発とその応用展開」
stars 加藤 淳 主任研究員と後藤 真孝 首席研究員が国際会議ACM CHI 2023において Honorable Mention Awardを受賞しました。[2023/04/19]
「Lyric App Framework: A Web-based Framework for Developing Interactive Lyric-driven Musical Applications」
article IEICE TRANSACTIONS on Information and Systemsに論文 1本が採択されました。[2023/4/1]
Kosetsu TSUKUDA, Masahiro HAMASAKI, and Masataka GOTO: Why and How People View Lyrics While Listening to Music on a Smartphone open_in_new
stars 佃 洸摂 主任研究員、石田 啓介 テクニカルスタッフ、濱崎 雅弘 総括企画主幹、後藤 真孝 首席研究員が 第38回 電気通信普及財団賞 (テレコム学際研究賞) 入賞を受賞しました。[2023/03/22]
「Kiite Cafe: A Web Service for Getting Together Virtually to Listen to Music」
article 国際会議 IEEE ICASSP 2023に論文 2本が採択されました。[2023/6/4-6/10, Greece]
Tian Cheng and Masataka Goto: U-BEAT: A MULTI-SCALE BEAT TRACKING MODEL BASED ON WAVE-U-NET open_in_new
Hiromu Yakura and Masataka Goto: Self-Supervised Contrastive Learning for Singing Voices open_in_new
article 国際会議 ACM CHI 2023に提案 1件が採択されました。[2023/4/23-4/29, Germany]
Jun Kato, Jonas Frich, Zhicong Lu, Jennifer Jacobs, Kumiyo Nakakoji, and Celine Latulipe: Special Interest Group on Creativity and Cultures in Computing open_in_new
article 国際会議 ACM CHI 2023に論文 2本が採択されました。[2023/4/23-4/29, Germany]
Jun Kato and Masataka Goto: Lyric App Framework: A Web-based Framework for Developing Interactive Lyric-driven Musical Applications open_in_new
Riku Arakawa, Hiromu Yakura, and Masataka Goto: CatAlyst: Domain-Extensible Intervention for Preventing Task Procrastination Using Large Generative Models open_in_new

stars 加藤主任研究員が Japan ACM SIGCHI Chapterにて表彰されました。[2023/02/18]
Jun Kato: 2023 Japan ACM SIGCHI Chapter Distinguished Young Researcher Award open_in_new
Jun Kato: The HCI researcher as toolsmith（受賞講演） open_in_new
record_voice_over NLP 2023 (言語処理学会 第29回年次大会)にて研究発表を行います。[2023/3/14, Okinawa]
渡邉 研斗, 後藤 真孝: 入力文章の内容に沿った新たな歌詞を生成する作詞支援システムと剽窃リスクを下げる歌詞生成手法 open_in_new
article 国内シンポジウム インタラクション 2023に論文 1本が採択されました。[2023/3/8-3/10, Tokyo]
小山 裕己，後藤 真孝: BO as Assistant: ベイズ最適化を活用した非同期的なデザイン案生成のためのフレームワーク open_in_new
record_voice_over IPSJ-ONE 2023にて招待講演を行います。[2023/3/4, Tokyo]
渡邉 研斗: 歌詞を理解し，作詞を支援するコンピュータ
article 国際会議 WACV 2023に論文 1本が採択されました。[1/3-1/7, USA]
Takayuki Nakatsuka, Masahiro Hamasaki, Masataka Goto: Content-Based Music-Image Retrieval Using Self- and Cross-Modal Feature Embedding Memory open_in_new
stars 小山主任研究員が国内シンポジウム VC + VCC 2022にて表彰されました。[2022/10/08]
Yuki Koyama: VC Young Researcher Award open_in_new
record_voice_over 国内シンポジウム VC + VCC 2022にて2件の国際論文招待講演を行います。[10/6-8, Kyoto + Hybrid]
Yuki Koyama, Masataka Goto: BO as Assistant: Using Bayesian Optimization for Asynchronously Generating Design Suggestions (UIST2022) open_in_new
Hiromu Yakura, Yuki Koyama, and Masataka Goto: Tool- and Domain-Agnostic Parameterization of Style Transfer Effects Leveraging Pretrained Perceptual Metrics (IJCAI2021) open_in_new
article 国際会議 UIST 2022に論文 2本が採択されました。[10/29-11/2, USA]
Yuki Koyama, Masataka Goto: BO as Assistant: Using Bayesian Optimization for Asynchronously Generating Design Suggestions open_in_new
Kenta Yamamoto, Yuki Koyama, Yoichi Ochiai: Photographic Lighting Design with Photographer-in-the-Loop Bayesian Optimization open_in_new
stars 第135回音楽情報科学研究会（夏のシンポジウム）にて ベストプレゼンテーション賞 を受賞しました。[2022/09/16]
矢倉 大夢, 渡邉 研斗, 後藤 真孝: 歌声のための自己教師あり対照学習による特徴量表現の獲得手法
record_voice_over 第135回音楽情報科学研究会（夏のシンポジウム）にて 2件の研究発表をします。[9/14-15, Tokyo + Hybrid]
中野 倫靖, 後藤 真孝: MDX-Mixer: 複数の音楽音源分離モデルによる出力波形を時変混合するシステム
矢倉 大夢, 渡邉 研斗, 後藤 真孝: 歌声のための自己教師あり対照学習による特徴量表現の獲得手法
article 国際会議 EUSIPCO 2022に論文 1本が採択されました。[8/29-9/2, Serbia + Hybrid]
Tian Cheng, Masataka Goto: An Analysis of Using Fuzzy Annotations in CRNN-based Join Beat and Downbeat Tracking open_in_new
record_voice_over ヒューマンコミュニケーション基礎研究会（HCS）にて招待講演をします。[8/26-27, Hyogo + Hybrid]
佃 洸摂: 音楽聴取者の行動分析で理解する人と音楽とのインタラクション
article 国際誌 IEEE Accessに論文 1本が採録されました。[2022/6/17]
Daichi Haraguchi, Shota Sakaguchi, Jun Kato, Masataka Goto, Seiichi Uchida: Fonts That Fit the Music: A Multimodal Design Trend Analysis of Lyric Videos open_in_new
article 国際誌 IEEE/ACM Trans. ASLPに論文 1本が採録されました。[2022/05/03]
Hitoshi Suda, Daisuke Saito, Satoru Fukayama, Tomoyasu Nakano, Masataka Goto: Singer Diarization for Polyphonic Music With Unison Singing open_in_new
article 国際会議 ACM CHI 2022に論文 1本が採択されました。[4/30-5/5, Online]
Riku Arakawa, Hiromu Yakura, Sosuke Kobayashi: VocabEncounter: NMT-powered Vocabulary Learning by Presenting Computer-Generated Usages of Foreign Words into Users' Daily Lives open_in_new
article 国際誌 IEEE/ACM Trans. ASLPに論文 1本が採録されました。[2022/04/26]
Hiromu Yakura, Kento Watanabe, Masataka Goto: Self-Supervised Contrastive Learning for Singing Voices open_in_new
record_voice_over 国際会議 CVM 2022にて招待講演を行います。[4/7-9, China + Hybrid]
Yuki Koyama: Human-in-the-Loop Preferential Bayesian Optimization for Visual Design open_in_new

▼ 過去のお知らせ / Past News


研究プロジェクト Research Projects

Songle
Songle（ソングル https://songle.jp）は、音楽をより深く理解しながら、能動的に音楽鑑賞が楽しめるサービスです。 詳しくは「Songleとは」およびプレスリリースをご覧下さい。
Songrium
Songrium （ソングリウム https://songrium.jp）は、音楽コンテンツ間の多様な関係性を意識しながら、 Web上で新たな音楽コンテンツに出会うことができる音楽視聴支援サービスです。詳しくは「Songriumとは」およびプレスリリースをご覧下さい。
TextAlive
TextAlive （https://textalive.jp）は、ウェブ上に公開されている音楽に合わせ歌詞が動く動画（歌詞アニメーション）をブラウザ上で作れる制作支援サービスです。簡単に自分好みの演出をつけることができます。詳しくは「TextAliveとは」およびプレスリリースをご覧下さい。


※後藤真孝 首席研究員（メディアインタラクション研究グループ兼務）による、
当グループの研究成果（一部）の紹介です。



プレスリリース Press Releases

public 音楽印象分析・音楽推薦を駆使して楽曲と出会える音楽発掘サービス「Kiite」を公開
－視聴者の音楽への関心と音楽情報処理技術の力を結びつけて好みの楽曲を見つけ出せる－
発表・掲載日：2019/08/30
関連URL：音楽発掘サービス「Kiite（キイテ）」
public 音楽に合わせて多様なデバイスを制御できるプラットフォームを公開
－インターネットを介した大規模音楽連動制御を手軽に利用できる「Songle Sync」－
発表・掲載日：2017/08/02
関連URL：大規模音楽連動制御プラットフォーム「Songle Sync（ソングルシンク）」
public 歌詞のトピックに基づいてさまざまな歌詞に出会える新しい歌詞探索ツール「Lyric Jumper」を公開
－(株)シンクパワー「プチリリ」の大規模歌詞データを産総研の技術で自動解析して実現－
発表・掲載日：2017/02/21
関連URL：歌詞探索ツール「Lyric Jumper（リリック ジャンパー）」
public 音楽に合わせ歌詞が動く動画を容易に制作・共有できるサービスを公開
－誰でも好みの演出の歌詞アニメーションを作って楽しめる「TextAlive」－
発表・掲載日：2015/09/08
関連URL：歌詞アニメーション制作支援サービス「TextAlive（テキストアライブ）」
public ウェブ上の音楽コンテンツの関係性を可視化する音楽視聴支援システム
－誰でも利用できる音楽視聴支援サービス「Songrium」を一般公開－
発表・掲載日：2013/08/27
関連URL：音楽視聴支援サービス「Songrium（ソングリウム）」
public インターネット上の楽曲の中身を自動解析する音楽鑑賞システム
－誰でも利用できる能動的音楽鑑賞サービス「Songle」を一般公開－
発表・掲載日：2012/08/29
関連URL：能動的音楽鑑賞サービス「Songle（ソングル）」


メンバー Members

2017/09 撮影


連絡先 Contact information

国立研究開発法人　産業技術総合研究所　人間情報インタラクション研究部門
メディアインタラクション研究グループ
〒305-8568 茨城県つくば市梅園1-1-1 中央第二事業所 2-10棟313号室

Media Interaction Group
Human Informatics and Interaction Research Institute (HIIRI),
National Institute of Advanced Industrial Science and Technology (AIST)
AIST Tsukuba Central 2, 1-1-1 Umezono, Tsukuba, Ibaraki 305-8560, Japan


▼ 問い合わせ先 / Contact
▼ つくば事業所へのアクセス / Access