国立研究開発法人 産業技術総合研究所 人間情報インタラクション研究部門
メディアインタラクション研究グループ
Media Interaction Group,
Human Informatics and Interaction Research Institute (HIIRI),
National Institute of Advanced Industrial Science and Technology (AIST)

メディアインタラクション研究グループでは、さまざまなメディアコンテンツ(音楽、動画、テキスト、ユーザ活動、実世界デバイスなど)を対象に、人々の生活の豊かさの向上に資するメディアインタラクション技術を研究開発しています。具体的には、コンテンツの創出と利活用を促進し、生産者と消費者をつないで社会の創造性を高めることを目的とし、生産者の知識・経験・技術を補いながらコンテンツの創出を容易にして価値創出を支援する技術と、消費者の鑑賞・検索・推薦・ブラウジングなどを多様化してコンテンツの価値向上を支援する技術を開発します。そのためのメディア処理技術やインタラクション技術などを研究開発し、音楽情報処理、歌声情報処理、自然言語処理、動画像処理、ヒューマンコンピューターインタラクション、ウェブサービス、信号処理、機械学習、検索・推薦、データマイニング、可視化、コンピューターグラフィックス、コミュニティー分析・支援などに関して、基礎研究から応用研究まで幅広く取り組みます。

The Media Interaction Group targets a variety of media content (music, video, text, user activities, physical devices, etc.) and conducts research on media interaction technologies that can enrich people's life. In particular, our group aims to promote content creation and utilization and enhance the creativity of the society by bridging the gap between creators and consumers. Toward this goal, we develop value-creation support technologies that facilitate content creation by complementing knowledge, experience, and technique of creators. We also develop value-enhancement support technologies that provide consumers with various means of appreciation, retrieval, recommendation, and browsing. These media technologies and interaction technologies demand a broad range of basic and applied research. We conduct research on music information processing, singing information processing, natural language processing, image and video processing, human-computer interaction, web services, signal processing, machine learning, retrieval and recommendation, data mining, visualization, computer graphics, community analysis and support, etc.



お知らせ News

record_voice_over WISS 2023の登壇発表に採択され、最優秀論文賞を受賞しました。[2023/11/30 研究発表]
倉持 友哉, 濱崎 雅弘, 中野 倫靖 MusicCommentVisualizer: 音楽動画へのコメントの可視化に基づく音楽推薦・鑑賞インタフェース open_in_new
record_voice_over 国際会議 BMVC 2023に採択されました。[2023/11/23 研究発表] [小山]
Daichi Horita, Jiaolong Yang, Dong Chen, Yuki Koyama, Kiyoharu Aizawa, Nicu Sebe: A Structure-Guided Diffusion Model for Large-Hole Image Completion open_in_new
record_voice_over 国際会議 CMMR 2023に採択されました。[2023/11/13-17 研究発表] [渡邉、佃、中野、濱崎、後藤]
- Ryota Mibayashi, Takehiro Yamamoto, Kosetsu Tsukuda, Kento Watanabe, Tomoyasu Nakano, Masataka Goto, Hiroaki Ohshima: Verse Generation by Reverse Generation Considering Rhyme and Answer in Japanese Rap Battles open_in_new
- Tomoyasu Nakano, Momoka Sasaki, Mayuko Kishi, Masahiro Hamasaki, Masataka Goto, Yoshinori Hijikata: A Music Exploration Interface Based on Vocal Timbre and Pitch in Popular Music open_in_new
record_voice_over 国際会議 ISMIR 2023に採択されました。[2023/11/5-9 研究発表] [Cheng、渡邉、佃、中野、濱崎、後藤]
- Kento Watanabe, Masataka Goto: Text-to-lyrics generation with image-based semantics and reduced risk of plagiarism open_in_new
- Kosetsu Tsukuda, Tomoyasu Nakano, Masahiro Hamasaki, Masataka Goto: Unveiling the Impact of Musical Factors in Judging a Song on First Listen: Insights from a User Survey open_in_new
- Kosetsu Tsukuda, Masahiro Hamasaki, Masataka Goto: Chorus-Playlist: Exploring the Impact of Listening to Only Choruses in a Playlist open_in_new
- Haven Kim, Kento Watanabe, Masataka Goto, Juhan Nam: A Computational Evaluation Framework for Singable Lyric Translation open_in_new
- Hiromu Yakura, Masataka Goto: IteraTTA: An interface for exploring both text prompts and audio priors in generating music with text-to-audio models open_in_new
- Tian Cheng, Masataka Goto: Transformer-based beat tracking with low-resolution encoder and high-resolution decoder open_in_new
- Tomoyasu Nakano, Masataka Goto: Music source separation with MLP mixing of time, frequency, and channel open_in_new
- Vincent K.M. Cheung, Lana Okuma, Kazuhisa Shibata, Kosetsu Tsukuda, Masataka Goto, Shinichi Furuya: Decoding drums, instrumentals, vocals, and mixed sources in music using human brain activity open_in_new
article IEICE Transactions on Information and Systemsに採択されました。[2023/11/1 掲載]
Kosetsu Tsukuda, Keisuke Ishida, Masahiro Hamasaki, Masataka Goto: Kiite Cafe: A Web Service Enabling Users to Listen to the Same Song at the Same Moment While Reacting to the Song open_in_new
article 情報処理学会論文誌に採択され、特選論文として選定されました。[2023/10/15 掲載]
山本 雄也, 中野 倫靖, 後藤 真孝, 寺澤 洋子: ポピュラー音楽の模倣歌唱における歌唱テクニック分析と楽譜情報との対応付け open_in_new
record_voice_over 加藤 淳 主任研究員がJST CREST xDiversity xTalk(クロス・トーク)に登壇しました。[2023/9/22]
【xTalk #31】加藤淳×落合陽一×菅野裕介 open_in_new
record_voice_over 小山 主任研究員の共著論文がVisual Computing 2023に採択されました(学生発表賞 受賞)。[2023/9/20 研究発表]
立川 裕貴, 奕超沈, 安然祁, 小山 裕己, 五十嵐 健夫, アリエル シャミール: タイポグラフィに特化した視覚言語モデル open_in_new
article IEICE Transactions on Information and Systemsに採択されました。[2023/9/1 掲載]
Kento WATANABE, Masataka GOTO: A Method to Detect Chorus Sections in Lyrics Text open_in_new
record_voice_over 情報処理学会 第138回MUS研究発表会において研究発表を行い、ベストプレゼンテーション賞(Best Research部門)を受賞しました。[2023/8/27]
加藤 淳, 後藤 真孝: TextAlive App API: 「リリックアプリ」の提案とプログラミング・コンテストでの実証実験
public 音楽推薦に基づくマップ上で好みの楽曲を共有できる音楽発掘サービス「Kiite World」を公開
-好みの100曲をお互いに公開してマップ上で一緒に聴きながら好みの楽曲を見つけ出せる-
発表・掲載日:2023/07/19
関連URL:音楽発掘サービス「Kiite World(キイテワールド)」
record_voice_over MIRU 2023にてポスター発表を行いました。[2023/7/26]
Daichi Horita, Jiaolong Yang, Dong Chen, Yuki Koyama, Kiyoharu Aizawa, Nicu Sebe: Large-Hole Image Completion via a Structure-Guided Diffusion Model open_in_new
record_voice_over 産総研AIセミナーにて講演を行いました。[2023/7/25]
小山 裕己: 好みを学習して支援するデザイン支援システム open_in_new
record_voice_over 加藤 淳 主任研究員が日本ソフトウェア科学会 第6回機械学習工学研究会にてパネルディスカッションに登壇しました。[2023/6/30]
LLM・基盤モデルで変わるソフトウェアエンジニアリング open_in_new
record_voice_over 音学シンポジウム 2023 (第137回MUS・第147回SLP合同研究発表会)にて研究発表を行いました。[2023/6/23]
倉持 友哉, 濱崎 雅弘, 中野 倫靖: 気分に合った音楽推薦に向けた動画共有サイト上のコメント分析
record_voice_over 小山 主任研究員の共著論文がCVPR 2023 Workshop: Generative Models for Computer Visionに採択されました。[2023/6/18 研究発表]
Daichi Horita, Jiaolong Yang, Dong Chen, Yuki Koyama, and Kiyoharu Aizawa: A Structure-Guided Diffusion Model for Large-Hole Diverse Image Completion open_in_new
article 日刊工業新聞に掲載されました。[2023/6/15]
佃 洸摂: 技術で未来拓く 産総研の挑戦(264)ウェブで好みの音楽探し open_in_new
article XRDS: Crossroads, The ACM Magazine for Students, Vol.29 No.4 pp.26-31に掲載されました。[2023/6]
Jun Kato: On the Relationship Between HCI Researchers and Creators―or How I Became a Toolsmith open_in_new
record_voice_over 情報処理学会コラボレーションとネットワークサービス研究会(第120回CN研究会) にて研究発表を行いました。[2023/5/26]
倉持 友哉, 近藤 久, 濱崎 雅弘: 単語類似度とBERTを用いた商品レビューの感情分析に関する研究
大野 航生, 濱崎 雅弘, 中野 倫靖: SNSデータとWebデータを活用したファッションブランド間の関係性の分析
article ヒューマンインタフェース学会誌に掲載されました。[2023/5]
加藤 淳: 動画をつくるためのインタフェースデザイン open_in_new
article 情報処理に掲載されました。[2023/4/15]
加藤 淳: CHI勉強会2022 開催報告 & 2023のご案内 open_in_new

record_voice_over 加藤 淳 主任研究員が People of ACMで紹介されました。[2023/04/25]
People of ACM - Jun Kato
stars 後藤 真孝 首席研究員が 第55回 市村学術賞 貢献賞を受賞しました。[2023/04/19]
音楽を自動理解する情報技術の先駆的研究開発とその応用展開
stars 加藤 淳 主任研究員と後藤 真孝 首席研究員が国際会議ACM CHI 2023において Honorable Mention Awardを受賞しました。[2023/04/19]
Lyric App Framework: A Web-based Framework for Developing Interactive Lyric-driven Musical Applications
article IEICE TRANSACTIONS on Information and Systemsに論文 1本が採択されました。[2023/4/1]
Kosetsu TSUKUDA, Masahiro HAMASAKI, and Masataka GOTO: Why and How People View Lyrics While Listening to Music on a Smartphone open_in_new
stars 佃 洸摂 主任研究員、石田 啓介 テクニカルスタッフ、濱崎 雅弘 総括企画主幹、後藤 真孝 首席研究員が 第38回 電気通信普及財団賞 (テレコム学際研究賞) 入賞を受賞しました。[2023/03/22]
Kiite Cafe: A Web Service for Getting Together Virtually to Listen to Music
article 国際会議 IEEE ICASSP 2023に論文 2本が採択されました。[2023/6/4-6/10, Greece]
Tian Cheng and Masataka Goto: U-BEAT: A MULTI-SCALE BEAT TRACKING MODEL BASED ON WAVE-U-NET open_in_new
Hiromu Yakura and Masataka Goto: Self-Supervised Contrastive Learning for Singing Voices open_in_new
article 国際会議 ACM CHI 2023に提案 1件が採択されました。[2023/4/23-4/29, Germany]
Jun Kato, Jonas Frich, Zhicong Lu, Jennifer Jacobs, Kumiyo Nakakoji, and Celine Latulipe: Special Interest Group on Creativity and Cultures in Computing open_in_new
article 国際会議 ACM CHI 2023に論文 2本が採択されました。[2023/4/23-4/29, Germany]
Jun Kato and Masataka Goto: Lyric App Framework: A Web-based Framework for Developing Interactive Lyric-driven Musical Applications open_in_new
Riku Arakawa, Hiromu Yakura, and Masataka Goto: CatAlyst: Domain-Extensible Intervention for Preventing Task Procrastination Using Large Generative Models open_in_new
stars 加藤主任研究員が Japan ACM SIGCHI Chapterにて表彰されました。[2023/02/18]
Jun Kato: 2023 Japan ACM SIGCHI Chapter Distinguished Young Researcher Award open_in_new
Jun Kato: The HCI researcher as toolsmith(受賞講演) open_in_new
record_voice_over NLP 2023 (言語処理学会 第29回年次大会)にて研究発表を行います。[2023/3/14, Okinawa]
渡邉 研斗, 後藤 真孝: 入力文章の内容に沿った新たな歌詞を生成する作詞支援システムと剽窃リスクを下げる歌詞生成手法 open_in_new
article 国内シンポジウム インタラクション 2023に論文 1本が採択されました。[2023/3/8-3/10, Tokyo]
小山 裕己,後藤 真孝: BO as Assistant: ベイズ最適化を活用した非同期的なデザイン案生成のためのフレームワーク open_in_new
record_voice_over IPSJ-ONE 2023にて招待講演を行います。[2023/3/4, Tokyo]
渡邉 研斗: 歌詞を理解し,作詞を支援するコンピュータ
article 国際会議 WACV 2023に論文 1本が採択されました。[1/3-1/7, USA]
Takayuki Nakatsuka, Masahiro Hamasaki, Masataka Goto: Content-Based Music-Image Retrieval Using Self- and Cross-Modal Feature Embedding Memory open_in_new
stars 小山主任研究員が国内シンポジウム VC + VCC 2022にて表彰されました。[2022/10/08]
Yuki Koyama: VC Young Researcher Award open_in_new
record_voice_over 国内シンポジウム VC + VCC 2022にて2件の国際論文招待講演を行います。[10/6-8, Kyoto + Hybrid]
Yuki Koyama, Masataka Goto: BO as Assistant: Using Bayesian Optimization for Asynchronously Generating Design Suggestions (UIST2022) open_in_new
Hiromu Yakura, Yuki Koyama, and Masataka Goto: Tool- and Domain-Agnostic Parameterization of Style Transfer Effects Leveraging Pretrained Perceptual Metrics (IJCAI2021) open_in_new
article 国際会議 UIST 2022に論文 2本が採択されました。[10/29-11/2, USA]
Yuki Koyama, Masataka Goto: BO as Assistant: Using Bayesian Optimization for Asynchronously Generating Design Suggestions open_in_new
Kenta Yamamoto, Yuki Koyama, Yoichi Ochiai: Photographic Lighting Design with Photographer-in-the-Loop Bayesian Optimization open_in_new
stars 第135回音楽情報科学研究会(夏のシンポジウム)にて ベストプレゼンテーション賞 を受賞しました。[2022/09/16]
矢倉 大夢, 渡邉 研斗, 後藤 真孝: 歌声のための自己教師あり対照学習による特徴量表現の獲得手法
record_voice_over 第135回音楽情報科学研究会(夏のシンポジウム)にて 2件の研究発表をします。[9/14-15, Tokyo + Hybrid]
中野 倫靖, 後藤 真孝: MDX-Mixer: 複数の音楽音源分離モデルによる出力波形を時変混合するシステム
矢倉 大夢, 渡邉 研斗, 後藤 真孝: 歌声のための自己教師あり対照学習による特徴量表現の獲得手法
article 国際会議 EUSIPCO 2022に論文 1本が採択されました。[8/29-9/2, Serbia + Hybrid]
Tian Cheng, Masataka Goto: An Analysis of Using Fuzzy Annotations in CRNN-based Join Beat and Downbeat Tracking open_in_new
record_voice_over ヒューマンコミュニケーション基礎研究会(HCS)にて招待講演をします。[8/26-27, Hyogo + Hybrid]
佃 洸摂: 音楽聴取者の行動分析で理解する人と音楽とのインタラクション
article 国際誌 IEEE Accessに論文 1本が採録されました。[2022/6/17]
Daichi Haraguchi, Shota Sakaguchi, Jun Kato, Masataka Goto, Seiichi Uchida: Fonts That Fit the Music: A Multimodal Design Trend Analysis of Lyric Videos open_in_new
article 国際誌 IEEE/ACM Trans. ASLPに論文 1本が採録されました。[2022/05/03]
Hitoshi Suda, Daisuke Saito, Satoru Fukayama, Tomoyasu Nakano, Masataka Goto: Singer Diarization for Polyphonic Music With Unison Singing open_in_new
article 国際会議 ACM CHI 2022に論文 1本が採択されました。[4/30-5/5, Online]
Riku Arakawa, Hiromu Yakura, Sosuke Kobayashi: VocabEncounter: NMT-powered Vocabulary Learning by Presenting Computer-Generated Usages of Foreign Words into Users' Daily Lives open_in_new
article 国際誌 IEEE/ACM Trans. ASLPに論文 1本が採録されました。[2022/04/26]
Hiromu Yakura, Kento Watanabe, Masataka Goto: Self-Supervised Contrastive Learning for Singing Voices open_in_new
record_voice_over 国際会議 CVM 2022にて招待講演を行います。[4/7-9, China + Hybrid]
Yuki Koyama: Human-in-the-Loop Preferential Bayesian Optimization for Visual Design open_in_new

過去のお知らせ / Past News


研究プロジェクト Research Projects

Songle
Songle(ソングル https://songle.jp)は、音楽をより深く理解しながら、能動的に音楽鑑賞が楽しめるサービスです。 詳しくは「Songleとは」およびプレスリリースをご覧下さい。
Songrium
Songrium (ソングリウム https://songrium.jp)は、音楽コンテンツ間の多様な関係性を意識しながら、 Web上で新たな音楽コンテンツに出会うことができる音楽視聴支援サービスです。詳しくは「Songriumとは」およびプレスリリースをご覧下さい。
TextAlive
TextAlive (https://textalive.jp)は、ウェブ上に公開されている音楽に合わせ歌詞が動く動画(歌詞アニメーション)をブラウザ上で作れる制作支援サービスです。簡単に自分好みの演出をつけることができます。詳しくは「TextAliveとは」およびプレスリリースをご覧下さい。


※後藤真孝 首席研究員(メディアインタラクション研究グループ兼務)による、
当グループの研究成果(一部)の紹介です。



プレスリリース Press Releases

public 音楽印象分析・音楽推薦を駆使して楽曲と出会える音楽発掘サービス「Kiite」を公開
-視聴者の音楽への関心と音楽情報処理技術の力を結びつけて好みの楽曲を見つけ出せる-
発表・掲載日:2019/08/30
関連URL:音楽発掘サービス「Kiite(キイテ)」
public 音楽に合わせて多様なデバイスを制御できるプラットフォームを公開
-インターネットを介した大規模音楽連動制御を手軽に利用できる「Songle Sync」-
発表・掲載日:2017/08/02
関連URL:大規模音楽連動制御プラットフォーム「Songle Sync(ソングルシンク)」
public 歌詞のトピックに基づいてさまざまな歌詞に出会える新しい歌詞探索ツール「Lyric Jumper」を公開
-(株)シンクパワー「プチリリ」の大規模歌詞データを産総研の技術で自動解析して実現-
発表・掲載日:2017/02/21
関連URL:歌詞探索ツール「Lyric Jumper(リリック ジャンパー)」
public 音楽に合わせ歌詞が動く動画を容易に制作・共有できるサービスを公開
-誰でも好みの演出の歌詞アニメーションを作って楽しめる「TextAlive」-
発表・掲載日:2015/09/08
関連URL:歌詞アニメーション制作支援サービス「TextAlive(テキストアライブ)」
public ウェブ上の音楽コンテンツの関係性を可視化する音楽視聴支援システム
-誰でも利用できる音楽視聴支援サービス「Songrium」を一般公開-
発表・掲載日:2013/08/27
関連URL:音楽視聴支援サービス「Songrium(ソングリウム)」
public インターネット上の楽曲の中身を自動解析する音楽鑑賞システム
-誰でも利用できる能動的音楽鑑賞サービス「Songle」を一般公開-
発表・掲載日:2012/08/29
関連URL:能動的音楽鑑賞サービス「Songle(ソングル)」


メンバー Members

2017/09 撮影


連絡先 Contact information

国立研究開発法人 産業技術総合研究所 人間情報インタラクション研究部門
メディアインタラクション研究グループ
〒305-8568 茨城県つくば市梅園1-1-1 中央第二事業所 2-10棟313号室

Media Interaction Group
Human Informatics and Interaction Research Institute (HIIRI),
National Institute of Advanced Industrial Science and Technology (AIST)
AIST Tsukuba Central 2, 1-1-1 Umezono, Tsukuba, Ibaraki 305-8560, Japan


問い合わせ先 / Contact
つくば事業所へのアクセス / Access