カメラで撮影した観客の表情をAIで解析し、その場に合った音楽をリアルタイムに流す――。エイベックス・エンタテインメントと映像制作会社のネイキッドが、東京・日本橋でこんなパフォーマンスを実施している。
パフォーマンスでは、両社が共同開発した技術「HUMANOID DJ」を使用。AIを用いて観客の感情などを分析し、音楽をリアルタイムに変化させる他、人の動きに合わせた映像の演出も行っている。
会場は、「COREDO 室町1」で開催中のアート展「FLOWERS BY NAKED 2020 -桜-」(1月30日〜3月1日)の専用コーナー。両社が2019年1月に始めた共同プロジェクト「HUMANOID DJ project」の一環で実施している。
FLOWERS BY NAKED 2020 -桜-は、「五感で楽しむ、体験型庭園」をテーマにしたアート展。映像、音、香りなどを用い、花をテーマにしたアート作品を展示している。
HUMANOID DJを体感できるコーナーでは、30分ごとに音と映像によるライブパフォーマンスを実施。AIがカメラ映像を基に観客の表情から年齢、性別、感情などを分析し、あらかじめ用意された楽曲を自動選曲。楽器の音を挿入したり、流す楽曲を変化させたりして、即興でDJプレイを行う。
ライブには、ダンサー3人も登場。ダンサーに装着した腕輪型の3軸センサーの情報を基に、ダンサーの動きに合わせた映像を制作し、大画面のスクリーンに投影する。映像は床面にも投影。ダンサーの足元に花びらが散らばったり、波紋が広がったりする演出を見られる。
観客の表情分析には、日本マイクロソフトのAIサービスを使用。リアルタイムに近い形で画像を分析できるように、クラウドにデータを転送する形ではなく、カメラで撮影した画像をノートPC上で解析する方法を採用した。ダンサーのセンサー情報は数値化し、クラウドサービス「Microsoft Azure」上で処理したという。
エイベックスとネイキッドは、HUMANOID DJの取り組みを通して、新しい音楽体験の可能性を探っていく考えだ。
Copyright © ITmedia, Inc. All Rights Reserved.
Special
PR