レイの体験型デジタルコンテンツの内覧会「SEED5」レポート

レイは2024年4月17日から19日の3日間、六本木 AXISギャラリーにてDigital Content Exhibition “SEED5” を開催した。

“SEED” は、アイデアの「種」になるような体験型デジタルコンテンツを紹介する内覧会。

5回目となる今年は、レイのディレクターやエンジニアが制作した7種類のコンテンツを展示。

来場者は、イベントや事業で活かせるアイデアを見つけようと、コンテンツを楽しみながら説明に耳を傾けていた。

1 の 3

カメラ・映像機器・PCというシンプルな構成のインスタレーション。

リアルタイムの映像の上に、数秒前の過去の映像が次々と重ね合わされていく「異なる時間の流れ」をテーマにした作品。

過去の映像に再生速度・静止・逆行など6パターンの加工が施され、現在の映像にオーバーレイされる。

作品名の「カイロス」はギリシア語で、人間の内面的な時間を表すという。

なお、半円型の映像装置にはレイが所有する湾曲可能な次世代LEDディスプレイ「RUBY」を使用している。

MRデバイスを通してアートを鑑賞するコンテンツ。

はたから見ると空っぽの額縁が宙に浮かんでいるだけだが、VRヘッドセット（Meta Quest）を装着して、周囲に漂っている「単語が書かれたボール」を手で（コントローラーで）つかんで額縁の中に投げ込むと、AIがその単語を反映した画像作品を額縁の中に自動で生成する。

AIはStable Diffusionを使用。

街の映像を眺めると、視線の先にあるモノが発する音だけが（歩く音、鳥の鳴き声、車や電車の走行音、街頭ビジョンなど）拡大されて聞こえてくるコンテンツ。

視線をトラッキングできるデバイス「アイトラッカー（Tobii）」が赤外線で人の瞳孔を検知し、天井の指向性スピーカーで音を再生している。

メガネやゴーグルは必要ない。

3Dメガネを装着してスクリーンを見ると立体的に見えるだけではなく、鑑賞者の頭の位置・角度に応じて映像のアングルも変化するため、壁の向こうに「もう一つの世界」が広がっているような体験ができる。

ヘッドトラッキング と プロジェクション、立体視（ 3D映像）を組み合わせ、1枚の平面スクリーンで没入体験を実現した。

AIで生成された映像が、グネグネと動くロボットアームの姿に合わせて変化しながらスクリーンに映し出される。

アームの関節の動きを数値化してPC上で3D化、その画像とプロンプトを組み合わせて植物や石像、バレリーナなどの映像をAIで生成する。

作品名はarm「腕」と「真似る」を意味するmimicを組み合わせたもの。まるでアームの動きを真似るように、リアルタイムで映像が生成されていくのが特徴だ。

AIのモデルはStream Diffusionを使用している。

来場者がアップロードした写真から、AIがその「過去」と「未来」を創作して文章と画像を生成。

まるで3ページの絵本のように1つの「物語」を仕上げて、ポストカードに印刷してくれる。

アップロードした写真をChatGPTで分析し、Dall-E 3で「過去」と「未来」の画像を出力している。

来場者の「脈拍」による波形から、曼荼羅（まんだら）風のデジタルアートを生み出す。

デザインモチーフは植物の「葉脈」。BPMが高まると色が赤くなり、下がると緑に変化する。

UnityとArduino、パルスセンサーなどで構成されている。

ガチャガチャと似た、何が出るのかわからないエンタメ性も特徴。

 
会場ではイベントの際に活用できるRayオリジナルプロダクトも紹介されていた。

来場者の自撮り動画を集めて、自動でコラージュムービーを生成するムービージェネレーター。

来場者は自分のスマホで特設Webサイトを開き、自撮り動画を撮影＆アップロードするだけなので、専用アプリも必要ない。

自撮り動画はその場でムービーに反映され、イベント演出などに活用できる。

ティザーから参加申込み、オンライン視聴、フィジカルイベントでのチケット管理までカバーするイベントプラットフォーム・サービス。

イベントサイトの作成からメール送付まで一括で管理できる。

夏と秋ごとにさらにアップデートされていくという。