動機

VHA(LLM)が、プロンプトだけではなく、もっと外界(物理空間)の情報を取得できると
何か色々できそうだなーと思い、外界の情報を取得できそうな技術を調査することにした。

経緯

2022年の年末あたりに画像生成AIをやりまくっていたときに、X(Twitter)のTLでカメラで撮影した画像から3Dモデルを作ってるようなデモが流れまくっていたときがあった。
その時は画像生成(Stable Diffusion)の方にハマりまくっていたので、あとで見ようと思って忘れていたがMediaPipeなどのAR/VR系の技術を触っていた時に、ふと思い出して、何だったのか調べてみたところ、NeRFという技術だということがわかった。

*NeRF (Neural Radiance Fields)
カルフォルニア大学の研究員が2020年3月に発表された新しい技術で、ニューラルネットワークを使用して、複数の写真から3Dシーンを生成する技術

22年末あたりから論文がめちゃくちゃ出てて、Computer Vision界隈では大流行しているらしい。

ライティング、モーション、サイズ感。どこまで作り込むべきか

↑の動画によれば、2種類の使われ方があるようだ。詳細は動画の解説を参照。

・オフライン推定
       ◦以下のような状況でポーズと3Dシーン復元を同時最適化
                     -画像のみが与えられてポーズがない
                     -与えられた画像のポーズが真でない
        ◦BARF

・オンライン推定 (SLAM)
         ◦リアルタイムにカメラポーズとシーンの3D形状を推定
         ◦NICE-SLAM

サービス

話題になってから半年以上経っているので、すでにサービスがたくさん出ていた。一番良く見るのはhttps://apps.apple.com/in/app/luma-3d-capture/id1615849914、あと3Dpresso もたまに見る。

iOSのアプリもたくさん出ていて、LumaAIもiOSアプリがあり、他の人がスキャンしたものが見れる。

いくつか触ってみた感じ、Scaniverseというアプリがとても良かった。スキャンするときのUI/UXが優れている。Luma AIのように他の人のスキャンしたものは見れないが、FBXなどの形式でエクスポートする機能もあるのでサクッと試せて良い。

何か作ってみる

Scaniverseでスキャンしてみた。

もっと複雑な形状のものをスキャンしたかったが、フィギュアなどを持っていなかった。自分をスキャンしたかったが、撮影してくれる人がいなかった・・・部屋の中とかもスキャンできた。

UnityにFBXをインポートするとマテリアルが正常に表示されないが、FBXを選択 > Materials > Extract Materials > FBXがあるフォルダを選択 で正常になる。

できた。現実の物体をこんなにお手軽に(+高速に)3Dモデルにできて、Unityに取り込めるなんてすごい。取り込んだだけなのに、たのしい。

何に使えるか考えてみる

めちゃくちゃ色々なことに使えそう。

・VHA視点で、エージェントが獲得できる情報は何だろう？
     ◦モデル : 物体の位置、形状、サイズなど
     ◦テクスチャ: 表面の色、材質、パターンなど
     ◦変化 : 一定の間隔でスキャンを繰り返すことで、モデル・テクスチャの変化がわかる

(1) 業務に使う

受付をやる時に、周囲の空間をスキャンして知っていれば、道案内ができそう。コンビニだったら、コーヒーマシンとかをスキャンしておけば、押すボタンがどこにあるか教えたりできそう。VRでレジ打ち、袋詰めトレーニングとか作れそう。3Dモデルの商品に物理エンジンつけて、弁当を縦に入れたりしたら注意される。あとは、お店のレイアウトをスキャン + 監視カメラの客の流れのデータとかで、導線最適化レイアウト提案とか。他の店舗のレイアウトを3Dで見れるようにするだけでも、店長に新たな発見があるかも。

(2) 情報伝達量の改善

言語や画像だけの情報伝達では欠落していた情報が得られるようになる。オンラインショッピングで、服とか家具とか3Dモデル見れるだけでかなり変わりそう。賃貸とかも実際に行く前に、とりあえずVRとかで見れたら探すの効率良くなりそう。すでに昔ながらのパノラマ映像があるサイトなどもあるが、撮影地点から動けないから、見やすくなりそう。

あと、説明書や組み立て方などを3Dモデルを使って説明するとか。家電とか家具を3Dスキャン + 説明書のPDFを読み込む、LangChain + オンライン推定で、カメラの映像を見ながらVHAがナビゲートしてくれるとか。結構現実的かも。

(3) 新たな知識の獲得

現実世界(物理世界)の理解(+想像力)のために重要な3つの潜在空間があると思っている。

①物体空間(3Dモデル)、②座標系空間(関節構造、ボーン・ジョイント)、③動き空間(アニメーション、モーション)。

これらの情報を補完しあって、現実世界の知識を獲得しているんじゃないかと思う。具体的に言うと、3Dモデルの時間的変化から、ボーン・ジョイントを推定したり、ジョイントの位置の時間的変化からアニメーション・モーションを獲得したり、アニメーションから3Dモデルの形状を推定したりという感じで。

NeRFのオンライン推定がまさにこれで、3Dモデルの変化からボーンの形状を推定して、集めたデータで3Dモデルの形状の静止画からボーンの推定が直接できるようなモデルを作れないかなー。これができれば、コーヒーカップの持つところにドアついてるような、世界にない道具でも初見で扱えるような知性が生まれるし、蝶と本などボーンの形状が近くにあるものを結びつけて、蝶のアニメーションを本に適用して本がパタパタ飛ぶみたいな創造力が生まれるはず！

We Are Hiring!

クーガーは自律的で大胆なチャレンジを支援し、それぞれの個性を生かした技術と創造性の追求ができる場を目指しています。

ぜひ採用ページからエントリーください。カジュアル面談も実施しています！