エンジニア視点での学習シミュレーター開発の難しさ

石井：AI学習シミュレーターが最近いくつか出ています。我々が作っているバーチャルヒューマンエージェントもそうですが、AIは様々な状況を学習する必要があります。現実世界で的確に学習もテストできるに越したことはないですが、学習すべき色々な状況をすべて作るのは非常に難しい。例えば渋谷の街を自動運転車のAIに学習させようとした場合、そこで起きうる全ての状況を実際に作り出してカメラで撮ることはできないわけです。そういう意味で学習シミュレーターのニーズは上がってきています。

学習シミュレーターを適切に作ることができれば、学習データを無限に作ることができます。さらに、これが人であるとか、車であるというような、アノテーション作業も自動化できます。そして、あらゆる状況を作り出すことができます。天気は雨だったり、風だったり雪が降っていたり、あるいは渋滞だったり、人が多かったり少なかったりとかですね。

クーガーもバーチャルヒューマンエージェントの学習をさせるという点から、これまで学習シミュレーターの開発をやってきました。染谷くんはまさにその一員でしたが、学習データ作りで大変だった点はなんですか。

染谷：まず、それが本当に人に見えるかどうかですね。シミュレーターなので、人に見えて当たり前なのですが一番大変でした。

石井：人から見て「人に見えるか」という話だけでなく、学習するAIから見て、本物の人と差がないかという点ですか。

染谷：そうですね。例えばCGで作るとどれも表情が似た感じになるがそれでいいのか、同じ表情でも数があれば精度が上がるのか、微妙に変えた方が精度が上がるのか、とかですね。

しかも、一度学習させないとどれが良いか分からないので。服は一緒がいいのか、色を変えればいいのか、サイズ感を変えればいいのかなど、本当に色々なパターンがあります。もちろん、あらゆるパターンを作れたら楽ですが、そう簡単には作れないので、どこまでやるかの見極めが本当に大変でしたね。

石井：モーションもですよね。あとは、持っている荷物や、何かを持っているときの体の姿勢とか。

染谷：はい。一番大変なのは、やっぱり人に関するモデリング、調整が大変ですね。

ライティング、モーション、サイズ感。どこまで作り込むべきか

石井：なんらか基準にしたこと、気をつけたことはありますか。

染谷：ライティングですかね。影を入れないとノッペリするので。あとは人が複数いる場合のサイズ感ですね。2次元の背景画像に3次元のモデルを入れるというチャレンジをしたので、モデルを背景に違和感なく馴染ませるのが大変でしたね。

石井：背景を2次元にすることで、特定の場所でのいろいろな状況が作りやすくなるということですよね。例えば学習する側が移動していることもあるので、その場合はカメラを移動させながら、かつ人の行動もその移動に対してどう動くかみたいなこともやっている。そんな感じでしょうか。

染谷：そうですね。その現場が完全再現できればいいですが、色々なパターンが必要なので、そこまではできないので。

石井：実際、人間がどうなるかがわからない、その状況を実際には作り出せないからシミュレーターを作っているということですね。

染谷：そうですね。大量の人間がいるような状況を実際に作るのは難しいですし、著作権の問題もあるので、そういう点でシミュレーターは良いと思います。

石井：どうしてもうまくいかなかったことはありますか？

染谷：モーションは特に不満でした。十分な数を用意できなかったので。動かすとどうしても同じような姿勢になったりだとか。

石井：なるほど。実際の人間のモーションは、リアルタイムで判断するので同じ動きにはならないわけですが、シミュレーター上はどうしても毎回完全に変えるのは難しいですよね。

僕らの場合、人間にフォーカスしたシミュレーターでしたが、建物などの街自体にも部分的に取り組みました。人間以外の部分で、大変だったことはありますか？

染谷：街づくりにも気を遣いました。信号のサイズ感とか位置とか。「シムシティ」を作るような感じですね。

石井：オープンワールドのゲームを1つ作るような感じですね。

染谷：そうです。そこまでの経験はなかったので、本当にこういうサイズでいいのかとか、苦労しましたね。あとは、衝突判定も考慮しないといけないのも大変でしたね。

石井：詳細に作るほど、細かいところの違和感が逆に目立っていくこともありますね。しかも、詳細なオープンワールドの街を作ったとして、精度向上にどれだけ効くのかは作ってみないと分からない。そういったジレンマがありますね。

リアル VS フェイクから、リアルとフェイクの協働へ。

石井：CGで作ることで、実際の学習データとはちょっと違うとか、劣ってしまうことはありますか。

染谷：実写と比べて、揺らぎみたいなものが少ないですよね。CGでも少しは出せるのですが。

石井：なるほど。僕も思っていたのですが、いわゆる人型のモデリングツールなどでも、結局そのツールの“癖”があって、その癖の中で顔ができるみたいなところがあるなと。それに対して、地球上の人間はそういった癖がないので、CGだとその癖との闘いみたいなところはあるでしょうね。

染谷：あとは撮ったカメラによって出てくる映像が違うので。暗かったり、明るかったり、ノイズが多かったり、クリアだったり、色々と差があるので、そういった揺らぎの対応も大変でした。ノイズを入れてみたり、ぼかしてみたり、かなりトライしました。

石井：それに対して、点群データを使った場合は、CGと実写の見た目の差はなくなります。我々もLIDARを使って試しました。ただ、点群は点群で、見た目の学習ができないことに限界があるというか。ロボティクスは、見た目での学習が非常に重要だと思います。点群だけですと、分からないことが多すぎるので。

今、画像生成AIが流行っていますが、これを学習シュミレーターに拡張したらどうなると思いますか。

We Are Hiring!

クーガーは自律的で大胆なチャレンジを支援し、それぞれの個性を生かした技術と創造性の追求ができる場を目指しています。

ぜひ採用ページからエントリーください。カジュアル面談も実施しています！