Vision AIの仕組み

すべてのGraffity体験は、同じ4段階のSpatial AIパイプライン上で動作しています。空間を普通の動画として一度録画し、Vision AIが3D PointCloudに再構築し、コンテンツでアノテーションしたうえで、Visual Positioning Systemに現在地を問い合わせるデバイスへ配信します。GPSもビーコンも、壁のQRマーカーも、施設ごとのハードウェア設置も必要ありません。

オペレーターがスマートフォンのGraffity Scannerを使い、壁面やランドマークにカメラを向けながら空間を歩いて、録画をアップロードします。キャプチャは、あえてパイプラインの中で最も低コストな工程にしています。必要なのは一般的なスマートフォンとウォークスルーだけで、測量チームや三脚に据えた機材は必要ありません。

アップロードされたフレームは当社のMLクラスターに送られ、施設の高密度な3D PointCloudに再構築されます。パイプラインは施設ごとの手作業ではなく本番運用に対応しているため、スキャン映像を追加するだけでカバー範囲が広がります。新しいモールやキャンパスの追加は、エンジニアリングプロジェクトではなくスキャン作業です。

完成したPointCloudはGraffity Consoleで開かれ、クリエイターはPOIやアンカーを3Dジオメトリ上に直接配置し、プロジェクトを管理し、チームで共同作業します。作業中のデザインは、Consoleに表示されたQRコードをGraffity Viewerでスキャンすれば現地で確認できるため、公開前に実際の空間で検証できます。

実行時には、Visual Positioning Systemがデバイスのカメラ映像を保存済みのPointCloudと照合し、その姿勢を6自由度で返します。リクエストはHTTP/2でストリーミングされるため、ライブセッション中に繰り返される位置推定の呼び出しは、待ち行列に入らずひとつの接続を共有します。ルート、ラベル、コンテンツは配置したとおりの場所に表示されます。このセンチメートル級の測位は、ロボットや自律型機械が道を見つけるためにも必要なものです。だからこそ私たちは、このスタックをPhysical AIに向けて発展させています。