3DGSとは｜写真から3D空間を作る仕組みをやさしく解説

3DGS(3Dガウシアンスプラッティング)は、複数の写真や動画から、実際には撮影していない視点の画像を作る技術です。処理した空間をビューアで開くと、実写に近い見た目を保ちながら視点を滑らかに動かせます。

本記事では、3DGSの仕組み、写真から作る流れ、NeRFや点群との違い、向く用途と限界を図で説明します。

執筆: bestat 編集部

3DGSとは

3DGSは、写真に写った場所や物を、別のカメラ位置から自然に見せるための技術です。2023年のSIGGRAPHで発表されました（3DGS原論文）。

正式名称は3D Gaussian Splatting（3Dガウシアンスプラッティング）です。

目的は「新規視点合成」です。たとえば室内をスマートフォンで一周しながら撮ると、処理後は撮影位置の間からも室内を見回せます。商品を多方向から撮れば、角度を変えながら眺められる表示を作れます。

「写真から作る3Dモデル」と呼ばれますが、CADや3DCGのポリゴンモデルとは中身が違います。3DGSの主役は頂点と面ではなく、位置や色を持った粒です。

ガウスの粒で空間を表す

3DGSを構成する1つの粒は、単なる点ではありません。原論文では、位置、共分散、不透明度などを持つ3Dガウシアンとして説明されています。

それぞれの値は次の役割を持ちます。

• 位置：粒の中心を空間のどこに置くか

• 大きさと向き：どちらへ、どれくらい広がるか

• 不透明度：粒をどれくらい濃く見せるか

• 色：見る方向に応じて、どの色に見えるか

粒は球形とは限りません。平たく広がったり、細長く伸びたりします。壁には薄く広い粒、椅子の脚には細長い粒を置くように、形と見え方に合う状態へ調整されます。

点群の点には基本的に大きさがありませんが、3DGSの粒には広がりがあります。半透明の粒が重なることで隙間が埋まり、連続した面のように見えます。滑らかに見える理由は、ポリゴンの面を張っているからではなく、粒のにじみを重ねているからです。

画像を表示する仕組み

ビューアで3DGSを表示するときは、カメラから見える粒を画面へ投影します。空間中では立体的な粒が、画面上では楕円状の跡になります。この跡を奥から手前へ並べ、透明度を考慮しながら色を重ねます。

原論文は、異方性の3Dガウシアンと、見える粒を効率よく処理する描画方法を組み合わせています。評価データ上では、1080pで毎秒30フレーム以上のリアルタイム表示を報告しました。

この数字は原著者の実装と評価条件によるものです。実際の速度は、粒の数、画面解像度、GPU、ビューア、圧縮方法で変わります。「3DGSならどの端末でも軽い」という意味ではありません。

写真から3DGSを作る流れ

作成は、撮影、カメラ位置の推定、粒の配置と最適化、表示の順に進みます。

撮影する。 対象を多方向から、写真どうしが大きく重なるように撮ります。動画を使う場合も、内部では取り出した多数のフレームを画像として扱います。

カメラ位置と疎な点を求める。 原論文の3DGSは、SfM（Structure from Motion）で得たカメラ情報と疎な点群を出発点にします。原著者の公式実装も、COLMAP形式の入力を扱います。

粒を調整する。 疎な点をもとに3Dガウシアンを置き、現在の3DGSから描画した画像と撮影写真を比べます。差が小さくなるように、粒の位置、大きさ、向き、不透明度、色を更新します。表現が足りない場所では粒を増やし、不要な粒は減らします。

ビューアで表示する。 最適化した粒の集合を読み込み、指定したカメラ位置から画像を描画します。3DGS専用のビューアや対応サービスが必要です。

撮影のコツ

3DGSも、入力写真に写っていないものは正しく作れません。処理を始める前の撮影が品質を左右します。

• 隣り合う写真を大きく重ねる

• 対象の周囲を回り込み、裏側と物陰を減らす

• ぶれとピンぼけを避ける

• 露出とホワイトバランスを大きく変えない

• 撮影中に動く人、車、扉などを減らす

• 鏡、透明物、強い反射面は難しいと見込む

写真ごとに対象の位置が変わると、同じ空間に複数の状態が混ざります。人の輪郭が伸びる、物が二重に見える、浮いた粒が現れるといった崩れにつながります。標準的な3DGSは静止シーンを前提とし、動くシーンには専用の派生手法が要ります。

NeRF・点群・メッシュとの違い

3DGSと近い言葉は、何を記録するかで分けると理解しやすくなります。

NeRFと3DGSの目的はよく似ています。NeRFは画素ごとに光線を伸ばし、光線上でニューラルネットワークへ何度も問い合わせます。3DGSは空間に置いた粒を画面へ投影して重ねます。標準的な手法どうしでは、この表現と描画の違いが3DGSの高速表示につながります。

点群と3DGSは、どちらも点のような要素を持ちます。ただし、点群の中心は座標であり、3DGSの中心は見え方です。3DGSにも3次元位置はありますが、写真と同じ画像になるように最適化された位置で、レーザースキャナーが距離を測った点とは出どころが違います。

メッシュは面のつながりを持ちます。3DGSにはCADのような面や部品構造がないため、面を選んで押し出す、穴の直径を指定して直すといった編集には、そのままでは使えません。

3DGSが向く用途

3DGSは、見た目を保ちながら視点を動かす用途に向きます。

• 建物や室内のバーチャルツアー

• 商品、展示物、文化財の多方向表示

• 撮影時の空間を関係者へ共有する記録

• VRやARで使う実写に近い空間

• 映像制作やゲームの背景素材

ブラウザやタブレットで滑らかに見せたい場合は、3DGSの描画速度が利点になります。ただし、データが大きいと読み込み時間や端末性能が問題になります。共有先で実際に使う端末と通信環境で確認します。

3DGSの限界

見た目が立体的でも、CADや測量のデータが自動で得られるわけではありません。

未撮影の場所は崩れます。 背面、物陰、狭い隙間など、写真の少ない範囲では粒が伸びたり、浮いたり、急に消えたりします。原論文も、十分に観測されていない範囲で細長い形や斑状のガウシアンが生じる場合を限界として挙げています。

精密な面を持ちません。 粒の重なりが面のように見えているため、輪郭のどこを測るかが一意に決まらない場所があります。メッシュへ変換しても、元の観測不足が自動で直るわけではありません。

寸法の根拠は別に要ります。 ビューアに計測機能があっても、その値を検査や設計へ使えるかは別の判断です。実寸の基準、カメラ位置の精度、撮影条件、既知寸法との比較で確かめます。

ファイルが大きくなることがあります。 景色を細かく表すほど粒が増えます。圧縮、不要範囲の削除、段階表示に対応するかは、使用する形式やビューアによって異なります。

よくある質問

3DGSはAIですか

写真と描画結果の差が小さくなるように粒を最適化するため、機械学習の技術として扱われます。ただし、標準的な3DGSのシーン表現そのものはNeRFのようなニューラルネットワークではなく、3Dガウシアンの集合です。

スマートフォンの動画から作れますか

対応するツールなら作れます。ゆっくり移動して対象を多方向から撮り、ぶれと動く物を減らします。360度カメラや魚眼カメラは、使用する実装によって歪み補正や画像の切り出しが必要です。

3DGSをメッシュに変換できますか

変換やメッシュ抽出を行う研究・ツールがあります。ただし、変換は形の根拠を増やす処理ではありません。3Dプリント、CAD、寸法確認へ使う場合は、穴、面の位置、縮尺を別に検証します。

3DGSのデータは何で開けますか

3DGSに対応した専用ビューアやウェブサービスで開きます。PLY形式がよく使われますが、圧縮形式や独自形式もあります。作成ツールの出力形式と、共有先のビューアが対応する形式を先に確認します。

まとめ

3DGSは、位置、大きさ、向き、不透明度、色を持つ半透明の粒で空間を表し、その粒を画面へ投影して新しい視点の画像を作ります。

理解のポイントは、点を面へ変換しているのではなく、広がりを持つ粒を重ねて面のように見せていることです。この仕組みによって実写に近い空間を滑らかに表示できます。

一方、粒の集合にはCADの面や部品構造がありません。閲覧と共有には向きますが、寸法を根拠にする用途では、点群、メッシュ、測量など別の幾何データと検証が要ります。先に「見せたいのか、測りたいのか」を決めると、3DGSを使う範囲が明確になります。

3D.Core のサービス紹介資料をダウンロードできます。→ 資料ダウンロード

bestat 編集部について

bestat株式会社は、東京大学 松尾研究室発の産業用3Dデータに特化したAIスタートアップです。製造業・インフラ・土木の現場で、画像・動画・点群・360度動画など、現実空間で取得される多様なデータを高精度に3D化し、取得・生成・処理・活用までを一気通貫して支援する「3D.Core」シリーズを開発・提供しています。 https://bestat-data.com/3dcore

参考文献

• Bernhard Kerblほか「3D Gaussian Splatting for Real-Time Radiance Field Rendering」ACM Transactions on Graphics 42(4) / SIGGRAPH 2023

• GraphDeco・Inria「gaussian-splatting — Original reference implementation」