NeRF 3Dの使い方｜撮影・学習・閲覧までの実践手順

NeRFを使う作業は、学習ボタンを押すところから始まりません。どの範囲を、どの視点から見せたいかを決め、カメラ位置を求められる画像を撮ることが先です。

NeRFは、空間の位置と見る方向から色と密度を返す関数を、シーンごとに学習します。完成後は未撮影の視点を表示できますが、撮影範囲の外や隠れた面を正しく再現できるとは限りません。

この記事では、NeRF 3Dを使う一連の手順を、目的設定、撮影、前処理、学習、評価、共有の順で説明します。

執筆: bestat 編集部

NeRFを使う全体の流れ

NeRFの基本工程は、複数画像と各画像のカメラ姿勢を用意し、撮影画像に近い見え方を生成するようシーン表現を学習することです。完成後は、新しいカメラ位置を与えて画像や移動映像を作ります。

作業は次の順に進めます。

1. 完成後に見せたい範囲とカメラ経路を決めます。

2. 対象を多方向から、画像どうしが重なるように撮ります。

3. 画像を選別し、カメラ姿勢を推定します。

4. 学習用と評価用の画像を分けます。

5. シーンごとにNeRFを学習します。

6. 未使用画像と新しい視点で結果を確認します。

7. 学習済みデータ、ビューア、利用条件をまとめて共有します。

NeRF原論文は、既知のカメラ姿勢を持つ複数画像から、連続したシーン表現を学習して新規視点を合成しました。利用するツールが変わっても、画像、カメラ姿勢、学習、レンダリングという関係は共通します。

目的と評価する視点を決める

最初に、成果物を静止画、動画、対話型ビューアのどれで使うかを決めます。同じ撮影でも、必要な視点の範囲が異なるためです。

ここで「計測」や「CAD編集」が目的に含まれる場合は、別の成果物も検討します。NeRFの中心は新規視点合成です。面の境界、部品属性、実寸の基準、座標精度が自動でそろうわけではありません。

評価用の視点は撮影前に決めます。入口から対象へ近づく経路、物体の背面、床に近い高さなど、実際に使う場面を代表する視点を数個選びます。完成後に同じ経路を再生できるよう、位置と向きを保存します。

写真または動画を撮る

NeRFの品質は、同じ場所が異なる方向から十分に写っているかで変わります。カメラ姿勢を安定して求め、視点の間を学習できる撮影を行います。

重なりを保って移動する

隣り合う写真では、画面の大部分に同じ壁、物体、模様が残るようにします。カメラを大きく移動してから向きを変えると、前後の画像で共通点が減り、位置推定が途切れやすくなります。

物体を撮る場合は、同じ高さの一周に加え、上側と下側も撮ります。室内では、壁沿いの経路だけでなく、中央の物を反対側から見る経路を加えます。視点を増やす目的は枚数を満たすことではなく、隠れた面を減らすことです。

ぶれと状態変化を減らす

• ゆっくり移動し、動体ぶれを抑えます

• 露出とホワイトバランスの急変を避けます

• 人、車、扉、カーテンなどが撮影中に動かない状態を選びます

• 鏡、透明物、強い反射面だけで画面が埋まらない角度を含めます

• 単色の壁では、周辺の角や模様も一緒に写します

動画を使う場合、すべてのフレームを学習へ入れる必要はありません。似たフレームが過度に続くと処理量だけが増えます。ぶれた区間を除き、視点が滑らかにつながる間隔でフレームを選びます。

画像とカメラ姿勢を準備する

独自撮影のNeRFでは、各画像にカメラの位置と向きが必要です。Nerfstudioの公式文書は、画像や動画を独自データとして処理する際にCOLMAPを利用し、各画像のカメラ姿勢を求める流れを示しています（Using custom data）。

前処理後は次を確認します。

• 採用した画像の大半が登録されているか

• 推定カメラが実際の撮影順に近く並んでいるか

• カメラの向きが対象へ向いているか

• 遠くへ飛んだカメラや点がないか

• 必要な範囲にカメラが配置されているか

座標軸の向きや単位は、実装によって異なります。Nerfstudioのデータ規約も、OpenGL系とCOLMAP/OpenCV系で軸の向きが異なることを説明しています。別のツールへデータを渡す場合は、形式名だけでなく、上方向、前方向、縮尺を確認します。

学習結果を評価するため、画像の一部を学習へ入れずに残します。未使用画像の位置からNeRFを描画すると、学習画像を再現しただけでは分からない視点合成の品質を比較できます。

NeRFを学習する

NeRFは、カメラから伸ばした光線上の位置をサンプリングし、ニューラルネットワークが返す密度と色を積み重ねて画素を作ります。生成した画像と撮影画像の差が小さくなるよう、シーンごとに学習します。

ツールを選ぶときは、名称より次の条件を確認します。

• 手元のGPUやクラウド環境で実行できるか

• 画像とカメラ姿勢を取り込めるか

• 評価用画像を分けられるか

• 学習途中と終了後のカメラ経路を保存できるか

• 目的のビューアや動画形式へ出力できるか

• データを外部へ送る場合、権利と機密の条件を満たすか

Nerfstudioの公式手順は、独自データを処理した後にNeRFモデルを学習し、ビューアで確認する流れを示しています（Training your first model）。ただし、必要時間と使用メモリは実装、画像数、解像度、設定、GPUで変わります。特定の処理時間をNeRF全体の基準にはできません。

学習中に見る画像は、固定した同じ視点を使います。設定ごとに違う場所だけを見ると、改善か偶然かを比較できません。正面、背面、近接、反射面、撮影経路の中間を含めます。

学習結果を評価する

評価では、学習に使った画像を再現できるか、新しい視点でも構造と見え方を保てるかを分けます。

未使用画像と比較する

評価用に残した写真と同じカメラ位置から画像を生成し、輪郭、色、細い部分、隠れ方を比較します。画像指標を計算する場合も、用途上重要な部分を拡大して目視します。

視点の間を移動する

撮影カメラの位置だけでなく、その中間を連続して移動します。輪郭が急に変形する、背景が手前へ浮く、物の境界が溶ける場合は、撮影間隔やカメラ姿勢を確認します。

撮影範囲の外へ出て限界を知る

NeRFは、撮影したカメラ群に近い範囲で評価します。範囲の外へ大きく出ると、写っていない面を推定する手掛かりがありません。どこまで移動すると破綻するかを把握し、ビューアの移動範囲を必要に応じて制限します。

位置関係と計測を別に確かめる

見た目が自然でも、現実の寸法と一致するとは限りません。距離表示を使う場合は、実寸の基準を与え、既知の距離を複数箇所で比較します。測量、検査、組み付け判断に使うなら、用途が求める精度と検証方法を別に定めます。

結果を共有・保存する

NeRFは、一般的な3Dメッシュのように、どのソフトでも同じ形で開けるとは限りません。学習済みデータと、それを描画する実装やビューアが組になっています。

共有時は次をまとめます。

• 使用するビューアと対応する版

• 学習済みデータと必要な設定

• 閲覧を想定する端末と操作範囲

• 撮影日、対象範囲、除外した場所

• 実寸の基準を設定したか

• 計測、編集、再配布を許可するか

• 元画像とカメラ姿勢の保存場所

動画だけを納品する場合は、NeRFそのものを操作できません。対話型の確認が目的なら、閲覧者の端末で動くこと、ネットワーク条件、アクセス権、保存期間も検収項目に含めます。

失敗を切り分ける

NeRFの崩れは、撮影、カメラ姿勢、学習、表示のどこでも発生します。症状から戻る場所を決めます。

最初の試作では、対象を一室、一つの物体、一つの経路へ絞ります。小さい範囲で入力から表示までを確かめてから拡張すると、原因の位置を保ったまま改善できます。

よくある質問

NeRFは無料で使えますか

研究用の公開実装はありますが、必要なGPU、保存領域、クラウド、ビューア、運用支援には別の費用が生じる場合があります。ライセンスと実行環境を含めて確認します。

写真と動画はどちらが向きますか

止まって鮮明な画像を撮れるなら写真、滑らかに経路をつなぎたいなら動画が扱いやすい傾向があります。動画でもぶれたフレームを除き、必要な間隔で画像を選ぶため、撮影品質が不要になるわけではありません。

NeRFをメッシュへ変換できますか

変換機能を持つ研究やツールはあります。ただし、見え方を学習した表現から面を推定するため、穴、薄い物、隠れた面、縮尺を確認する必要があります。CADで編集できるソリッドが自動で得られるとは限りません。

3DGSとどちらを使えばよいですか

どちらも新規視点合成に使えます。表示速度、学習環境、編集や圧縮の必要性、利用するビューアで選びます。同じ撮影データから両方を試せる環境なら、重要な視点と実際の端末で比較します。

まとめ

• NeRFは、用途と評価視点を決め、重なりのある画像を撮り、カメラ姿勢を求めてから学習します。

• 学習画像だけでなく、未使用画像、撮影位置の間、撮影範囲の端で品質を確認します。

• 写っていない面、動いた物、強い反射、重なり不足は、学習設定だけでは直せない場合があります。

• 学習済みデータには、再生する実装、版、操作範囲、撮影条件を添えて共有します。

• 見た目の再現、実寸の計測、CAD編集は別の要件として検証します。

画像・動画・点群から3Dデータを生成・処理する方法を含め、3D.Core のサービス紹介資料をダウンロードできます。

→ 資料ダウンロード

bestat 編集部について

bestat株式会社は、東京大学 松尾研究室発の産業用3Dデータに特化したAIスタートアップです。製造業・インフラ・土木の現場で、画像・動画・点群・360度動画などから3Dデータを生成・処理・活用する「3D.Core」シリーズを開発・提供しています。

https://bestat-data.com/3dcore

参考文献

• Ben Mildenhallほか「NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis」ECCV 2020

• NeRF Project「NeRF: Neural Radiance Fields」

• Nerfstudio「Using custom data」

• Nerfstudio「Data conventions」

• Nerfstudio「Training your first model」