Coded ToF imaging through scattering media
散乱媒質を透視する符号化ToFイメージング
霧や煙、生体組織など光が強く散乱する媒質を越えて物体を捉えるための、Time-of-Flight センサと時間符号化照明、深層展開再構成を組み合わせた計算イメージングプロジェクト。
A computational imaging project that combines Time-of-Flight sensing, time-coded illumination, and deep-unrolling reconstruction to see through strongly scattering media — fog, smoke, and biological tissue.
Fig. — ティザー画像(差し替え予定)
Fig. — Teaser image (placeholder)
霧・煙・生体組織のような強散乱媒質を越えて物体を撮像することは、産業検査から自律運転、医用画像、災害対応まで幅広い応用をもつ。しかし散乱光は物体からの直接反射光を時間的・空間的に攪乱するため、従来のRGBカメラでは信号を復元することが難しい。
本プロジェクトは、Time-of-Flight (ToF) センサに時間符号化照明を組み合わせ、散乱成分と直接反射成分を時間領域で分離することで、散乱媒質越しの形状と反射率の同時推定を実現する。
Seeing through strongly scattering media such as fog, smoke, and biological tissue underpins applications ranging from industrial inspection to autonomous driving, medical imaging, and disaster response. Scattered light, however, corrupts direct object signals in both space and time — making reconstruction from standard RGB cameras extremely challenging.
This project combines a Time-of-Flight (ToF) sensor with time-coded illumination to separate scattered and direct-reflection components in the time domain, enabling joint estimation of shape and reflectance through scattering media.
従来の連続波ToF計測は単一の変調周期のみを用いるため、散乱光と物体光の分離が本質的に困難であった。本プロジェクトでは広帯域のM系列による照明変調を導入し、センサ側で散乱成分と直接反射成分を時間領域で分離する。
さらに、分離後の観測値を入力とする深層展開ネットワークにより、従来の逐次反復法では表現しきれなかった非線形散乱モデルを学習し、形状・反射率を同時復元する。
Conventional continuous-wave ToF uses a single modulation period and cannot inherently disentangle direct and scattered light. We introduce wideband M-sequence illumination and separate the scattered and direct components in the time domain at the sensor.
A deep unrolling network takes the separated measurements as input and learns the nonlinear scattering model — one that iterative reconstruction cannot capture — to recover shape and reflectance jointly.
Fig. 2 — 計測パイプライン(差し替え予定)
Fig. 2 — Measurement pipeline (placeholder)
霧を模擬した散乱槽実験において、透過率 T ≈ 0.1 の濃霧条件下でも 5 mm 精度での形状復元を達成した。現在は屋外シーンへの適用と、ロボット視覚・非侵襲医用画像への拡張を進めている。
In fog-emulating scattering-tank experiments, our method achieves 5 mm shape-reconstruction accuracy under dense fog (transmittance T ≈ 0.1). We are extending the approach to outdoor scenes and to applications in robot vision and non-invasive medical imaging.
進行中・過去のプロジェクト一覧へ。
Back to the full list of ongoing and past projects.