GoogleとMITが共同でとんでもない技術が開発中らしいです。
ガラスの写り込みや柵や金網など手前にある邪魔な被写体をほぼ完全に除去できる恐るべき技術です。



公開された映像をみると、写り込みの激しい窓ガラスの前でカメラを動かしながら複数枚の写真を撮影し、手前にある被写体や写り込みを解析し消去しているようです。

カメラを動かすことによって手前にある被写体は大きく移動します。その差異を利用してガラスの写り込みや柵などを認識し奥側の背景だけを切り取っているようです。


手間をかければPhotoshopでも似たようなことは可能かと思いますが、今回公開された技術はスマートフォンなどに将来搭載されることも予想されるもの。これがスマフォに搭載されるとなると本当に画期的なことですね。

高層ビルやタワーなどに上がって景色を撮影した時に写り込みで悩んでいる方もこの技術がスマートフォンに搭載されれば高層ビルの展望台からの撮影も写り込みを気にすること無く楽しめるかもしれません。

カメラマンの多くはガラスの写り込みを極限まで少なくするためにレンズにゴムラバーのフードを付けてガラスに隙間なくピッタリと密着させて撮影したり冠布と呼ばれる黒い布などで外光をシャットアウトして写り込みを無くしたりしています。
ただ普通の方はそんな方法は面倒でやりませんよね。

今まで非常に手間のかかったガラス越しの撮影や手前の柵対策が誰でも簡単に出来るとなれば・・・。
どこまで最新の技術は凄いんだか^^;

下の画像はそれぞれシチュエーション別の除去事例
・金網
・ガラスに書かれた落書き
・水滴の付いたガラス


一番右の画像が除去された画像を抽出したもの。ガラス面に書かれた薄い2015の数字もハッキリと認識しています。
この技術、カメラの動かし方や合成後のシャープさや解像力に課題が残る部分はあると思いますが、本当に凄い。

詳細な論文や公開されているコードなどを参照されたい方は以下のリンクからどうぞ

https://alex04072000.github.io/ObstructionRemoval/

またチョット興味のある方は以下の動画からどうぞ。