SfMやSLAMでは、2次元点と3次元点の対応付けから、カメラパラメータ(透視投影変換行列)を求める必要があります。今回は、DLT (Direct Linear Transformation)を使った透視投影変換行列の導出法について書いてみます。
DLTの考え方はこの本に書いてあります(英語です)。
やりたいこと
ある画像の特徴点の2次元座標と、その特徴点の世界座標(3次元座標)がわかっているものとします。このとき、この世界座標点は透視投影変換を経て画像上に投影されているはずです。
この透視投影変換行列を導出したいのです。
![](https://i2.wp.com/mem-archive.com/wp-content/uploads/2019/03/perspective5.jpg?fit=1024%2C356&ssl=1)
透視投影変換とはそもそも何者かわからない人は、こちらを参照ください。
DLTを使った透視投影変換行列の導出
さて、上の透視投影変換の式を展開するとこのようになります。
![](https://i0.wp.com/mem-archive.com/wp-content/uploads/2019/03/perspective2.jpg?resize=899%2C196&ssl=1)
さらに、この式を\(u,v\)についてまとめると、このように\(s\)を削除した形式にできます。
![](https://i0.wp.com/mem-archive.com/wp-content/uploads/2019/03/perspective4.jpg?resize=1008%2C360&ssl=1)
ここで、\(\boldsymbol{A,x}\)を次のように置いてみます。
![](https://i1.wp.com/mem-archive.com/wp-content/uploads/2019/03/dlt-1.jpg?fit=1024%2C157&ssl=1)
すると、(1)の式は
![](https://i0.wp.com/mem-archive.com/wp-content/uploads/2019/03/dlt2.jpg?resize=250%2C93&ssl=1)
という風に書き換えることができます。実際に式を展開してまとめると(1)と同じになるので、不安な人は試してみてください。
2次元点、3次元点の対応付けが複数わかっていれば、行列\(\boldsymbol{A}\)はこう書くことができるので、
![](https://i0.wp.com/mem-archive.com/wp-content/uploads/2019/03/dlt3-2.png?resize=935%2C210&ssl=1)
先ほどの式はこうなります。
![](https://i0.wp.com/mem-archive.com/wp-content/uploads/2019/03/dlt4.jpg?resize=352%2C117&ssl=1)
あとは、特異値分解とかを使ってこれを解いて\(\boldsymbol{x}\)を求めてやれば、透視投影変換行列を求めることができます。
なお、透視投影変換行列の自由度は12で、2次元点と3次元点の対応付け1つで2つの方程式を作ることができるので、透視投影変換行列をこの方法で導出するには、最低6つの2次元点、3次元点の対応付けが既知である必要があります。
コメント