德州仪器 DLP® 3D机器视觉技术研讨会(2)

接下來我们会介绍一下TI开发的 DLP 3-D视觉的一个reference 参考设计

TI它有很多很多参考设计 现在都放在我们的TI designs这样的网站上面

但是我们机器视觉的参考设计它可能已经有几年了

但它一直都是TI的TOP10 download

就是我们客户下载的次数是排到前十名的

这里给我们TI designs做个广告

过去你可能会在TI网站下载我们的EVM参考设计啊

现在我们把这当中比较好的参考设计

或者评估系统的设计放在我们TI designs里面

所以不光是DLP的产品

其他的产品如果你想去找参考设计

你可以到TI designs的folder下面去找

那它基本上会cover我们的评估系统设计的原理图

原始设计文件 它的BOMs 它的系统的框图

包括原始的设计文件和测试报告

那么通常也都是在某一个产品

或者某一个行业里比较资深的 技术上面比较资深的人

来开发的这样的一套设计的系统

那么它呢 不但cover DLP的产品

DLP应该是在过去两年可能开始往TI designs里面放

我们的一些比较好的参考设计

TI的比如说模拟器件

我们处理器的芯片等等产品

都有相应的参考设计在TI dedigns这个folder下面

那当然它也可以

这些disign也会涵盖各种各样不同的应用

车载啊 消费类啊 或者工业、医疗等等等等

所以不光是DLP 其他TI的产品 也可以在TI designs里面找到非常多的信息

尤其对DLP来说呢

这TI designs上面的整个的这一套评估系统的package

是你用来评估或者开发的一个起点吧

在TI的官网上 你怎么找到TI designs的这个folder

那我们这个标的的三维机器视觉的这个TI designs呢

它的名字 比较长的这样的一个名称

你可以搜索 或者是在网页上面游览可以找到相关的信息

其实现在就是想大家能够很快速地找到 这个机器视觉的TI designs的相关的文档

和设计文件

那我们希望这一整套的参考设计可以帮助我们的客户

加速利用DLP技术做机器视觉这样开发产品的周期

那么同时呢 如果你购买了TI的评估系统的话

你可以非常快地来评估这样的一个技术

或这样一个系统是不是符合你的要求

对 非常快地可以评估

因为我们整个软件的会包括一个可执行文件

可执行文件就是可以在命令函里面一执行

它就可以做很多事情

那所有的设计文件还有TI designer这个路径都在这个上面

那进到三维机器视觉的TI designs的folder以后

你可以获得这样的信息

你可以直接在你的电脑上安装相关的软件

那所有的硬件和软件的设计文件

包括BOM都在上面

所以在这个page上面你应该能够看得到

把SDK软件包下载下来以后

你可以把它extract 之后会有两个路径

一个路径是可执行文件 一个路径是原始代码

我们刚才有一段是关于TI designs的

我们希望各位都可以很快地在TI的网站上

可以找得到这些文件 也可以下载到这个文件

那这个部分我们会想要介绍一下

使用DLP的技术做三维机器视觉的系统

有哪些指标性需要考量的

那第一个就是我们DLP有很多chipset

刚才我们的同事他有介绍我们有34个芯片

那你要选择哪一个DLP的芯片 去做你的三维扫描或者三维建模呢

这个呢主要有两个比较重要的因素

第一个是你要扫描的物体的尺寸

你要扫描戒指还是要扫描人

人也还能扫描一个汽车

这个尺寸

还有呢 就是你要扫描这个物体

你希望它的XYZ的精度 精度是多少

这两个非常重要

因为你要想 这个物理的特性很重要

刚才我们谈到了尺寸 谈到了你要扫描的话

这个分辨率是怎么样的

那还有就是你这物体是不是很容易反射光

是那种闪闪发亮那样的表面的

还是它表面很暗的

那么如果你表面很暗 也许投影仪需要比较多的光照在它上面

如果你这个表面是很亮 那可能你投影机就不要给它推那么大的功率

让光少一点

那这个移动的物体 它对速度的要求非常高

这个可以想象的 是因为它需要一个非常快的器件

那静态的物体 可能这个扫描时间不是一个很重要的feature

可能你选择一个比较慢 就稍微慢一点就OK

那在生物领域或者医疗这个领域呢

往往会需要呢 就是这个non-visible

就是可见光意外的这种波长的光

比如紫外光 或者红外光

那透明的物体 是非常非常困难去做3D扫描的

因为你的光上去了 它就直接穿过去了嘛

那这种物体通常也会需要非可见光的波长

他说那个透明的物体 就是可见光就不管用了

但是有一些透明的物体 像刚刚说到的塑料

塑料表面很光滑 但实际上透明的

它可以使用一些IR不断的这种光线来做pattern

当然事情实行的设备的大小

也是你选择标的芯片组的一个考虑的因素

因为小的芯片做得比较便携

大的芯片你做得分辨率比较高

因为小的芯片上面晶体数目就少了嘛

那还就是你的扫描速度的要求

那一般来说 如果你使用二进制的结构的pattern的话

它DLP的部分不会是影响时间和速度的因素

通常都是因为camera

它的这个capture的时间 60帧或30帧的

是一个

但是一些非二进制的pattern

比如说三个相位的这种pattern

它有可能要这个速度是你要考虑的

And then last one is desired accuracy of the point cloud.

And we'll talk a little bit later about accuracy and density.

Because they're not the same.

Match density and point desity and the accuracy of each point are different.

那这是最后你产生的点源 每个点它的精确度是怎么样的

每个点的精度是怎么样的

这个也是很重要的

因为在点源上它有两个属性

一个是每个点它的XYZ 这个信息的准确度

还有就是同样的一个点源 它里面有多少个点

这是他所说的density 密度的信息

那这两个信息都是你要考虑的 你的需求是什么

可能你会需要选用不同的DLP芯片组

那这个点源到这个精度和密度通常由很多因素决定的

比如说相机分辨率 投影机的分辨率

相机跟投影机的距离 还有这个焦距

焦距的长短

还有你使用的这个结构 光的pattern是怎么样的

最后都会 可能会影响到你的精度和密度

这个很简单啊 这是扫描出来的XYZ的信息

XY这个精度 或者它的这个点的密度是由哪些因素决定

第一是你的视场的大小

那你视场越大肯定密度就下来了 或者精度就下降了

视场小的话 你的精度就会高

那相机跟投影机的分辨率

也是会影响到最后的这个点point in cloud它的精度

分辨率越高 可能精度就的越高

尤其是摄像机的分辨率 分辨率越高表示说你采集的点越多

那采集的点多 你这个点源里面密度可能会更高

但是点多呢 点多呢这个计算量也会更大

Z方向它的精度跟XY方向不一样的嘛

XY方向是您相机拍下来了

Z方向是深度 要计算的

那Z方向的信息呢 它跟这个摄像机的焦距有非常大的关系

或者投影机的焦距

这个焦距越长的话

相同距离它那个面积 投射的面积越小

这样的话呢 它的精度就会越高

还有就是你摄像机跟投影机之间的距离

距离越远的话 它最后Z方向的精度也会越高

目标体离投影机和相机的距离也会影响它的精度

那这个距离越远的话 精度越差

因为你这投影机离它越远 光的区域就越大

那么你照在这个物体上的点就越少 所以它的精度就会下降

那还有当然这个相机或投影机的分辨率越高

你最后的精度肯定越高的

这张图我们就想讲一下 这个系统对相机和投影机的分辨率的要求

在这个里面有一个比较重要的概念是说

投影机投射出来的画面跟摄像机看到的这个画面

它的这个视场有可能是不一样的

就像在这个例子当中

这个摄像机它是2048x2048的分辨率

但投影仪的分辨率是其中的一部分

就912x1440是错的

这是我们的DLP4500

它是912x1140的分辨率

所以它是相机视场的一部分

所以呢 其实第一个他刚刚没说

这根据Nyquist theorem这个采样定理

数字信号的采样一定要是原始信号的频率的两倍

所以这不管是在X方向还有Y方向

那么这个摄像机 它的分辨率都应该是投影仪的分辨率大的两倍

也就是总的分辨率是四倍

但是你不能够直接看它的指标

因为有可能你的摄像机不会全部被用上

就像这个这样刚说视场不一样

那你有一些区域就浪费的

所以它用到的部分的分辨率实际上是投影仪的四倍

对 那么像在这个例子当中呢

实际上我们虽然有2048 这横的方向

水平方向我们有2048个像素 对吧

它可能是912的两倍

就是我们好像是有2048 但是我只用了60%

所以它这个摄像机的横向分辨率有时候只有1128

那这个就是你会看到它这个摄像机的有效分辨率1128

它是这个投影机的水平分辨率的1.07倍

它是小于2的

这样的话呢 你的摄像机可能它的分辨率不够去捕捉到足够的信息

足够的投射出来的垂直信号

刚才说到这样的摄像机可能没有办法 去捕捉到投影机投出来的所有的像素点的信息

这个前提是说 投影机投的这个pattern 是一列像素点是黑 一列像素点是白

这样的话 就是它用一列的镜子来显示一个pattern

但现在如果你的滤镜已经固定的话

你的分辨率要求没有那么高

采那个pattern你可以用黑白两列的像素把它合并在一起

这样黑白黑白的pattern

这样的话 你这个系统就没有问题了

这个就是你最后你们相机它的这个捕捉到的点 是会投影机投射出来像素的四倍

摄像机的分辨率可能会比投影机的分辨率是四倍还高

那这种情况呢 会产生过采量的情况

过产量的话呢 就相当于是你有一个投影的像素点

但是你可能会采 就这边采了五个点

那像这一个点它的这个Y轴方向

它应该是一样的嘛 对吧

它应该是那个绿色的点来代表

可是呢 你是用三角的办法

你的每一个摄像机的这个

摄像机的每一个列它跟垂直的 这个projector的这个ray交叉的呢

会变成那个红的点

所以这个红的点的这个信息呢 是完全错误的

那它当然也会说 如果这个表面给它做一个rotate

做一个旋转

但仍然会找到比较错误的点的信息

如果你做了过采量的话

那么它有几种解决办法

其中它觉得比较有效的办法就是说

我可以在以这个扫描里面

采用两个方向的pattern

一个是水平方向 一个垂直方向

那实际上如果是你的投影机水平放置的话

你只要出现一条就OK了

如果你的投影机跟这个相机是垂直放的话

你只要横线就OK了

那这个呢 它就投射的pattern多了一些信息

那么不管是水平的这个pattern 还是垂直的pattern

最后都会被摄像机捕捉进来

那经过这个演算 那在所有的这个点里面会找到

就focus出来一个即符合水平又 符合垂直的这个pattern的这样一个点

把其他的点就丢掉了

那它因为要丢掉那些多余的点

所以你最后这个点与其他点的数目只会变少

这个点的数目就跟你投影机投下的 这个画面的像素点或它的分辨率是一致的

那如果你只选水平或垂直的pattern的话

这个就没办法了

这两张图就是可以看到 这个采用垂直和水平两个方向的pattern

然后再经过滤波以后的点源的样子 还有没有经过滤波的点源的样子

他刚刚有指到这边的长条这种呢

都是你捕捉的五个点

它对应的是投影的一个点

所以它也是长条的

所以你会看到这个点的这个密度大大地下降了

但是这个点的位置 它的精确度提高了

那如果你不愿意用两个方向的pattern

因为你想节省时间

而且你这个点源上面的密度

如果你用两个pattern 然后做filter的话

就是投影机的分辨率 那投影机的分辨率是摄相机的1/4

所以这个密度会较低

所以使用单个方向的pattern 它可以让点源的密度提高了

因为它可以不但是由投影机的分辨率决定

而且它会跟摄像机的分辨率有关

刚才那张图它本来就是一个比较平滑的表面

然后 一个没有filter定有filter的时候

它这个边缘的差别

那这张图我们是用一个方向的pattern

那你会看到平面上面它沿着投影机的射线 投影机的ray

方向上会有很多的点 这些点都是不对的

都是不准的

那你不想用两个方向的pattern 只用一个方向的pattern

但是你又不愿意看到这么多的不正确的点

你还是可以用这个平滑的算法

比方这边有3个点 那个1,1,2 中间那个点是不对的

它就会在1,2中间做一个像是低通滤波器一样的东西

沿着投影机的射线的那些点就会少一些

但是呢 因为你对整幅图像都做平滑算法

所以这个图像里面其他的有边缘的部分有可能会丢失一些信息

如果用这种平滑算法的话 有可能会丢失图样的细节

或一些边缘的部分

如果你这个物体本身就是一个非常平滑的表面

那你做这个平滑的算法没有问题

而且会把那些不正确的点都去掉

但是如果你的物体是 它是会有细节或是有边缘的话

有可能会把那个物体原本的特性也会丢失

这里面就会谈到说二进制的这个pattern

它对硬件系统的要求是有一定的要求

它的鲁棒性会有一些问题

它要求投影机和摄像机能够聚象聚得很好

所以每个像素都是清晰的

或者很清晰地能够捕捉进来

另外一种pattern 它叫phase shift的这个这种pattern

是用正旋波的这种方式

那它可能对光学系统的要求可能相对来说低一些

比如说 你的像素点不是特别的清楚

或者是你做了过采量

或者是我们的镜子是一种菱形形状的

这种情形下的phase shift pattern 它会比较有鲁棒性

那用这个Three Phase的这种pattern呢

它不会损失点源的密度

它可以呢 就是你原本的图像是两个点

它可以在这两个点的中间产生一个叫sub-pixels的这样的点

那么虽然这个phase shift的这种scan 或者说phase shift的pattern

它对像素的清晰度 或者说对光学系统的清晰度要求不是很高

但是 它比较容易受环境光的影响

因为它是依靠灰度信息来去识别每一个像素点的

那比如说 我们这个室内的光很有可能是60Hz 或者荧光灯一般都120Hz

那这些光都会在你最后生成点源的结果里面引入一些噪声

你看看它会有很多这个边缘

那接下来我们会讨论摄像机跟投影机的同步的问题

那这个也是会影响到你最后生成点源 或者3D机器视觉的性能

那他刚才有说什么圣诞老人

他是说这个理想的世界里面

这个投影机投射一幅画面的时间 和摄像机它去曝光的时间是完全一致的

但是实际上它这个里面一定一些时间差

你先我后

或者是一些delay

这是我们这套EVM的硬件系统

你会看到从摄像机到投影机 它是有一个cable的

那这个cable呢是同步信号的

那这个同步信号呢 那目前我们 采用的方式是让这个camera去发同位信号给投影机

这样呢 投影机显示画面的时间要比cable的曝光时间要短

这样呢 camera就可以确保它 可以捕捉投影机所投射出来的所有像素点

其实这些像素点都在上

就它可以确保捕捉到所有的pattern信息

如果你有delay的话呢 这个camera曝光了那么长时间

可能就丢掉了一些pattern的信息

尤其是像那种正旋波的这种相位的pattern的话

丢掉了以后你的重建会出非常大的问题

如果有做过这系统的话 过去掉这个系统是有投影机发一个触发信号给摄像机的

这样的话呢 有可能会导致我的投影机已经显示画面了

然后你的摄像机才开始去捕捉 可能会丢掉一些信息

如果是你用二进制的pattern 基本上没什么问题

但是如果你用这种灰度的 就是greyscale灰度的这种pattern

三个相位的话

就会有比较大的问题

刚才他的问题是说你另外做一个同步的电路

然后你给两个器件给摄像机同时同步信号

这个也有一些做过 但是你要考虑到这个摄像机它的delay

和投影机里面有个处理器 它这个delay时间有可能是不一样的

尤其是显示出的是不一样的

那当然这个投射它有说是不是所有的DLP都能支持这trigger

那我们的答案是所有ALC 用于工业控制的这种ALC的DLP器件

包括30004500、6500都可以支持由投影机去触发摄像机

或者摄像机触发投影机 你可以配置的

但是呢 其他的比如说显示什么 可能就不会支持了

接下來我们会介绍一下TI开发的 DLP 3-D视觉的一个reference 参考设计

TI它有很多很多参考设计 现在都放在我们的TI designs这样的网站上面

但是我们机器视觉的参考设计它可能已经有几年了

但它一直都是TI的TOP10 download

就是我们客户下载的次数是排到前十名的

这里给我们TI designs做个广告

过去你可能会在TI网站下载我们的EVM参考设计啊

现在我们把这当中比较好的参考设计

或者评估系统的设计放在我们TI designs里面

所以不光是DLP的产品

其他的产品如果你想去找参考设计

你可以到TI designs的folder下面去找

那它基本上会cover我们的评估系统设计的原理图

原始设计文件 它的BOMs 它的系统的框图

包括原始的设计文件和测试报告

那么通常也都是在某一个产品

或者某一个行业里比较资深的 技术上面比较资深的人

来开发的这样的一套设计的系统

那么它呢 不但cover DLP的产品

DLP应该是在过去两年可能开始往TI designs里面放

我们的一些比较好的参考设计

TI的比如说模拟器件

我们处理器的芯片等等产品

都有相应的参考设计在TI dedigns这个folder下面

那当然它也可以

这些disign也会涵盖各种各样不同的应用

车载啊 消费类啊 或者工业、医疗等等等等

所以不光是DLP 其他TI的产品 也可以在TI designs里面找到非常多的信息

尤其对DLP来说呢

这TI designs上面的整个的这一套评估系统的package

是你用来评估或者开发的一个起点吧

在TI的官网上 你怎么找到TI designs的这个folder

那我们这个标的的三维机器视觉的这个TI designs呢

它的名字 比较长的这样的一个名称

你可以搜索 或者是在网页上面游览可以找到相关的信息

其实现在就是想大家能够很快速地找到 这个机器视觉的TI designs的相关的文档

和设计文件

那我们希望这一整套的参考设计可以帮助我们的客户

加速利用DLP技术做机器视觉这样开发产品的周期

那么同时呢 如果你购买了TI的评估系统的话

你可以非常快地来评估这样的一个技术

或这样一个系统是不是符合你的要求

对 非常快地可以评估

因为我们整个软件的会包括一个可执行文件

可执行文件就是可以在命令函里面一执行

它就可以做很多事情

那所有的设计文件还有TI designer这个路径都在这个上面

那进到三维机器视觉的TI designs的folder以后

你可以获得这样的信息

你可以直接在你的电脑上安装相关的软件

那所有的硬件和软件的设计文件

包括BOM都在上面

所以在这个page上面你应该能够看得到

把SDK软件包下载下来以后

你可以把它extract 之后会有两个路径

一个路径是可执行文件 一个路径是原始代码

我们刚才有一段是关于TI designs的

我们希望各位都可以很快地在TI的网站上

可以找得到这些文件 也可以下载到这个文件

那这个部分我们会想要介绍一下

使用DLP的技术做三维机器视觉的系统

有哪些指标性需要考量的

那第一个就是我们DLP有很多chipset

刚才我们的同事他有介绍我们有34个芯片

那你要选择哪一个DLP的芯片 去做你的三维扫描或者三维建模呢

这个呢主要有两个比较重要的因素

第一个是你要扫描的物体的尺寸

你要扫描戒指还是要扫描人

人也还能扫描一个汽车

这个尺寸

还有呢 就是你要扫描这个物体

你希望它的XYZ的精度 精度是多少

这两个非常重要

因为你要想 这个物理的特性很重要

刚才我们谈到了尺寸 谈到了你要扫描的话

这个分辨率是怎么样的

那还有就是你这物体是不是很容易反射光

是那种闪闪发亮那样的表面的

还是它表面很暗的

那么如果你表面很暗 也许投影仪需要比较多的光照在它上面

如果你这个表面是很亮 那可能你投影机就不要给它推那么大的功率

让光少一点

那这个移动的物体 它对速度的要求非常高

这个可以想象的 是因为它需要一个非常快的器件

那静态的物体 可能这个扫描时间不是一个很重要的feature

可能你选择一个比较慢 就稍微慢一点就OK

那在生物领域或者医疗这个领域呢

往往会需要呢 就是这个non-visible

就是可见光意外的这种波长的光

比如紫外光 或者红外光

那透明的物体 是非常非常困难去做3D扫描的

因为你的光上去了 它就直接穿过去了嘛

那这种物体通常也会需要非可见光的波长

他说那个透明的物体 就是可见光就不管用了

但是有一些透明的物体 像刚刚说到的塑料

塑料表面很光滑 但实际上透明的

它可以使用一些IR不断的这种光线来做pattern

当然事情实行的设备的大小

也是你选择标的芯片组的一个考虑的因素

因为小的芯片做得比较便携

大的芯片你做得分辨率比较高

因为小的芯片上面晶体数目就少了嘛

那还就是你的扫描速度的要求

那一般来说 如果你使用二进制的结构的pattern的话

它DLP的部分不会是影响时间和速度的因素

通常都是因为camera

它的这个capture的时间 60帧或30帧的

是一个

但是一些非二进制的pattern

比如说三个相位的这种pattern

它有可能要这个速度是你要考虑的

And then last one is desired accuracy of the point cloud.

And we'll talk a little bit later about accuracy and density.

Because they're not the same.

Match density and point desity and the accuracy of each point are different.

那这是最后你产生的点源 每个点它的精确度是怎么样的

每个点的精度是怎么样的

这个也是很重要的

因为在点源上它有两个属性

一个是每个点它的XYZ 这个信息的准确度

还有就是同样的一个点源 它里面有多少个点

这是他所说的density 密度的信息

那这两个信息都是你要考虑的 你的需求是什么

可能你会需要选用不同的DLP芯片组

那这个点源到这个精度和密度通常由很多因素决定的

比如说相机分辨率 投影机的分辨率

相机跟投影机的距离 还有这个焦距

焦距的长短

还有你使用的这个结构 光的pattern是怎么样的

最后都会 可能会影响到你的精度和密度

这个很简单啊 这是扫描出来的XYZ的信息

XY这个精度 或者它的这个点的密度是由哪些因素决定

第一是你的视场的大小

那你视场越大肯定密度就下来了 或者精度就下降了

视场小的话 你的精度就会高

那相机跟投影机的分辨率

也是会影响到最后的这个点point in cloud它的精度

分辨率越高 可能精度就的越高

尤其是摄像机的分辨率 分辨率越高表示说你采集的点越多

那采集的点多 你这个点源里面密度可能会更高

但是点多呢 点多呢这个计算量也会更大

Z方向它的精度跟XY方向不一样的嘛

XY方向是您相机拍下来了

Z方向是深度 要计算的

那Z方向的信息呢 它跟这个摄像机的焦距有非常大的关系

或者投影机的焦距

这个焦距越长的话

相同距离它那个面积 投射的面积越小

这样的话呢 它的精度就会越高

还有就是你摄像机跟投影机之间的距离

距离越远的话 它最后Z方向的精度也会越高

目标体离投影机和相机的距离也会影响它的精度

那这个距离越远的话 精度越差

因为你这投影机离它越远 光的区域就越大

那么你照在这个物体上的点就越少 所以它的精度就会下降

那还有当然这个相机或投影机的分辨率越高

你最后的精度肯定越高的

这张图我们就想讲一下 这个系统对相机和投影机的分辨率的要求

在这个里面有一个比较重要的概念是说

投影机投射出来的画面跟摄像机看到的这个画面

它的这个视场有可能是不一样的

就像在这个例子当中

这个摄像机它是2048x2048的分辨率

但投影仪的分辨率是其中的一部分

就912x1440是错的

这是我们的DLP4500

它是912x1140的分辨率

所以它是相机视场的一部分

所以呢 其实第一个他刚刚没说

这根据Nyquist theorem这个采样定理

数字信号的采样一定要是原始信号的频率的两倍

所以这不管是在X方向还有Y方向

那么这个摄像机 它的分辨率都应该是投影仪的分辨率大的两倍

也就是总的分辨率是四倍

但是你不能够直接看它的指标

因为有可能你的摄像机不会全部被用上

就像这个这样刚说视场不一样

那你有一些区域就浪费的

所以它用到的部分的分辨率实际上是投影仪的四倍

对 那么像在这个例子当中呢

实际上我们虽然有2048 这横的方向

水平方向我们有2048个像素 对吧

它可能是912的两倍

就是我们好像是有2048 但是我只用了60%

所以它这个摄像机的横向分辨率有时候只有1128

那这个就是你会看到它这个摄像机的有效分辨率1128

它是这个投影机的水平分辨率的1.07倍

它是小于2的

这样的话呢 你的摄像机可能它的分辨率不够去捕捉到足够的信息

足够的投射出来的垂直信号

刚才说到这样的摄像机可能没有办法 去捕捉到投影机投出来的所有的像素点的信息

这个前提是说 投影机投的这个pattern 是一列像素点是黑 一列像素点是白

这样的话 就是它用一列的镜子来显示一个pattern

但现在如果你的滤镜已经固定的话

你的分辨率要求没有那么高

采那个pattern你可以用黑白两列的像素把它合并在一起

这样黑白黑白的pattern

这样的话 你这个系统就没有问题了

这个就是你最后你们相机它的这个捕捉到的点 是会投影机投射出来像素的四倍

摄像机的分辨率可能会比投影机的分辨率是四倍还高

那这种情况呢 会产生过采量的情况

过产量的话呢 就相当于是你有一个投影的像素点

但是你可能会采 就这边采了五个点

那像这一个点它的这个Y轴方向

它应该是一样的嘛 对吧

它应该是那个绿色的点来代表

可是呢 你是用三角的办法

你的每一个摄像机的这个

摄像机的每一个列它跟垂直的 这个projector的这个ray交叉的呢

会变成那个红的点

所以这个红的点的这个信息呢 是完全错误的

那它当然也会说 如果这个表面给它做一个rotate

做一个旋转

但仍然会找到比较错误的点的信息

如果你做了过采量的话

那么它有几种解决办法

其中它觉得比较有效的办法就是说

我可以在以这个扫描里面

采用两个方向的pattern

一个是水平方向 一个垂直方向

那实际上如果是你的投影机水平放置的话

你只要出现一条就OK了

如果你的投影机跟这个相机是垂直放的话

你只要横线就OK了

那这个呢 它就投射的pattern多了一些信息

那么不管是水平的这个pattern 还是垂直的pattern

最后都会被摄像机捕捉进来

那经过这个演算 那在所有的这个点里面会找到

就focus出来一个即符合水平又 符合垂直的这个pattern的这样一个点

把其他的点就丢掉了

那它因为要丢掉那些多余的点

所以你最后这个点与其他点的数目只会变少

这个点的数目就跟你投影机投下的 这个画面的像素点或它的分辨率是一致的

那如果你只选水平或垂直的pattern的话

这个就没办法了

这两张图就是可以看到 这个采用垂直和水平两个方向的pattern

然后再经过滤波以后的点源的样子 还有没有经过滤波的点源的样子

他刚刚有指到这边的长条这种呢

都是你捕捉的五个点

它对应的是投影的一个点

所以它也是长条的

所以你会看到这个点的这个密度大大地下降了

但是这个点的位置 它的精确度提高了

那如果你不愿意用两个方向的pattern

因为你想节省时间

而且你这个点源上面的密度

如果你用两个pattern 然后做filter的话

就是投影机的分辨率 那投影机的分辨率是摄相机的1/4

所以这个密度会较低

所以使用单个方向的pattern 它可以让点源的密度提高了

因为它可以不但是由投影机的分辨率决定

而且它会跟摄像机的分辨率有关

刚才那张图它本来就是一个比较平滑的表面

然后 一个没有filter定有filter的时候

它这个边缘的差别

那这张图我们是用一个方向的pattern

那你会看到平面上面它沿着投影机的射线 投影机的ray

方向上会有很多的点 这些点都是不对的

都是不准的

那你不想用两个方向的pattern 只用一个方向的pattern

但是你又不愿意看到这么多的不正确的点

你还是可以用这个平滑的算法

比方这边有3个点 那个1,1,2 中间那个点是不对的

它就会在1,2中间做一个像是低通滤波器一样的东西

沿着投影机的射线的那些点就会少一些

但是呢 因为你对整幅图像都做平滑算法

所以这个图像里面其他的有边缘的部分有可能会丢失一些信息

如果用这种平滑算法的话 有可能会丢失图样的细节

或一些边缘的部分

如果你这个物体本身就是一个非常平滑的表面

那你做这个平滑的算法没有问题

而且会把那些不正确的点都去掉

但是如果你的物体是 它是会有细节或是有边缘的话

有可能会把那个物体原本的特性也会丢失

这里面就会谈到说二进制的这个pattern

它对硬件系统的要求是有一定的要求

它的鲁棒性会有一些问题

它要求投影机和摄像机能够聚象聚得很好

所以每个像素都是清晰的

或者很清晰地能够捕捉进来

另外一种pattern 它叫phase shift的这个这种pattern

是用正旋波的这种方式

那它可能对光学系统的要求可能相对来说低一些

比如说 你的像素点不是特别的清楚

或者是你做了过采量

或者是我们的镜子是一种菱形形状的

这种情形下的phase shift pattern 它会比较有鲁棒性

那用这个Three Phase的这种pattern呢

它不会损失点源的密度

它可以呢 就是你原本的图像是两个点

它可以在这两个点的中间产生一个叫sub-pixels的这样的点

那么虽然这个phase shift的这种scan 或者说phase shift的pattern

它对像素的清晰度 或者说对光学系统的清晰度要求不是很高

但是 它比较容易受环境光的影响

因为它是依靠灰度信息来去识别每一个像素点的

那比如说 我们这个室内的光很有可能是60Hz 或者荧光灯一般都120Hz

那这些光都会在你最后生成点源的结果里面引入一些噪声

你看看它会有很多这个边缘

那接下来我们会讨论摄像机跟投影机的同步的问题

那这个也是会影响到你最后生成点源 或者3D机器视觉的性能

那他刚才有说什么圣诞老人

他是说这个理想的世界里面

这个投影机投射一幅画面的时间 和摄像机它去曝光的时间是完全一致的

但是实际上它这个里面一定一些时间差

你先我后

或者是一些delay

这是我们这套EVM的硬件系统

你会看到从摄像机到投影机 它是有一个cable的

那这个cable呢是同步信号的

那这个同步信号呢 那目前我们 采用的方式是让这个camera去发同位信号给投影机

这样呢 投影机显示画面的时间要比cable的曝光时间要短

这样呢 camera就可以确保它 可以捕捉投影机所投射出来的所有像素点

其实这些像素点都在上

就它可以确保捕捉到所有的pattern信息

如果你有delay的话呢 这个camera曝光了那么长时间

可能就丢掉了一些pattern的信息

尤其是像那种正旋波的这种相位的pattern的话

丢掉了以后你的重建会出非常大的问题

如果有做过这系统的话 过去掉这个系统是有投影机发一个触发信号给摄像机的

这样的话呢 有可能会导致我的投影机已经显示画面了

然后你的摄像机才开始去捕捉 可能会丢掉一些信息

如果是你用二进制的pattern 基本上没什么问题

但是如果你用这种灰度的 就是greyscale灰度的这种pattern

三个相位的话

就会有比较大的问题

刚才他的问题是说你另外做一个同步的电路

然后你给两个器件给摄像机同时同步信号

这个也有一些做过 但是你要考虑到这个摄像机它的delay

和投影机里面有个处理器 它这个delay时间有可能是不一样的

尤其是显示出的是不一样的

那当然这个投射它有说是不是所有的DLP都能支持这trigger

那我们的答案是所有ALC 用于工业控制的这种ALC的DLP器件

包括30004500、6500都可以支持由投影机去触发摄像机

或者摄像机触发投影机 你可以配置的

但是呢 其他的比如说显示什么 可能就不会支持了