3D 扫描技术介绍

Hello 亲爱的朋友 大家好

我是TI台湾的DLP应用工程师 我叫Frank

那今天的直播大概会花1.5个小时

那前一个小时主要 是做presentation的部分

然后 介绍有关DLP 还有SDK的部分

还有它的应用

那最后还会介绍我们新的IC叫DLPC347X系列

那介绍完之后 我们大 概0.5个小时做Q&A

所以各位如果还没有上厕所 可以先去上厕所

因为我们议程大概是1.5个小时

那我们即将要开始 在这之前 我们稍微自我介绍一下我是Frank

那之前大概做这个 应用有好几年的时间

那之前主要适合介绍 做support DLP投影机的部分

那近几年其实在供应应用上 有很多很多客户有这样需求

那DLP在这部分应用其实被 很多供应应用所采纳

经常有需要非常高的精准度的需求

所以DLP在这应用上呢

可以提供到micrometer的等级的能力

所以这是为什么今天为各位稍微 介绍一下DLP的3D扫描的部分

那其中我们会介绍一个3D的SDK 就是TI提供的SDK

那这个SDK部分呢 我们主要是在讲说

SDK其实是给一个概念

当然不是告诉大家一定要去用它 而是说你们可以去参考

然后了解DLP的一些能耐

好 那废话不多了 我们就直接开始了

我稍微讲一下今天的agenda是什么

第一个我会稍微介绍一下3D扫描 技术的各个技术的介绍

还有应用部分

那第二部分我介绍一下关于DLP的3D扫描是如何使用的

以及它应用部分

第三部分的话 因为TI有提供3D SDK

那这SDK的话有很多人其实一开始 还对于3D扫描不是很了解的话

尤其针对结构光不是很了解的话

3D SDK这一块可以让大家比较快速地进入这个领域

然后很快速拿到诀窍

那最后的话 当然是跟大家更新一下

今年我们才新推出的DLPC347X 系列的3D扫描 3D列印的新的功能

让大家了解一下

那我们先针对3D扫描技术来介绍一下

首先要谈3D扫描之前呢 我们要看一下 3D的应用其实还蛮多的

首先画面上就有很多 第一个当然很多像是工业应用

像是一些产线上的即时扫描 检测部分

或者是一些逆向工学 或者是一些机构检测部分

然后或者是一些人因工学 包含一些指纹扫描或脸部辨识的部分

然后还有一些AOI 一些比较 高精密度的一些零件检测

或者是品质检测

然后还有一些医疗用的像是口腔 扫描 或者是牙齿扫描等等应用

好 相信大家对这些应用 已经有大概的了解

也大概都听过这些应用 需要用到3D的技术

可以很多人在进入这个门槛的时候 通常有一个很大的问题就是

它不晓得该怎么样用哪个技术来使用在它想要的应用范围内

所以我在这边给大家讲一些概念 有些key factor让大家先了解一下

首先大家一定要先知道就是说 你的FOV 你的扫描范围大小

这个非常重要

因为通常定义扫描范围大小时候基本 大概限制住你使用的技术是哪些类型

首先比如说 我们看最左边这个好了

这个传送带Conveyor 大概通常都30公分左右

如果30公分的Conveyor你要扫描路径大概在这个range

因为你必须扫描在上面所有的物件

所以扫的面积都是30公分这个range

那30公分能够应用的 范围其实就不太多了

因此定义FOV这件事情

就可以限制掉很多的技术了

所以FOV通常是 我们要限制的一个范围

FOV包含什么呢 就是说你可以扫描的 XY的面积是多少以及你要工作的距离

比如说从扫描头到物件的距离是多少 比如说一公尺

那最短一公尺 最长到多长呢

大概比如说是1.3公尺好了

所以你要扫描物件呢 就是从一公尺以后呢

的30x30x30的一个立体空间内 你都要能扫描得到

而且它精度肯定要求到 比如说是100micrometer

或者是50micrometer等等这个range

这是我们通常定义的 FOV这个规格

接下来我们定义第二个 规格就是解析度

那很多人会 那我XYZ 需要多少的解析度

可是这有很多的问题

就是说通常我们定义 空间解析度的时候

在技术端来说的话 其实XY它基本上不是一个主要的限制

因为XY的限制主要来自于camera

通常你如果要很高解析度 你就用好一点的camera就好

这个通常不会是个很大的问题

但是Z轴确是个技术的 限制的主要原因

所以你要定义一个使用范围 通常你最主要定义Z轴就好了

比如说今天我们要扫描一个 比如说我们今天看得是个AOI好了

AOI扫描这个物件 可能上面的是一个零件

零件呢 它有没有翘脚 或者有 立碑这个行为在呢

你可能要的是一个50micrometer精准度就够了

可是你讲的是零件下面那个锡膏 在打件前有个锡膏先上

那锡膏精准度你可能要求就是几micrometer 甚至到零点几micrometer

这种等级的

这是完全另一回事

所以这样子的话 大大地限制住你能使用得技术范围内

那XY通常不是个问题 所以通常定义XYZ的时候

我们会建议把XY跟Z分开 定成两个规格

这样对我们来说比较好选择

那最后一个的话 最重要就是速度

很多的话肯定就是 速度简单讲 是用钱累积出来的

所以如果你很高速 通常就是 你要用很贵的一些机器或设备去搭配

所以 速度这件事情通常跟钱较大关系

比如说我们今天要 做一个real time扫描

像是第二个应用好了

第二个应用很特殊 我扫描一个物件 它高峰件可能是一个一公尺长的物件

可是我扫描的精准度可能要在30micrometer或更好

可是要一公尺又扫描30micrometer 这种要求其实非常非常困难

在各技术上都是很困难的

所以 通常我们会说那可不可以一个 view只扫比如说10公分好了

我精准度可以到20micrometer

然后我用拼接的方法 每一个view拼接

拼接起来误差只要落在30micrometer就好了

像这样的范围

可是你拼接的话 就是 所谓的要real time扫描

就是可能要到手持式这种程度

手持式的话 就是要到速度这种要求

所以我手持要够稳 再稳定地扫描它

扫描整个面 然后拼接起来

那这个肯定要有非常好的一些 同步运算的hardware去配合它

所以扫描速度 也会列为一个 非常重要的一个T factor

那加上拼接的技术 目前全世界 拼接技术要做到很完善其实不太容易

所以这个演算法非常昂贵的

所以这个有非常大的技术门槛在里头

那我再重复一下 T factor第一个就是FOV

要扫描的尺寸 工作距离等等

你扫描物件的大小 这是很重要的T factor

第二个就是解析度 建议将XY跟Z分开来定义

最后定义就是速度

OK? 你的速度要求定义 你有可能 用到一些影像拼接的一些演算法

这又是另外一个很大的门槛

好的

那我们刚刚讲了那么多应用 其实最终还是要来选择适用哪个技术

所以你还是要了解 各技术的优缺点是什么

当你如何选择它 才可以使用 在你的应用范围内

上面大概有分成四大类

那这四大类大概是涵盖大部分 一些主流的3D扫描技术

那最左边这个就是stereo camera 两个camera或者三个camera去3D扫描

应用其实很多 尤其应用在一些比较 偏向consumer的应用 其实还蛮多的

这个很清楚就是它非常非常便宜然后 精密度比较差一点 大概是公分等级

往右边看的话是TOF 那TOF目前的应用其实还蛮多的

偏向在minimeter的等级 比如说gesture应用

或是一些人身体扫描应用 其实都是没有问题的

那它的好处就是非常便宜 其实价位是稍微中价位

比stereo稍微贵一点 它是中价位

那解析度大概在minimeter这个range

然后往中间看 中间往上看的话就是Laser

Laser scan大概存在好几十年了

算是工业应用上非常早期的一个技术

那如果你只是做一个 所谓的高度检测的话

一个点或是一条线的高远测

Laser line scan是非常非常low cost

而且它非常容易做到micrometer等级 比如说5micrometer等级

对它来说是非常容易的

可是如果你要做到 一个面 一个3D面的话

困难度就会变得非常的高

因为再怎么样它也只能scan一条而已

如果要scan到一个面的话 代表它还有另外一轴出现

另外一轴就需要用到一个移动马达

那移动马达的话 如果你要维持到micrometer等级的一个精准度的话

可能要上万美金这么贵

所以它整个成本会非常非常昂贵

如果要扫描到一个面的程度的话

这是为什么近几年非常广泛讨论structured light 的3D扫描技术

structured light的3D扫描技术呢

基本上我们要分成两大类

第一大类我们叫固定式的pattern 另外一个当然非固定式pattern

我们可以跳到下一页看一下

这是全部的比较表 我们大概挑一些各技术的重点

stereo camera最重要的当然就是便宜 非常低价位

第二个呢 它的outdoor performance是非常强大

几乎其他技术很难跟它比拼

如果你要用到户外的话stereo camera 基本上是非常简单的一个技术 又便宜

然后用户外光的能量来看就好 所以stereo camera基本上是非常好用

那它功能等级以上没什么问题

那另外是TOF TOF的话它最大的好处 就是它价位稍微贵一点点而已

但是它针对扫描速度 使用上是非常好的

因为TOF有flight 取得的 flight shift的时间多少呢

对应的就是距离

所以它不需要任何的 大家 可以演算法去符合它

也不要说需要decoding的动作

简单得到的flight shift的 时间就是深度资讯

那很可惜它最大缺点 就是它扫描速度就是

虽然它每秒做 三四个（听不清）

但是因为升时速会严重 影响到你的扫描速度

所以它就会有很大问题说 如果升时速很大的话

比说说现在可能80x60的sensor 你可能可以每秒30Hz

可是问题要做到800x600的话 那可能每秒就会后变得非常非常慢

那再加上如果遇到一些convision 它的表面反射的程度不是很好

或者有些noise convision的话

你可能要开一些filter 当filter情况下 它速度会可能是非常大幅地下降

比如原本30Hz 可能变成每秒2Hz而已

所以这就是它的一个限制

不过在一般应用 gesture 应用其实没什么问题

而在一些短距离应用的话 或是中距离应用其实还ok的

长距离是跟能量有关

所以大部分应用大概在 几公尺内还是实用的

目前在一些gesture 或者 是在些游戏机的应用其实还蛮多的

既然提到一些structured light Laser如果是单条的话应该不算structured light

但是如果多条的话 也算structured light的一种

那刚刚有提过 它精密度到micrometer可是如果到3D的话 其实困难度很高的

因为它扫描速度变得非常非常慢

structured light今天最 主要提到的是这个

我们叫固定式pattern 跟非固定式pattern

就是可程式化pattern

固定式pattern的代表作 最明显的就是DOE的solution

简单讲就是iPhone10现在用的solution就是这种固定式pattern

它的原理很简单就是镭射光打在 一个三色的面上会产生一些镭射光斑

那么镭射光斑呢 我们就要识别这个 镭射光斑就可以了

那每一个的DOE的装置产生镭射光斑是独一无二的

所以它在整个highway中 它会coding所有立体中间

比如说你要coding 1000成 1000成 全部oding在highway里头

然后用highway去解析

所以它这个技术有个最大的问题

就是在说因为它是光斑 那个斑你要用camera去解析它

通常一个点可能 至少3x3的点去解析它

所以 比如说用inmega的 跟minimeter等级差不多

然后它速度呢 是它的好处

为什么呢

因为速度通常 主要是在camera上

那速度是因为它现在只能用highway来做recoding

如果你用软体做 recoding的话 变成是说

你要recoding那个image是 困难度非常非常高

所以目前呢 你要DOE搜寻

基本上可能都是要用highway搜寻 才能达到快速的效果

你要给code 然后DOE这个技术基本上 你都要专用IC 才能够解决这个问题

才能到速度这个问题 不然的话 你的速度会变的非常非常的慢

而且你软体复杂度变得非常非常高

所以你用highway的话 你速度可以变快

然后软体就会变得loading非常小

现在的问题就是说你的effort就 完全要投资在highway上

那接下来讲说 有没有一些 可以得到非常高解析度

软体effort又很小

然后又可以很快速的方法 有的

这是目前我们主要应用 在工业应用上的话DLP是很大的优势

那DLP精密度基本上可以用到micrometer的等级

我们等一下可以好好讨论下

为什么用programmable的pattern可以得到这么高精准度

当然速度还是限制在camera上 因为DLP技术其实非常非常快

那我们运放的distance差不多是 短距离到中距离这个range

我们的软体复杂度大概是到中等或到 稍微高一点看你演算法的复杂程度

那cost也会稍微高一点点

那这个3D技术各技术的 介绍部分 那我们来看一下

Hello 亲爱的朋友 大家好

我是TI台湾的DLP应用工程师 我叫Frank

那今天的直播大概会花1.5个小时

那前一个小时主要 是做presentation的部分

然后 介绍有关DLP 还有SDK的部分

还有它的应用

那最后还会介绍我们新的IC叫DLPC347X系列

那介绍完之后 我们大 概0.5个小时做Q&A

所以各位如果还没有上厕所 可以先去上厕所

因为我们议程大概是1.5个小时

那我们即将要开始 在这之前 我们稍微自我介绍一下我是Frank

那之前大概做这个 应用有好几年的时间

那之前主要适合介绍 做support DLP投影机的部分

那近几年其实在供应应用上 有很多很多客户有这样需求

那DLP在这部分应用其实被 很多供应应用所采纳

经常有需要非常高的精准度的需求

所以DLP在这应用上呢

可以提供到micrometer的等级的能力

所以这是为什么今天为各位稍微 介绍一下DLP的3D扫描的部分

那其中我们会介绍一个3D的SDK 就是TI提供的SDK

那这个SDK部分呢 我们主要是在讲说

SDK其实是给一个概念

当然不是告诉大家一定要去用它 而是说你们可以去参考

然后了解DLP的一些能耐

好 那废话不多了 我们就直接开始了

我稍微讲一下今天的agenda是什么

第一个我会稍微介绍一下3D扫描 技术的各个技术的介绍

还有应用部分

那第二部分我介绍一下关于DLP的3D扫描是如何使用的

以及它应用部分

第三部分的话 因为TI有提供3D SDK

那这SDK的话有很多人其实一开始 还对于3D扫描不是很了解的话

尤其针对结构光不是很了解的话

3D SDK这一块可以让大家比较快速地进入这个领域

然后很快速拿到诀窍

那最后的话 当然是跟大家更新一下

今年我们才新推出的DLPC347X 系列的3D扫描 3D列印的新的功能

让大家了解一下

那我们先针对3D扫描技术来介绍一下

首先要谈3D扫描之前呢 我们要看一下 3D的应用其实还蛮多的

首先画面上就有很多 第一个当然很多像是工业应用

像是一些产线上的即时扫描 检测部分

或者是一些逆向工学 或者是一些机构检测部分

然后或者是一些人因工学 包含一些指纹扫描或脸部辨识的部分

然后还有一些AOI 一些比较 高精密度的一些零件检测

或者是品质检测

然后还有一些医疗用的像是口腔 扫描 或者是牙齿扫描等等应用

好 相信大家对这些应用 已经有大概的了解

也大概都听过这些应用 需要用到3D的技术

可以很多人在进入这个门槛的时候 通常有一个很大的问题就是

它不晓得该怎么样用哪个技术来使用在它想要的应用范围内

所以我在这边给大家讲一些概念 有些key factor让大家先了解一下

首先大家一定要先知道就是说 你的FOV 你的扫描范围大小

这个非常重要

因为通常定义扫描范围大小时候基本 大概限制住你使用的技术是哪些类型

首先比如说 我们看最左边这个好了

这个传送带Conveyor 大概通常都30公分左右

如果30公分的Conveyor你要扫描路径大概在这个range

因为你必须扫描在上面所有的物件

所以扫的面积都是30公分这个range

那30公分能够应用的 范围其实就不太多了

因此定义FOV这件事情

就可以限制掉很多的技术了

所以FOV通常是 我们要限制的一个范围

FOV包含什么呢 就是说你可以扫描的 XY的面积是多少以及你要工作的距离

比如说从扫描头到物件的距离是多少 比如说一公尺

那最短一公尺 最长到多长呢

大概比如说是1.3公尺好了

所以你要扫描物件呢 就是从一公尺以后呢

的30x30x30的一个立体空间内 你都要能扫描得到

而且它精度肯定要求到 比如说是100micrometer

或者是50micrometer等等这个range

这是我们通常定义的 FOV这个规格

接下来我们定义第二个 规格就是解析度

那很多人会 那我XYZ 需要多少的解析度

可是这有很多的问题

就是说通常我们定义 空间解析度的时候

在技术端来说的话 其实XY它基本上不是一个主要的限制

因为XY的限制主要来自于camera

通常你如果要很高解析度 你就用好一点的camera就好

这个通常不会是个很大的问题

但是Z轴确是个技术的 限制的主要原因

所以你要定义一个使用范围 通常你最主要定义Z轴就好了

比如说今天我们要扫描一个 比如说我们今天看得是个AOI好了

AOI扫描这个物件 可能上面的是一个零件

零件呢 它有没有翘脚 或者有 立碑这个行为在呢

你可能要的是一个50micrometer精准度就够了

可是你讲的是零件下面那个锡膏 在打件前有个锡膏先上

那锡膏精准度你可能要求就是几micrometer 甚至到零点几micrometer

这种等级的

这是完全另一回事

所以这样子的话 大大地限制住你能使用得技术范围内

那XY通常不是个问题 所以通常定义XYZ的时候

我们会建议把XY跟Z分开 定成两个规格

这样对我们来说比较好选择

那最后一个的话 最重要就是速度

很多的话肯定就是 速度简单讲 是用钱累积出来的

所以如果你很高速 通常就是 你要用很贵的一些机器或设备去搭配

所以 速度这件事情通常跟钱较大关系

比如说我们今天要 做一个real time扫描

像是第二个应用好了

第二个应用很特殊 我扫描一个物件 它高峰件可能是一个一公尺长的物件

可是我扫描的精准度可能要在30micrometer或更好

可是要一公尺又扫描30micrometer 这种要求其实非常非常困难

在各技术上都是很困难的

所以 通常我们会说那可不可以一个 view只扫比如说10公分好了

我精准度可以到20micrometer

然后我用拼接的方法 每一个view拼接

拼接起来误差只要落在30micrometer就好了

像这样的范围

可是你拼接的话 就是 所谓的要real time扫描

就是可能要到手持式这种程度

手持式的话 就是要到速度这种要求

所以我手持要够稳 再稳定地扫描它

扫描整个面 然后拼接起来

那这个肯定要有非常好的一些 同步运算的hardware去配合它

所以扫描速度 也会列为一个 非常重要的一个T factor

那加上拼接的技术 目前全世界 拼接技术要做到很完善其实不太容易

所以这个演算法非常昂贵的

所以这个有非常大的技术门槛在里头

那我再重复一下 T factor第一个就是FOV

要扫描的尺寸 工作距离等等

你扫描物件的大小 这是很重要的T factor

第二个就是解析度 建议将XY跟Z分开来定义

最后定义就是速度

OK? 你的速度要求定义 你有可能 用到一些影像拼接的一些演算法

这又是另外一个很大的门槛

好的

那我们刚刚讲了那么多应用 其实最终还是要来选择适用哪个技术

所以你还是要了解 各技术的优缺点是什么

当你如何选择它 才可以使用 在你的应用范围内

上面大概有分成四大类

那这四大类大概是涵盖大部分 一些主流的3D扫描技术

那最左边这个就是stereo camera 两个camera或者三个camera去3D扫描

应用其实很多 尤其应用在一些比较 偏向consumer的应用 其实还蛮多的

这个很清楚就是它非常非常便宜然后 精密度比较差一点 大概是公分等级

往右边看的话是TOF 那TOF目前的应用其实还蛮多的

偏向在minimeter的等级 比如说gesture应用

或是一些人身体扫描应用 其实都是没有问题的

那它的好处就是非常便宜 其实价位是稍微中价位

比stereo稍微贵一点 它是中价位

那解析度大概在minimeter这个range

然后往中间看 中间往上看的话就是Laser

Laser scan大概存在好几十年了

算是工业应用上非常早期的一个技术

那如果你只是做一个 所谓的高度检测的话

一个点或是一条线的高远测

Laser line scan是非常非常low cost

而且它非常容易做到micrometer等级 比如说5micrometer等级

对它来说是非常容易的

可是如果你要做到 一个面 一个3D面的话

困难度就会变得非常的高

因为再怎么样它也只能scan一条而已

如果要scan到一个面的话 代表它还有另外一轴出现

另外一轴就需要用到一个移动马达

那移动马达的话 如果你要维持到micrometer等级的一个精准度的话

可能要上万美金这么贵

所以它整个成本会非常非常昂贵

如果要扫描到一个面的程度的话

这是为什么近几年非常广泛讨论structured light 的3D扫描技术

structured light的3D扫描技术呢

基本上我们要分成两大类

第一大类我们叫固定式的pattern 另外一个当然非固定式pattern

我们可以跳到下一页看一下

这是全部的比较表 我们大概挑一些各技术的重点

stereo camera最重要的当然就是便宜 非常低价位

第二个呢 它的outdoor performance是非常强大

几乎其他技术很难跟它比拼

如果你要用到户外的话stereo camera 基本上是非常简单的一个技术 又便宜

然后用户外光的能量来看就好 所以stereo camera基本上是非常好用

那它功能等级以上没什么问题

那另外是TOF TOF的话它最大的好处 就是它价位稍微贵一点点而已

但是它针对扫描速度 使用上是非常好的

因为TOF有flight 取得的 flight shift的时间多少呢

对应的就是距离

所以它不需要任何的 大家 可以演算法去符合它

也不要说需要decoding的动作

简单得到的flight shift的 时间就是深度资讯

那很可惜它最大缺点 就是它扫描速度就是

虽然它每秒做 三四个（听不清）

但是因为升时速会严重 影响到你的扫描速度

所以它就会有很大问题说 如果升时速很大的话

比说说现在可能80x60的sensor 你可能可以每秒30Hz

可是问题要做到800x600的话 那可能每秒就会后变得非常非常慢

那再加上如果遇到一些convision 它的表面反射的程度不是很好

或者有些noise convision的话

你可能要开一些filter 当filter情况下 它速度会可能是非常大幅地下降

比如原本30Hz 可能变成每秒2Hz而已

所以这就是它的一个限制

不过在一般应用 gesture 应用其实没什么问题

而在一些短距离应用的话 或是中距离应用其实还ok的

长距离是跟能量有关

所以大部分应用大概在 几公尺内还是实用的

目前在一些gesture 或者 是在些游戏机的应用其实还蛮多的

既然提到一些structured light Laser如果是单条的话应该不算structured light

但是如果多条的话 也算structured light的一种

那刚刚有提过 它精密度到micrometer可是如果到3D的话 其实困难度很高的

因为它扫描速度变得非常非常慢

structured light今天最 主要提到的是这个

我们叫固定式pattern 跟非固定式pattern

就是可程式化pattern

固定式pattern的代表作 最明显的就是DOE的solution

简单讲就是iPhone10现在用的solution就是这种固定式pattern

它的原理很简单就是镭射光打在 一个三色的面上会产生一些镭射光斑

那么镭射光斑呢 我们就要识别这个 镭射光斑就可以了

那每一个的DOE的装置产生镭射光斑是独一无二的

所以它在整个highway中 它会coding所有立体中间

比如说你要coding 1000成 1000成 全部oding在highway里头

然后用highway去解析

所以它这个技术有个最大的问题

就是在说因为它是光斑 那个斑你要用camera去解析它

通常一个点可能 至少3x3的点去解析它

所以 比如说用inmega的 跟minimeter等级差不多

然后它速度呢 是它的好处

为什么呢

因为速度通常 主要是在camera上

那速度是因为它现在只能用highway来做recoding

如果你用软体做 recoding的话 变成是说

你要recoding那个image是 困难度非常非常高

所以目前呢 你要DOE搜寻

基本上可能都是要用highway搜寻 才能达到快速的效果

你要给code 然后DOE这个技术基本上 你都要专用IC 才能够解决这个问题

才能到速度这个问题 不然的话 你的速度会变的非常非常的慢

而且你软体复杂度变得非常非常高

所以你用highway的话 你速度可以变快

然后软体就会变得loading非常小

现在的问题就是说你的effort就 完全要投资在highway上

那接下来讲说 有没有一些 可以得到非常高解析度

软体effort又很小

然后又可以很快速的方法 有的

这是目前我们主要应用 在工业应用上的话DLP是很大的优势

那DLP精密度基本上可以用到micrometer的等级

我们等一下可以好好讨论下

为什么用programmable的pattern可以得到这么高精准度

当然速度还是限制在camera上 因为DLP技术其实非常非常快

那我们运放的distance差不多是 短距离到中距离这个range

我们的软体复杂度大概是到中等或到 稍微高一点看你演算法的复杂程度

那cost也会稍微高一点点

那这个3D技术各技术的 介绍部分 那我们来看一下