1.1 具有DS90UB960解串器集线器和TDA SoC的多摄像头系统：聚合和复制

大家好，欢迎收看960解串器集线器系统级用例

培训系列的第1单元。

在本单元中，我们将了解960集线器

如何融入摄像头模块

以及视频处理的端到端系统，以及如何在系统级

利用聚合和复制功能。

让我们从多摄像头系统的

传统架构开始说。

以一个汽车应用程序为例，

例如环绕视图。

在该应用中，通常在车辆的周边放置

四个摄像机，

例如在四个角落处。

每个摄像机都具有宽视野，

通常是鱼眼镜头，因此可以将来自四个摄像机的视频

拼接成单个视图，

有时也称为360视图视频。

相机模块通常基于LVDS的，

因此它们由图像传感器和串行器

如913、933或953设备组成。

所有摄像机都被送入一个ECU，

后者对所有摄像机流进行反序列化、同步，然后

将其馈送到某种视频处理设备中，

该设备可以是系统级芯片，简言之就是SoC或FPGA。

这种系统的设计者面临着许多挑战。

我们举几个例子。

挑战第一，在视频处理设备上

找到足够的引脚，

从四个摄像头提供RGB数据。

挑战第二，在PCB上

为所有IC和所有支持电路寻找空间。

挑战第三，同步摄像机输入，

因为定时在四个独立传感器上实现的，

并且可能随时间漂移。

输入960解串器集线器中心以帮助

解决其中一些挑战。

在先前看到的具有单个解串器集线器的

传统多摄像机系统中替换四个解串器

解决了上一张幻灯片中

突出显示的挑战。

第一，所有四个摄像机流

都被打包成一个CSI-2端口。

这称为聚合。

该功能的主要优点之一

是它减少了视频处理设备上所需的

端口和引脚数量，例如SoC或FPGA。

每个摄像机流都有自己的虚拟通道。

因此，使用例如DMA，将视频处理设备上的

通道分离成单独的存储块是很容易的。

第二，PCB的所需空间大小

从四个或五个器件

和周围电路大幅减少到单个器件。

第三，与其在每个传感器上

对传感器一侧计时，并且

必须强制同步，960集线器

可以被配置为使用一个共享振荡器

以同步时钟模式工作，

然后所有传感器使用共享时钟。

我们需指出这没有

详尽列出所有潜在功能和优点，

因此我们推荐观众到960产品页面

获取更多详细信息。

让我们仔细看看如何实现

同步时钟。

如前所述，参考时钟由960生成，

它拥有系统中唯一的

振荡器。

然后通过反向通道

将该参考时钟发送到消毒器，例如953s。

只要后通道参考时钟可用，

串行器就会锁定它。

同样的机制也被用于帧同步信号，

它同时通过反向信道GPIO发送，

以触发跨越多个传感器的

同时曝光。

这里我们展示配置的一些细节。

在串行器上，通过模式引脚上的

带电压选择同步模式，

在960解串器集线器上

通过寄存器位字段设置。

当相机流在960上聚合到

单个CSI-2数据流时，以这样的方式完成

使得CSI-2接收器

容易分离出流。

这是使用被称为虚拟通道的CSI-2协议功能

完成的。

在此图中，解串器集线器上的

四个接收端口分别从摄像机A、

B、C和D接收视频。

为每个接收端口分配一个

虚拟通道ID，并映射到CSI输出端口。

在该示例中，来自摄像机A和B的数据

被打包成CSI分组，并被发送到CSI端口0。

并且来自摄像机C和D的数据被发送到CSI端口1。

当CSI分组由摄像机数据形成时，

数据头被附加到

每个包含虚拟通道ID的数据包里。

然后在CSI接收器处使用该数据头信息

来分离出通道，并且例如

将它们发送到不同的存储器区域。

通过CSI-VC_MAP寄存器，为每个接收输入端口

分配虚拟通道ID VCID，

默认就是端口号。

因此在上面的例子中，摄像机A、

B、C和D分别具有VCID 0、1、2和3。

在前面的例子中，我们将摄像机A、B、C和D

以2×2的方式聚合在一起。

每个CSI端口两个摄像头，以实现最大的

摄像头分辨率。

在此示例中，所有摄像机都聚合并克隆

在CSI端口0和CSI端口1上，

这是以支持的总分辨率为代价的，

但具有一些有趣的应用。

例如，双用途相机处理和数据记录。

接下来的几张幻灯片更详细地解释了

这些应用。

就克隆配置而言，一旦系统启动

并运行单个CSI端口，剩下要做的就是

启用第二个CSI发送器

并启用其中一个控制寄存器中的复制模式位。

该方框图显示了如何在一个系统中使用

960复制模式，该系统在两个不同视频处理器上

以两种不同的方式

处理相同的多通道视频。

让我们回到四个摄像头输入的

原始示例。

即汽车环绕视图应用。

在该框图中，该处理程序

在SoC编号2中执行，

SoC编号2可以是使用通过复制模式传播到CSI端口1的

聚合四通道视频的TDA2P或TDA3设备。

如前所述，环绕图中的视图

是360视图，这是通过拼接

多个摄像机输入获得的。

在这个应用程序中，最终输出

对于人类观众来说是非常重要的。

并且这个最终输出确实被发送到显示器。

因此，图像质量和针迹的无缝性

是应用的焦点。

同时，处理四通道视频的

另一个目的可以是检测

场景中的对象，

这可能是自动停车应用中的情况。

该过程在SoC编号1上执行

其使用传播到CSI端口0的

聚合四通道视频。

这也可以是TDA2P或TDA3设备。

然而，这种处理

与传统的环绕视图非常不同。

物体检测通常涉及机器学习

甚至深度学习。

适合于人工智能的图像

可以以非常不同的方式被预处理。

这些图像对人类用户有吸引力，

可能不会被发送到显示器。

用于第二克隆的多声道视频流的

另一个应用是数据记录。

随着自动或半自动驾驶的进步，

这变得越来越普遍。

例如，为实际驾驶场景中

用于训练深度学习网络的庞大数据库

做出贡献。

在该框图中，聚合视频数据

通过CSI端口0同时发送到SoC编号1，

可能用于环绕视图和/停车辅助算法。

SoC编号1可以是TDAP或TDA3设备。

同时，聚合视频

通过CSI端口1发送到板载或板外的

大容量存储设备。

这可能涉及在到达存储之前

通过串行器/解串器转换为LVDS信号。

大家好，欢迎收看960解串器集线器系统级用例

培训系列的第1单元。

在本单元中，我们将了解960集线器

如何融入摄像头模块

以及视频处理的端到端系统，以及如何在系统级

利用聚合和复制功能。

让我们从多摄像头系统的

传统架构开始说。

以一个汽车应用程序为例，

例如环绕视图。

在该应用中，通常在车辆的周边放置

四个摄像机，

例如在四个角落处。

每个摄像机都具有宽视野，

通常是鱼眼镜头，因此可以将来自四个摄像机的视频

拼接成单个视图，

有时也称为360视图视频。

相机模块通常基于LVDS的，

因此它们由图像传感器和串行器

如913、933或953设备组成。

所有摄像机都被送入一个ECU，

后者对所有摄像机流进行反序列化、同步，然后

将其馈送到某种视频处理设备中，

该设备可以是系统级芯片，简言之就是SoC或FPGA。

这种系统的设计者面临着许多挑战。

我们举几个例子。

挑战第一，在视频处理设备上

找到足够的引脚，

从四个摄像头提供RGB数据。

挑战第二，在PCB上

为所有IC和所有支持电路寻找空间。

挑战第三，同步摄像机输入，

因为定时在四个独立传感器上实现的，

并且可能随时间漂移。

输入960解串器集线器中心以帮助

解决其中一些挑战。

在先前看到的具有单个解串器集线器的

传统多摄像机系统中替换四个解串器

解决了上一张幻灯片中

突出显示的挑战。

第一，所有四个摄像机流

都被打包成一个CSI-2端口。

这称为聚合。

该功能的主要优点之一

是它减少了视频处理设备上所需的

端口和引脚数量，例如SoC或FPGA。

每个摄像机流都有自己的虚拟通道。

因此，使用例如DMA，将视频处理设备上的

通道分离成单独的存储块是很容易的。

第二，PCB的所需空间大小

从四个或五个器件

和周围电路大幅减少到单个器件。

第三，与其在每个传感器上

对传感器一侧计时，并且

必须强制同步，960集线器

可以被配置为使用一个共享振荡器

以同步时钟模式工作，

然后所有传感器使用共享时钟。

我们需指出这没有

详尽列出所有潜在功能和优点，

因此我们推荐观众到960产品页面

获取更多详细信息。

让我们仔细看看如何实现

同步时钟。

如前所述，参考时钟由960生成，

它拥有系统中唯一的

振荡器。

然后通过反向通道

将该参考时钟发送到消毒器，例如953s。

只要后通道参考时钟可用，

串行器就会锁定它。

同样的机制也被用于帧同步信号，

它同时通过反向信道GPIO发送，

以触发跨越多个传感器的

同时曝光。

这里我们展示配置的一些细节。

在串行器上，通过模式引脚上的

带电压选择同步模式，

在960解串器集线器上

通过寄存器位字段设置。

当相机流在960上聚合到

单个CSI-2数据流时，以这样的方式完成

使得CSI-2接收器

容易分离出流。

这是使用被称为虚拟通道的CSI-2协议功能

完成的。

在此图中，解串器集线器上的

四个接收端口分别从摄像机A、

B、C和D接收视频。

为每个接收端口分配一个

虚拟通道ID，并映射到CSI输出端口。

在该示例中，来自摄像机A和B的数据

被打包成CSI分组，并被发送到CSI端口0。

并且来自摄像机C和D的数据被发送到CSI端口1。

当CSI分组由摄像机数据形成时，

数据头被附加到

每个包含虚拟通道ID的数据包里。

然后在CSI接收器处使用该数据头信息

来分离出通道，并且例如

将它们发送到不同的存储器区域。

通过CSI-VC_MAP寄存器，为每个接收输入端口

分配虚拟通道ID VCID，

默认就是端口号。

因此在上面的例子中，摄像机A、

B、C和D分别具有VCID 0、1、2和3。

在前面的例子中，我们将摄像机A、B、C和D

以2×2的方式聚合在一起。

每个CSI端口两个摄像头，以实现最大的

摄像头分辨率。

在此示例中，所有摄像机都聚合并克隆

在CSI端口0和CSI端口1上，

这是以支持的总分辨率为代价的，

但具有一些有趣的应用。

例如，双用途相机处理和数据记录。

接下来的几张幻灯片更详细地解释了

这些应用。

就克隆配置而言，一旦系统启动

并运行单个CSI端口，剩下要做的就是

启用第二个CSI发送器

并启用其中一个控制寄存器中的复制模式位。

该方框图显示了如何在一个系统中使用

960复制模式，该系统在两个不同视频处理器上

以两种不同的方式

处理相同的多通道视频。

让我们回到四个摄像头输入的

原始示例。

即汽车环绕视图应用。

在该框图中，该处理程序

在SoC编号2中执行，

SoC编号2可以是使用通过复制模式传播到CSI端口1的

聚合四通道视频的TDA2P或TDA3设备。

如前所述，环绕图中的视图

是360视图，这是通过拼接

多个摄像机输入获得的。

在这个应用程序中，最终输出

对于人类观众来说是非常重要的。

并且这个最终输出确实被发送到显示器。

因此，图像质量和针迹的无缝性

是应用的焦点。

同时，处理四通道视频的

另一个目的可以是检测

场景中的对象，

这可能是自动停车应用中的情况。

该过程在SoC编号1上执行

其使用传播到CSI端口0的

聚合四通道视频。

这也可以是TDA2P或TDA3设备。

然而，这种处理

与传统的环绕视图非常不同。

物体检测通常涉及机器学习

甚至深度学习。

适合于人工智能的图像

可以以非常不同的方式被预处理。

这些图像对人类用户有吸引力，

可能不会被发送到显示器。

用于第二克隆的多声道视频流的

另一个应用是数据记录。

随着自动或半自动驾驶的进步，

这变得越来越普遍。

例如，为实际驾驶场景中

用于训练深度学习网络的庞大数据库

做出贡献。

在该框图中，聚合视频数据

通过CSI端口0同时发送到SoC编号1，

可能用于环绕视图和/停车辅助算法。

SoC编号1可以是TDAP或TDA3设备。

同时，聚合视频

通过CSI端口1发送到板载或板外的

大容量存储设备。

这可能涉及在到达存储之前

通过串行器/解串器转换为LVDS信号。