ADAS-车用全景解决方案 - TID3X -1
Loading the player...
将在30s后自动为您播放下一课程
各位观众大家好 欢迎参加TI培训 今天由我来给大家带来 TI TDA3x 低成本3D环视全景解决方案的一个培训 我是来自于 TI 上海 汽车处理器团队的 FAE 今天的培训大概持续约一个小时 大家可以通过邮件 或者说是通过留言的方式 把您的问题提出来 在最后我将会给大家一个详细的回复 今天的培训主要是分为以下几个部分 首先我们将整体的理解和了解 详细的讨论一下全景 在整个系统方案中的设计 接下来是对 TI 整个环视全景 解决方案的一个详细介绍 想具体介绍一下 TDA 芯片家族的细节 和 TI 全景在整个市场上的一个优势 如何带领大家在 TI 平台上取得成功 接下来的话会对 TDA3x 的一个 3D全新解决方案进行一个详细的介绍 我们将会对方案的一个结构 和集成 ISP 带来的一个优势 包括全景系统中对快速启动的一些要求 以及和集成更多 ADAS 算法 和整个芯片中运行的 VisionSDK 框架 进行一个详细的介绍 最后我们将会对全景和 ADADS 未来发展趋势以及 TI对这些未来发展趋势的一个 详细具体的一个支持情况 进行一个具体的介绍 首先我们来详细了解一下全景系统 全景系统逐渐成为现在汽车 智能汽车电动汽车以及 目前新出的所有汽车里面 都会带有的一个功能 人们可以通过全景 观察到车辆周围的一个环境 避免了一些碰撞 或者说对人或物的一些伤害 主要带来以下几个优点 一个是安全 能够避免人员的伤亡 另一方面的话便捷 可以极大的提高 新手驾驶员的一些停车的一些技能 另一方面的话 全景也带来一些自动化的一些帮助 比如说在自动泊车 或者说是在自动驾驶方面的一些帮助 此外只有全景是远远不足的 现有的一些高端车型 或者说是一些常见的一些车型里面 除了全景之外 依靠这四路摄像头 我们还可以做一些更多的一些 ADAS 算法 比如说像停车辅助自动泊车 障碍物的检测 运动物体的检测 有的汽车前还会带有第五路摄像头 这第五路摄像头的话 又可以做更多的事情 比如说像车道线检测 偏离预警 车道保持 行车记录仪 等等等等 各种车厂要求的一些 ADAS 功能 下面我将详细介绍一下 TI 对于汽车处理器 这一块领域投入的产品 TI 对汽车处理器主要是命名 JACINTO 目前是 JACINTO 的第六代 下一代将是 JACINTO 7 JACINTO 系列又分为 TDA 和 DRA 2 个产品线 TDA 产品线主要面向于 ADAS 领域 也就是说驾驶辅助是主要面向于安全性 主要面向于安全性高的一些应用 比如说像前式摄像机的一些安全性分析 驾驶员的一些疲劳检测 全景环视 后视镜或者说是多镜融合的一个替代 包括像毫米波雷达 或者说整个超声波雷达 对周围的一些感知 传感器的融合 包括像激光雷达 或者说 TOF 的一些数据融合 这些都是安全性要求非常高的一些应用 这些应用都可以在 TDA 芯片上进行实现 DRA 芯片和 TDA 芯片是 同一类型 相似的 IP 不同的软件 在 DRA 产品线中 我们更着重的推广一些数字化 智能化的一些娱乐化的一些应用 比如说像数字驾驶仓 数字仪表盘 抬头显示 中控娱乐 以及包含后座位的一些屏幕交互 车与车之间的一些通信网关 或者说是一些更复杂的一些用户交互功能 这些通信啊或者说娱乐方面的功能 都由 DRA 芯片来处理 到 2017 年为止 我们目前 TI 已经 涵盖市面上绝大多数所有的汽车品牌 在这些汽车品牌中 我们目前已经有 一亿五千万颗芯片在路上行驶 已经帮助大量的 OEM 和车厂 实现他们成功的目标 接下来的话我将详细介绍一下 TI 针对环视全景的一个解决方案 在这里我们将环视全景 按照摄像头的接口方式分为两类 一类是通过 LVDS 方式接入芯片 另一类的话是通过 以太网的方式介入芯片 对于 LVDS 接入芯片的平台 我们可以通过 FPD link 将不带有 ISP 的 sensor 把他们的 raw data 直接传输到芯片中 然后通过 FPD 串行解串 传至芯片中集成的 ISP 进行一个处理 最终输出显示 对于以太网接口的环视全景 我们可以通过以太网关 讲四路图像收至处理器中 由处理器中的硬件解码器进行一个解码 我们目前支持 MJTAG 和 H264 等等格式 一些目前市面上绝大多数常见的 一些格式的解码 然后我们可以对这些解码图像 进行一个图像拼接和分析 最终输出显示 对于全景的客户 他们最关心的几个要点是下面三个 首先是成本 因为降低成本提高含金量 是每一个车厂他们的最终目标 这样才能够有利于他们 形成一个有机的一个生态环境 逐步发展 然后芯片和镜头模组占据了整个系统里面 电子元件 BOM 的绝大多数部分 对于 LVDS 系统 如果是不带有 ISP的 摄像头 这样的话可以从镜头中节约大量的成本 接下来的话是可升级选项 因为目前的从车企的布局和 TIER1 的布局 他们更希望的是有一个低成本 中低成本和一个中高性能的一个系统 这几个系统尽可能的需要软件上的兼容 能够快速的从简单的功能 扩充到复杂的功能 并且不会有太多的一些平台上的一些变化 比如说从 2D 升级到 3D 比如说是以前只有一个车道保持功能 现在需要添加更多的 比如像动目标识别等等一些 ADAS 功能 这些功能包括了图像处理 传感器融合这些对处理器的一些 软件和硬件的一些结构提出了非常高的要求 另外的话对于不同车厂 或者说不同供应商提供的不同接口的摄像头 我们也需要在硬件上提供 合适的一些充足的 IP 或者说接口来做这件事情 除此之外对于开发的便捷性 比如说第三方生态环境 有没有算法提供商 能够提供针对这个平台优化的算法 以及官方提供的软件 SDK 是否能够充分发挥整个芯片的能力 以及对于这个平台刚刚上手 是否能够非常快速的购买到 这个硬件平台的一些开发板 以及像 ISP Tuning 等等一些 专业性非常强的一些服务 这些服务是否有 经验丰富的提供商来做这件事情 下面从 TDA 系列的芯片 我们来大概讲一下 整个 TDA 产品线 对于中高低端处理器 以及 ADAS 应用的一些具体的方案情况 首先我们可以看到 TI 将 TDA 系列 分为 TDA3x TDA2E TDA2x TDA2P 四个主要的型号 具体里面还会细分出更多的型号 TDA3 是一个精简版的处理器 虽然说数字上可能比 2 要大 但是它是一个面向于低成本 面向全景和简单的 ADAS 算法分析的一个处理器 它的目标是能够实现一个 3D 全景 以及附带上一些基本的一些 ADAS 算法 然后是 TDA2E 和 TDA2x 这两个平台我们已经有大量的客户 已经量产了 3D 全景 以及四路高清行车记录仪 包括像动目标识别 或者说是包括一些 车道保持一些功能 这两个芯片都是可以做到的 只是说 TDA2X 相对会更加复杂一些 性能会更高一些 对于 TDA2x TDA2P 我们的定位是一个高端的一个全景 包括像自动泊车 AVP 或者说是一些更复杂的一些 空间建模等等一些算法 我们将会在这两个芯片中实现 可以看到从低到高我们可以包含从2D到3D 并且每一个产品线的引脚是完全兼容的 同一个产品线中 比如说 TDA2x 中 又有对不同频率不同核心数量 进行了一个切分 所以说 TIER1 或者说车厂 完全不需要重新验证他们的硬件设计 不同 part number 的一些芯片 在相同的硬件上实现 并且在同样的软件架构中 增加相对应的功能 以实现一个高端的功能 和一个低成本的平台 两个平台同时推向市场 此外 TI 对于这些处理器的一个功耗 有一个非常强力的保证 首先是对 TDA3 的一个功耗 我们 TDA3 的功耗 将会满载的情况下将会低到1到3瓦 也就是说几乎不需要做任何散热的操作 在通风环境下可以保持室温稳定运行 然后对于高性能的 TDA2E TDA2x 以及包括 TDA2P 这些处理器完全不需要使用风扇 只需要对整个系统的散热设计 进行一个标准化设计即可 下面我们将分析一下 TI 全景解决方案的几个优势 首先系统规模可扩展 从刚才那张图上可以看到 TDA2 作为一个标准的一个全集 它向下裁剪出了 TDA2E 和 TDA3 向上扩展出了 TDA2P 这样的一个系统规模 对软件的一个相互兼容 和接口的一些兼容性 都提供了非常可靠的保证 比如说 TDA2x 既可以支持 LVDS 又可以支持以太网的输入 以及相同 P2P 的引脚 可以支持更高性能的一些计算 或者说更低成本的一个价位 然后整个系统将采用统一的 SDK 架构 也就是说你只需要将某些核心打钩 或者说是去除勾选这个核心 在这个软件上就会被编译 或者说不被编译 非常有利于各个芯片型号之间的移植 比如说如果说 你们在 TDA2E 上做过一次开发 然后在 TDA2x 上 只需要打开某些核心即可 另一方面的话 我们集成了高性能的 ISP 一颗单独的 ISP 就可以分时的处理四路高清图像 这个 ISP 是我们从视频监控领域 沿用过来一个继承并且改进的一个版本 积累了 TI 多年来 对视频监控的一些 ISP 的一些经验 能够带来非常好的一个图像质量 接下来的话对图像处理 TI 在汽车处理器里面 集中了大量的像 DSP 或者说 EVE 的一些硬件ip核 这些ip核的话能够 这些处理器能够做一些非常高效 非常快速的一些图像处理计算 包括像行人检测 动目标识别 和车道线检测 目前还是以图像处理为主 接下来的话开发支持 首先我们有非常丰富的 国内的第三方的生态环境 从软件到硬件再到 ISP Tuning 都会有非常多的一些候选人 可以供车厂 TIER1 2 进行选择 接下来的话 TI 也提供了 大量的人力物力 用于芯片的一些技术支持 和 SDK 的不断的开发 目前我们将会在大概几个月 每一两个月我们将会有一个版本的升级 说明我们已经在不停的改进 这个 SDK 逐渐的丰富并且完善 帮助各个车厂或者说 TIER1 实现他们最终的一个目标 下面我们将着重介绍一下 TI ISP 的一个优势 首先能够将极大的降低成本 因为你每增加一颗芯片 你可能需要增加相对应的一些外围电路 而 TI 的 TDA 系列 将 ISP 集成到芯片中 只需要芯片的一些 Pmake 即可 接下来是超高质量的图像 首先我们将摄像头远端的 raw data 传输至处理器中 然后由处理器中的 ISP 做一些复杂 然后灵活的一些操作 然后摄像头中去除了 ISP 之后 它的温度将会更低 这样的话发热情况会更好 这样的话会降低一些 sensor 上的一些噪声 接下来的话对于 TDA3 TDA2x TDA2P 这几个平台我们可以从 低成本平台直接 迁移到高性能的平台 软件完全不需要修改 因为 ISP 在这几个芯片中的 IP 和它的软件设计是完全相同的 除此之外由于 ISP 你是可以在处理器中进行统一操作 所以说我们带来了新的一些功能 是普通分立 ISP 做不到的事情 首先是对 led 的频闪 由于整个 ISP 的计算都是在芯片内的 也就说 M4 ARM 的核心 是可以对 ISP 进行控制 对 ISP 输出的一些信息 由 EVE 或者说是由 DSP 进行一个第二步的一个处理 这样的话我们可以 非常灵活的给 ISP 增加更多的功能 比如说像目前 led 大灯 或者说是 led 灯光带来的频闪 我们可以结合 sensor 的功能 和 ISP 的一些特性来解决这个现象 另一个的话我们的 ISP 不仅仅做了 ISP 的功能 我们里面还有很多像畸变矫正 或者说是一些插值滤波的一些功能 这些硬件加速器可以帮助 可以在 TDA3上 因为 TDA3 是没有 GPU 的 我们只需要用这个畸变矫正的 一个硬件加速器 就可以实现一个 3D 全景 这样的话一方面我们 极大的降低了 gpu 带来的 一个成本的上升 另一方面的话我们也 极大地降低了 gpu 带来的 巨大的发热量 另一方面的话对于图像的变换缩放 和格式的转换 我们也提供了硬件加速器 可以做一些准线性或者 bicubic 差值 或者说是缩放和格式转换 接下来的话由于 TI 在 视频监控方面具有非常深厚的经验 所以说我们提供了 非常丰富的一些宽动态处理的能力 我们能够做到在 sensor 的支持情况下 我们能够做到 120dB 以上的 一些宽动态能力 这也是目前业界 宽动态处理能力 相对非常强的一颗芯片 另一方面的话 整个 ISP 的架构是非常灵活的 因为经过各个版本的迭代 我们目前是可以进行一个 on the fly 的一个图像的处理 然后将 on the fly 计算出来的一些参数 或者说是图像片段 交由 DSP 和 EVE 进行处理 进一步对白平衡 或者说是对宽动态 或一些像频闪 等等一些问题的一些 更灵活更深度的解决 因为整个 ISP 都是可编程的 接下来的话是由于目前 机器视觉和图像处理 是目前车厂比较关心的一些重点功能 所以说这一部分的对 ISP 的控制 完全可以由软件来控制 而不是说交由某一个承包商 你就只能对目前这个效果 进行一个 walk around
各位观众大家好 欢迎参加TI培训 今天由我来给大家带来 TI TDA3x 低成本3D环视全景解决方案的一个培训 我是来自于 TI 上海 汽车处理器团队的 FAE 今天的培训大概持续约一个小时 大家可以通过邮件 或者说是通过留言的方式 把您的问题提出来 在最后我将会给大家一个详细的回复 今天的培训主要是分为以下几个部分 首先我们将整体的理解和了解 详细的讨论一下全景 在整个系统方案中的设计 接下来是对 TI 整个环视全景 解决方案的一个详细介绍 想具体介绍一下 TDA 芯片家族的细节 和 TI 全景在整个市场上的一个优势 如何带领大家在 TI 平台上取得成功 接下来的话会对 TDA3x 的一个 3D全新解决方案进行一个详细的介绍 我们将会对方案的一个结构 和集成 ISP 带来的一个优势 包括全景系统中对快速启动的一些要求 以及和集成更多 ADAS 算法 和整个芯片中运行的 VisionSDK 框架 进行一个详细的介绍 最后我们将会对全景和 ADADS 未来发展趋势以及 TI对这些未来发展趋势的一个 详细具体的一个支持情况 进行一个具体的介绍 首先我们来详细了解一下全景系统 全景系统逐渐成为现在汽车 智能汽车电动汽车以及 目前新出的所有汽车里面 都会带有的一个功能 人们可以通过全景 观察到车辆周围的一个环境 避免了一些碰撞 或者说对人或物的一些伤害 主要带来以下几个优点 一个是安全 能够避免人员的伤亡 另一方面的话便捷 可以极大的提高 新手驾驶员的一些停车的一些技能 另一方面的话 全景也带来一些自动化的一些帮助 比如说在自动泊车 或者说是在自动驾驶方面的一些帮助 此外只有全景是远远不足的 现有的一些高端车型 或者说是一些常见的一些车型里面 除了全景之外 依靠这四路摄像头 我们还可以做一些更多的一些 ADAS 算法 比如说像停车辅助自动泊车 障碍物的检测 运动物体的检测 有的汽车前还会带有第五路摄像头 这第五路摄像头的话 又可以做更多的事情 比如说像车道线检测 偏离预警 车道保持 行车记录仪 等等等等 各种车厂要求的一些 ADAS 功能 下面我将详细介绍一下 TI 对于汽车处理器 这一块领域投入的产品 TI 对汽车处理器主要是命名 JACINTO 目前是 JACINTO 的第六代 下一代将是 JACINTO 7 JACINTO 系列又分为 TDA 和 DRA 2 个产品线 TDA 产品线主要面向于 ADAS 领域 也就是说驾驶辅助是主要面向于安全性 主要面向于安全性高的一些应用 比如说像前式摄像机的一些安全性分析 驾驶员的一些疲劳检测 全景环视 后视镜或者说是多镜融合的一个替代 包括像毫米波雷达 或者说整个超声波雷达 对周围的一些感知 传感器的融合 包括像激光雷达 或者说 TOF 的一些数据融合 这些都是安全性要求非常高的一些应用 这些应用都可以在 TDA 芯片上进行实现 DRA 芯片和 TDA 芯片是 同一类型 相似的 IP 不同的软件 在 DRA 产品线中 我们更着重的推广一些数字化 智能化的一些娱乐化的一些应用 比如说像数字驾驶仓 数字仪表盘 抬头显示 中控娱乐 以及包含后座位的一些屏幕交互 车与车之间的一些通信网关 或者说是一些更复杂的一些用户交互功能 这些通信啊或者说娱乐方面的功能 都由 DRA 芯片来处理 到 2017 年为止 我们目前 TI 已经 涵盖市面上绝大多数所有的汽车品牌 在这些汽车品牌中 我们目前已经有 一亿五千万颗芯片在路上行驶 已经帮助大量的 OEM 和车厂 实现他们成功的目标 接下来的话我将详细介绍一下 TI 针对环视全景的一个解决方案 在这里我们将环视全景 按照摄像头的接口方式分为两类 一类是通过 LVDS 方式接入芯片 另一类的话是通过 以太网的方式介入芯片 对于 LVDS 接入芯片的平台 我们可以通过 FPD link 将不带有 ISP 的 sensor 把他们的 raw data 直接传输到芯片中 然后通过 FPD 串行解串 传至芯片中集成的 ISP 进行一个处理 最终输出显示 对于以太网接口的环视全景 我们可以通过以太网关 讲四路图像收至处理器中 由处理器中的硬件解码器进行一个解码 我们目前支持 MJTAG 和 H264 等等格式 一些目前市面上绝大多数常见的 一些格式的解码 然后我们可以对这些解码图像 进行一个图像拼接和分析 最终输出显示 对于全景的客户 他们最关心的几个要点是下面三个 首先是成本 因为降低成本提高含金量 是每一个车厂他们的最终目标 这样才能够有利于他们 形成一个有机的一个生态环境 逐步发展 然后芯片和镜头模组占据了整个系统里面 电子元件 BOM 的绝大多数部分 对于 LVDS 系统 如果是不带有 ISP的 摄像头 这样的话可以从镜头中节约大量的成本 接下来的话是可升级选项 因为目前的从车企的布局和 TIER1 的布局 他们更希望的是有一个低成本 中低成本和一个中高性能的一个系统 这几个系统尽可能的需要软件上的兼容 能够快速的从简单的功能 扩充到复杂的功能 并且不会有太多的一些平台上的一些变化 比如说从 2D 升级到 3D 比如说是以前只有一个车道保持功能 现在需要添加更多的 比如像动目标识别等等一些 ADAS 功能 这些功能包括了图像处理 传感器融合这些对处理器的一些 软件和硬件的一些结构提出了非常高的要求 另外的话对于不同车厂 或者说不同供应商提供的不同接口的摄像头 我们也需要在硬件上提供 合适的一些充足的 IP 或者说接口来做这件事情 除此之外对于开发的便捷性 比如说第三方生态环境 有没有算法提供商 能够提供针对这个平台优化的算法 以及官方提供的软件 SDK 是否能够充分发挥整个芯片的能力 以及对于这个平台刚刚上手 是否能够非常快速的购买到 这个硬件平台的一些开发板 以及像 ISP Tuning 等等一些 专业性非常强的一些服务 这些服务是否有 经验丰富的提供商来做这件事情 下面从 TDA 系列的芯片 我们来大概讲一下 整个 TDA 产品线 对于中高低端处理器 以及 ADAS 应用的一些具体的方案情况 首先我们可以看到 TI 将 TDA 系列 分为 TDA3x TDA2E TDA2x TDA2P 四个主要的型号 具体里面还会细分出更多的型号 TDA3 是一个精简版的处理器 虽然说数字上可能比 2 要大 但是它是一个面向于低成本 面向全景和简单的 ADAS 算法分析的一个处理器 它的目标是能够实现一个 3D 全景 以及附带上一些基本的一些 ADAS 算法 然后是 TDA2E 和 TDA2x 这两个平台我们已经有大量的客户 已经量产了 3D 全景 以及四路高清行车记录仪 包括像动目标识别 或者说是包括一些 车道保持一些功能 这两个芯片都是可以做到的 只是说 TDA2X 相对会更加复杂一些 性能会更高一些 对于 TDA2x TDA2P 我们的定位是一个高端的一个全景 包括像自动泊车 AVP 或者说是一些更复杂的一些 空间建模等等一些算法 我们将会在这两个芯片中实现 可以看到从低到高我们可以包含从2D到3D 并且每一个产品线的引脚是完全兼容的 同一个产品线中 比如说 TDA2x 中 又有对不同频率不同核心数量 进行了一个切分 所以说 TIER1 或者说车厂 完全不需要重新验证他们的硬件设计 不同 part number 的一些芯片 在相同的硬件上实现 并且在同样的软件架构中 增加相对应的功能 以实现一个高端的功能 和一个低成本的平台 两个平台同时推向市场 此外 TI 对于这些处理器的一个功耗 有一个非常强力的保证 首先是对 TDA3 的一个功耗 我们 TDA3 的功耗 将会满载的情况下将会低到1到3瓦 也就是说几乎不需要做任何散热的操作 在通风环境下可以保持室温稳定运行 然后对于高性能的 TDA2E TDA2x 以及包括 TDA2P 这些处理器完全不需要使用风扇 只需要对整个系统的散热设计 进行一个标准化设计即可 下面我们将分析一下 TI 全景解决方案的几个优势 首先系统规模可扩展 从刚才那张图上可以看到 TDA2 作为一个标准的一个全集 它向下裁剪出了 TDA2E 和 TDA3 向上扩展出了 TDA2P 这样的一个系统规模 对软件的一个相互兼容 和接口的一些兼容性 都提供了非常可靠的保证 比如说 TDA2x 既可以支持 LVDS 又可以支持以太网的输入 以及相同 P2P 的引脚 可以支持更高性能的一些计算 或者说更低成本的一个价位 然后整个系统将采用统一的 SDK 架构 也就是说你只需要将某些核心打钩 或者说是去除勾选这个核心 在这个软件上就会被编译 或者说不被编译 非常有利于各个芯片型号之间的移植 比如说如果说 你们在 TDA2E 上做过一次开发 然后在 TDA2x 上 只需要打开某些核心即可 另一方面的话 我们集成了高性能的 ISP 一颗单独的 ISP 就可以分时的处理四路高清图像 这个 ISP 是我们从视频监控领域 沿用过来一个继承并且改进的一个版本 积累了 TI 多年来 对视频监控的一些 ISP 的一些经验 能够带来非常好的一个图像质量 接下来的话对图像处理 TI 在汽车处理器里面 集中了大量的像 DSP 或者说 EVE 的一些硬件ip核 这些ip核的话能够 这些处理器能够做一些非常高效 非常快速的一些图像处理计算 包括像行人检测 动目标识别 和车道线检测 目前还是以图像处理为主 接下来的话开发支持 首先我们有非常丰富的 国内的第三方的生态环境 从软件到硬件再到 ISP Tuning 都会有非常多的一些候选人 可以供车厂 TIER1 2 进行选择 接下来的话 TI 也提供了 大量的人力物力 用于芯片的一些技术支持 和 SDK 的不断的开发 目前我们将会在大概几个月 每一两个月我们将会有一个版本的升级 说明我们已经在不停的改进 这个 SDK 逐渐的丰富并且完善 帮助各个车厂或者说 TIER1 实现他们最终的一个目标 下面我们将着重介绍一下 TI ISP 的一个优势 首先能够将极大的降低成本 因为你每增加一颗芯片 你可能需要增加相对应的一些外围电路 而 TI 的 TDA 系列 将 ISP 集成到芯片中 只需要芯片的一些 Pmake 即可 接下来是超高质量的图像 首先我们将摄像头远端的 raw data 传输至处理器中 然后由处理器中的 ISP 做一些复杂 然后灵活的一些操作 然后摄像头中去除了 ISP 之后 它的温度将会更低 这样的话发热情况会更好 这样的话会降低一些 sensor 上的一些噪声 接下来的话对于 TDA3 TDA2x TDA2P 这几个平台我们可以从 低成本平台直接 迁移到高性能的平台 软件完全不需要修改 因为 ISP 在这几个芯片中的 IP 和它的软件设计是完全相同的 除此之外由于 ISP 你是可以在处理器中进行统一操作 所以说我们带来了新的一些功能 是普通分立 ISP 做不到的事情 首先是对 led 的频闪 由于整个 ISP 的计算都是在芯片内的 也就说 M4 ARM 的核心 是可以对 ISP 进行控制 对 ISP 输出的一些信息 由 EVE 或者说是由 DSP 进行一个第二步的一个处理 这样的话我们可以 非常灵活的给 ISP 增加更多的功能 比如说像目前 led 大灯 或者说是 led 灯光带来的频闪 我们可以结合 sensor 的功能 和 ISP 的一些特性来解决这个现象 另一个的话我们的 ISP 不仅仅做了 ISP 的功能 我们里面还有很多像畸变矫正 或者说是一些插值滤波的一些功能 这些硬件加速器可以帮助 可以在 TDA3上 因为 TDA3 是没有 GPU 的 我们只需要用这个畸变矫正的 一个硬件加速器 就可以实现一个 3D 全景 这样的话一方面我们 极大的降低了 gpu 带来的 一个成本的上升 另一方面的话我们也 极大地降低了 gpu 带来的 巨大的发热量 另一方面的话对于图像的变换缩放 和格式的转换 我们也提供了硬件加速器 可以做一些准线性或者 bicubic 差值 或者说是缩放和格式转换 接下来的话由于 TI 在 视频监控方面具有非常深厚的经验 所以说我们提供了 非常丰富的一些宽动态处理的能力 我们能够做到在 sensor 的支持情况下 我们能够做到 120dB 以上的 一些宽动态能力 这也是目前业界 宽动态处理能力 相对非常强的一颗芯片 另一方面的话 整个 ISP 的架构是非常灵活的 因为经过各个版本的迭代 我们目前是可以进行一个 on the fly 的一个图像的处理 然后将 on the fly 计算出来的一些参数 或者说是图像片段 交由 DSP 和 EVE 进行处理 进一步对白平衡 或者说是对宽动态 或一些像频闪 等等一些问题的一些 更灵活更深度的解决 因为整个 ISP 都是可编程的 接下来的话是由于目前 机器视觉和图像处理 是目前车厂比较关心的一些重点功能 所以说这一部分的对 ISP 的控制 完全可以由软件来控制 而不是说交由某一个承包商 你就只能对目前这个效果 进行一个 walk around
各位观众大家好
欢迎参加TI培训
今天由我来给大家带来 TI TDA3x
低成本3D环视全景解决方案的一个培训
我是来自于 TI 上海
汽车处理器团队的 FAE
今天的培训大概持续约一个小时
大家可以通过邮件
或者说是通过留言的方式
把您的问题提出来
在最后我将会给大家一个详细的回复
今天的培训主要是分为以下几个部分
首先我们将整体的理解和了解
详细的讨论一下全景
在整个系统方案中的设计
接下来是对 TI 整个环视全景
解决方案的一个详细介绍
想具体介绍一下 TDA 芯片家族的细节
和 TI 全景在整个市场上的一个优势
如何带领大家在 TI 平台上取得成功
接下来的话会对 TDA3x 的一个
3D全新解决方案进行一个详细的介绍
我们将会对方案的一个结构
和集成 ISP 带来的一个优势
包括全景系统中对快速启动的一些要求
以及和集成更多 ADAS 算法
和整个芯片中运行的 VisionSDK 框架
进行一个详细的介绍
最后我们将会对全景和 ADADS
未来发展趋势以及
TI对这些未来发展趋势的一个
详细具体的一个支持情况
进行一个具体的介绍
首先我们来详细了解一下全景系统
全景系统逐渐成为现在汽车
智能汽车电动汽车以及
目前新出的所有汽车里面
都会带有的一个功能
人们可以通过全景
观察到车辆周围的一个环境
避免了一些碰撞
或者说对人或物的一些伤害
主要带来以下几个优点
一个是安全 能够避免人员的伤亡
另一方面的话便捷
可以极大的提高
新手驾驶员的一些停车的一些技能
另一方面的话
全景也带来一些自动化的一些帮助
比如说在自动泊车
或者说是在自动驾驶方面的一些帮助
此外只有全景是远远不足的
现有的一些高端车型
或者说是一些常见的一些车型里面
除了全景之外
依靠这四路摄像头
我们还可以做一些更多的一些 ADAS 算法
比如说像停车辅助自动泊车
障碍物的检测 运动物体的检测
有的汽车前还会带有第五路摄像头
这第五路摄像头的话
又可以做更多的事情
比如说像车道线检测 偏离预警
车道保持 行车记录仪 等等等等
各种车厂要求的一些 ADAS 功能
下面我将详细介绍一下
TI 对于汽车处理器
这一块领域投入的产品
TI 对汽车处理器主要是命名 JACINTO
目前是 JACINTO 的第六代
下一代将是 JACINTO 7
JACINTO 系列又分为
TDA 和 DRA 2 个产品线
TDA 产品线主要面向于 ADAS 领域
也就是说驾驶辅助是主要面向于安全性
主要面向于安全性高的一些应用
比如说像前式摄像机的一些安全性分析
驾驶员的一些疲劳检测 全景环视
后视镜或者说是多镜融合的一个替代
包括像毫米波雷达
或者说整个超声波雷达
对周围的一些感知 传感器的融合
包括像激光雷达
或者说 TOF 的一些数据融合
这些都是安全性要求非常高的一些应用
这些应用都可以在 TDA 芯片上进行实现
DRA 芯片和 TDA 芯片是
同一类型 相似的 IP 不同的软件
在 DRA 产品线中
我们更着重的推广一些数字化
智能化的一些娱乐化的一些应用
比如说像数字驾驶仓
数字仪表盘 抬头显示 中控娱乐
以及包含后座位的一些屏幕交互
车与车之间的一些通信网关
或者说是一些更复杂的一些用户交互功能
这些通信啊或者说娱乐方面的功能
都由 DRA 芯片来处理
到 2017 年为止
我们目前 TI 已经
涵盖市面上绝大多数所有的汽车品牌
在这些汽车品牌中
我们目前已经有
一亿五千万颗芯片在路上行驶
已经帮助大量的 OEM 和车厂
实现他们成功的目标
接下来的话我将详细介绍一下
TI 针对环视全景的一个解决方案
在这里我们将环视全景
按照摄像头的接口方式分为两类
一类是通过 LVDS 方式接入芯片
另一类的话是通过
以太网的方式介入芯片
对于 LVDS 接入芯片的平台
我们可以通过 FPD link
将不带有 ISP 的 sensor
把他们的 raw data 直接传输到芯片中
然后通过 FPD 串行解串
传至芯片中集成的 ISP 进行一个处理
最终输出显示
对于以太网接口的环视全景
我们可以通过以太网关
讲四路图像收至处理器中
由处理器中的硬件解码器进行一个解码
我们目前支持 MJTAG 和 H264 等等格式
一些目前市面上绝大多数常见的
一些格式的解码
然后我们可以对这些解码图像
进行一个图像拼接和分析
最终输出显示
对于全景的客户
他们最关心的几个要点是下面三个
首先是成本
因为降低成本提高含金量
是每一个车厂他们的最终目标
这样才能够有利于他们
形成一个有机的一个生态环境 逐步发展
然后芯片和镜头模组占据了整个系统里面
电子元件 BOM 的绝大多数部分
对于 LVDS 系统
如果是不带有 ISP的 摄像头
这样的话可以从镜头中节约大量的成本
接下来的话是可升级选项
因为目前的从车企的布局和 TIER1 的布局
他们更希望的是有一个低成本
中低成本和一个中高性能的一个系统
这几个系统尽可能的需要软件上的兼容
能够快速的从简单的功能
扩充到复杂的功能
并且不会有太多的一些平台上的一些变化
比如说从 2D 升级到 3D
比如说是以前只有一个车道保持功能
现在需要添加更多的
比如像动目标识别等等一些 ADAS 功能
这些功能包括了图像处理
传感器融合这些对处理器的一些
软件和硬件的一些结构提出了非常高的要求
另外的话对于不同车厂
或者说不同供应商提供的不同接口的摄像头
我们也需要在硬件上提供
合适的一些充足的 IP
或者说接口来做这件事情
除此之外对于开发的便捷性
比如说第三方生态环境
有没有算法提供商
能够提供针对这个平台优化的算法
以及官方提供的软件 SDK
是否能够充分发挥整个芯片的能力
以及对于这个平台刚刚上手
是否能够非常快速的购买到
这个硬件平台的一些开发板
以及像 ISP Tuning 等等一些
专业性非常强的一些服务
这些服务是否有
经验丰富的提供商来做这件事情
下面从 TDA 系列的芯片
我们来大概讲一下
整个 TDA 产品线
对于中高低端处理器
以及 ADAS 应用的一些具体的方案情况
首先我们可以看到 TI 将 TDA 系列
分为 TDA3x TDA2E TDA2x TDA2P
四个主要的型号
具体里面还会细分出更多的型号
TDA3 是一个精简版的处理器
虽然说数字上可能比 2 要大
但是它是一个面向于低成本
面向全景和简单的 ADAS
算法分析的一个处理器
它的目标是能够实现一个 3D 全景
以及附带上一些基本的一些 ADAS 算法
然后是 TDA2E 和 TDA2x
这两个平台我们已经有大量的客户
已经量产了 3D 全景
以及四路高清行车记录仪
包括像动目标识别
或者说是包括一些
车道保持一些功能
这两个芯片都是可以做到的
只是说 TDA2X 相对会更加复杂一些
性能会更高一些
对于 TDA2x TDA2P
我们的定位是一个高端的一个全景
包括像自动泊车
AVP 或者说是一些更复杂的一些
空间建模等等一些算法
我们将会在这两个芯片中实现
可以看到从低到高我们可以包含从2D到3D
并且每一个产品线的引脚是完全兼容的
同一个产品线中
比如说 TDA2x 中
又有对不同频率不同核心数量
进行了一个切分
所以说 TIER1 或者说车厂
完全不需要重新验证他们的硬件设计
不同 part number 的一些芯片
在相同的硬件上实现
并且在同样的软件架构中
增加相对应的功能
以实现一个高端的功能
和一个低成本的平台
两个平台同时推向市场
此外 TI 对于这些处理器的一个功耗
有一个非常强力的保证
首先是对 TDA3 的一个功耗
我们 TDA3 的功耗
将会满载的情况下将会低到1到3瓦
也就是说几乎不需要做任何散热的操作
在通风环境下可以保持室温稳定运行
然后对于高性能的 TDA2E TDA2x
以及包括 TDA2P
这些处理器完全不需要使用风扇
只需要对整个系统的散热设计
进行一个标准化设计即可
下面我们将分析一下
TI 全景解决方案的几个优势
首先系统规模可扩展
从刚才那张图上可以看到
TDA2 作为一个标准的一个全集
它向下裁剪出了 TDA2E 和 TDA3
向上扩展出了 TDA2P
这样的一个系统规模
对软件的一个相互兼容
和接口的一些兼容性
都提供了非常可靠的保证
比如说 TDA2x 既可以支持 LVDS
又可以支持以太网的输入
以及相同 P2P 的引脚
可以支持更高性能的一些计算
或者说更低成本的一个价位
然后整个系统将采用统一的 SDK 架构
也就是说你只需要将某些核心打钩
或者说是去除勾选这个核心
在这个软件上就会被编译
或者说不被编译
非常有利于各个芯片型号之间的移植
比如说如果说
你们在 TDA2E 上做过一次开发
然后在 TDA2x 上
只需要打开某些核心即可
另一方面的话
我们集成了高性能的 ISP
一颗单独的 ISP
就可以分时的处理四路高清图像
这个 ISP 是我们从视频监控领域
沿用过来一个继承并且改进的一个版本
积累了 TI 多年来
对视频监控的一些 ISP 的一些经验
能够带来非常好的一个图像质量
接下来的话对图像处理
TI 在汽车处理器里面
集中了大量的像 DSP
或者说 EVE 的一些硬件ip核
这些ip核的话能够
这些处理器能够做一些非常高效
非常快速的一些图像处理计算
包括像行人检测 动目标识别
和车道线检测
目前还是以图像处理为主
接下来的话开发支持
首先我们有非常丰富的
国内的第三方的生态环境
从软件到硬件再到 ISP Tuning
都会有非常多的一些候选人
可以供车厂 TIER1 2 进行选择
接下来的话 TI 也提供了
大量的人力物力
用于芯片的一些技术支持
和 SDK 的不断的开发
目前我们将会在大概几个月
每一两个月我们将会有一个版本的升级
说明我们已经在不停的改进
这个 SDK 逐渐的丰富并且完善
帮助各个车厂或者说 TIER1
实现他们最终的一个目标
下面我们将着重介绍一下
TI ISP 的一个优势
首先能够将极大的降低成本
因为你每增加一颗芯片
你可能需要增加相对应的一些外围电路
而 TI 的 TDA 系列
将 ISP 集成到芯片中
只需要芯片的一些 Pmake 即可
接下来是超高质量的图像
首先我们将摄像头远端的
raw data 传输至处理器中
然后由处理器中的 ISP 做一些复杂
然后灵活的一些操作
然后摄像头中去除了 ISP 之后
它的温度将会更低
这样的话发热情况会更好
这样的话会降低一些
sensor 上的一些噪声
接下来的话对于 TDA3 TDA2x TDA2P
这几个平台我们可以从
低成本平台直接
迁移到高性能的平台
软件完全不需要修改
因为 ISP 在这几个芯片中的
IP 和它的软件设计是完全相同的
除此之外由于 ISP
你是可以在处理器中进行统一操作
所以说我们带来了新的一些功能
是普通分立 ISP 做不到的事情
首先是对 led 的频闪
由于整个 ISP 的计算都是在芯片内的
也就说 M4 ARM 的核心
是可以对 ISP 进行控制
对 ISP 输出的一些信息
由 EVE 或者说是由 DSP
进行一个第二步的一个处理
这样的话我们可以
非常灵活的给 ISP 增加更多的功能
比如说像目前 led 大灯
或者说是 led 灯光带来的频闪
我们可以结合 sensor 的功能
和 ISP 的一些特性来解决这个现象
另一个的话我们的 ISP
不仅仅做了 ISP 的功能
我们里面还有很多像畸变矫正
或者说是一些插值滤波的一些功能
这些硬件加速器可以帮助
可以在 TDA3上
因为 TDA3 是没有 GPU 的
我们只需要用这个畸变矫正的
一个硬件加速器
就可以实现一个 3D 全景
这样的话一方面我们
极大的降低了 gpu 带来的
一个成本的上升
另一方面的话我们也
极大地降低了 gpu 带来的
巨大的发热量
另一方面的话对于图像的变换缩放
和格式的转换
我们也提供了硬件加速器
可以做一些准线性或者 bicubic 差值
或者说是缩放和格式转换
接下来的话由于 TI 在
视频监控方面具有非常深厚的经验
所以说我们提供了
非常丰富的一些宽动态处理的能力
我们能够做到在 sensor 的支持情况下
我们能够做到 120dB 以上的
一些宽动态能力
这也是目前业界
宽动态处理能力
相对非常强的一颗芯片
另一方面的话
整个 ISP 的架构是非常灵活的
因为经过各个版本的迭代
我们目前是可以进行一个
on the fly 的一个图像的处理
然后将 on the fly
计算出来的一些参数
或者说是图像片段
交由 DSP 和 EVE 进行处理
进一步对白平衡
或者说是对宽动态
或一些像频闪
等等一些问题的一些
更灵活更深度的解决
因为整个 ISP 都是可编程的
接下来的话是由于目前
机器视觉和图像处理
是目前车厂比较关心的一些重点功能
所以说这一部分的对 ISP 的控制
完全可以由软件来控制
而不是说交由某一个承包商
你就只能对目前这个效果
进行一个 walk around
各位观众大家好 欢迎参加TI培训 今天由我来给大家带来 TI TDA3x 低成本3D环视全景解决方案的一个培训 我是来自于 TI 上海 汽车处理器团队的 FAE 今天的培训大概持续约一个小时 大家可以通过邮件 或者说是通过留言的方式 把您的问题提出来 在最后我将会给大家一个详细的回复 今天的培训主要是分为以下几个部分 首先我们将整体的理解和了解 详细的讨论一下全景 在整个系统方案中的设计 接下来是对 TI 整个环视全景 解决方案的一个详细介绍 想具体介绍一下 TDA 芯片家族的细节 和 TI 全景在整个市场上的一个优势 如何带领大家在 TI 平台上取得成功 接下来的话会对 TDA3x 的一个 3D全新解决方案进行一个详细的介绍 我们将会对方案的一个结构 和集成 ISP 带来的一个优势 包括全景系统中对快速启动的一些要求 以及和集成更多 ADAS 算法 和整个芯片中运行的 VisionSDK 框架 进行一个详细的介绍 最后我们将会对全景和 ADADS 未来发展趋势以及 TI对这些未来发展趋势的一个 详细具体的一个支持情况 进行一个具体的介绍 首先我们来详细了解一下全景系统 全景系统逐渐成为现在汽车 智能汽车电动汽车以及 目前新出的所有汽车里面 都会带有的一个功能 人们可以通过全景 观察到车辆周围的一个环境 避免了一些碰撞 或者说对人或物的一些伤害 主要带来以下几个优点 一个是安全 能够避免人员的伤亡 另一方面的话便捷 可以极大的提高 新手驾驶员的一些停车的一些技能 另一方面的话 全景也带来一些自动化的一些帮助 比如说在自动泊车 或者说是在自动驾驶方面的一些帮助 此外只有全景是远远不足的 现有的一些高端车型 或者说是一些常见的一些车型里面 除了全景之外 依靠这四路摄像头 我们还可以做一些更多的一些 ADAS 算法 比如说像停车辅助自动泊车 障碍物的检测 运动物体的检测 有的汽车前还会带有第五路摄像头 这第五路摄像头的话 又可以做更多的事情 比如说像车道线检测 偏离预警 车道保持 行车记录仪 等等等等 各种车厂要求的一些 ADAS 功能 下面我将详细介绍一下 TI 对于汽车处理器 这一块领域投入的产品 TI 对汽车处理器主要是命名 JACINTO 目前是 JACINTO 的第六代 下一代将是 JACINTO 7 JACINTO 系列又分为 TDA 和 DRA 2 个产品线 TDA 产品线主要面向于 ADAS 领域 也就是说驾驶辅助是主要面向于安全性 主要面向于安全性高的一些应用 比如说像前式摄像机的一些安全性分析 驾驶员的一些疲劳检测 全景环视 后视镜或者说是多镜融合的一个替代 包括像毫米波雷达 或者说整个超声波雷达 对周围的一些感知 传感器的融合 包括像激光雷达 或者说 TOF 的一些数据融合 这些都是安全性要求非常高的一些应用 这些应用都可以在 TDA 芯片上进行实现 DRA 芯片和 TDA 芯片是 同一类型 相似的 IP 不同的软件 在 DRA 产品线中 我们更着重的推广一些数字化 智能化的一些娱乐化的一些应用 比如说像数字驾驶仓 数字仪表盘 抬头显示 中控娱乐 以及包含后座位的一些屏幕交互 车与车之间的一些通信网关 或者说是一些更复杂的一些用户交互功能 这些通信啊或者说娱乐方面的功能 都由 DRA 芯片来处理 到 2017 年为止 我们目前 TI 已经 涵盖市面上绝大多数所有的汽车品牌 在这些汽车品牌中 我们目前已经有 一亿五千万颗芯片在路上行驶 已经帮助大量的 OEM 和车厂 实现他们成功的目标 接下来的话我将详细介绍一下 TI 针对环视全景的一个解决方案 在这里我们将环视全景 按照摄像头的接口方式分为两类 一类是通过 LVDS 方式接入芯片 另一类的话是通过 以太网的方式介入芯片 对于 LVDS 接入芯片的平台 我们可以通过 FPD link 将不带有 ISP 的 sensor 把他们的 raw data 直接传输到芯片中 然后通过 FPD 串行解串 传至芯片中集成的 ISP 进行一个处理 最终输出显示 对于以太网接口的环视全景 我们可以通过以太网关 讲四路图像收至处理器中 由处理器中的硬件解码器进行一个解码 我们目前支持 MJTAG 和 H264 等等格式 一些目前市面上绝大多数常见的 一些格式的解码 然后我们可以对这些解码图像 进行一个图像拼接和分析 最终输出显示 对于全景的客户 他们最关心的几个要点是下面三个 首先是成本 因为降低成本提高含金量 是每一个车厂他们的最终目标 这样才能够有利于他们 形成一个有机的一个生态环境 逐步发展 然后芯片和镜头模组占据了整个系统里面 电子元件 BOM 的绝大多数部分 对于 LVDS 系统 如果是不带有 ISP的 摄像头 这样的话可以从镜头中节约大量的成本 接下来的话是可升级选项 因为目前的从车企的布局和 TIER1 的布局 他们更希望的是有一个低成本 中低成本和一个中高性能的一个系统 这几个系统尽可能的需要软件上的兼容 能够快速的从简单的功能 扩充到复杂的功能 并且不会有太多的一些平台上的一些变化 比如说从 2D 升级到 3D 比如说是以前只有一个车道保持功能 现在需要添加更多的 比如像动目标识别等等一些 ADAS 功能 这些功能包括了图像处理 传感器融合这些对处理器的一些 软件和硬件的一些结构提出了非常高的要求 另外的话对于不同车厂 或者说不同供应商提供的不同接口的摄像头 我们也需要在硬件上提供 合适的一些充足的 IP 或者说接口来做这件事情 除此之外对于开发的便捷性 比如说第三方生态环境 有没有算法提供商 能够提供针对这个平台优化的算法 以及官方提供的软件 SDK 是否能够充分发挥整个芯片的能力 以及对于这个平台刚刚上手 是否能够非常快速的购买到 这个硬件平台的一些开发板 以及像 ISP Tuning 等等一些 专业性非常强的一些服务 这些服务是否有 经验丰富的提供商来做这件事情 下面从 TDA 系列的芯片 我们来大概讲一下 整个 TDA 产品线 对于中高低端处理器 以及 ADAS 应用的一些具体的方案情况 首先我们可以看到 TI 将 TDA 系列 分为 TDA3x TDA2E TDA2x TDA2P 四个主要的型号 具体里面还会细分出更多的型号 TDA3 是一个精简版的处理器 虽然说数字上可能比 2 要大 但是它是一个面向于低成本 面向全景和简单的 ADAS 算法分析的一个处理器 它的目标是能够实现一个 3D 全景 以及附带上一些基本的一些 ADAS 算法 然后是 TDA2E 和 TDA2x 这两个平台我们已经有大量的客户 已经量产了 3D 全景 以及四路高清行车记录仪 包括像动目标识别 或者说是包括一些 车道保持一些功能 这两个芯片都是可以做到的 只是说 TDA2X 相对会更加复杂一些 性能会更高一些 对于 TDA2x TDA2P 我们的定位是一个高端的一个全景 包括像自动泊车 AVP 或者说是一些更复杂的一些 空间建模等等一些算法 我们将会在这两个芯片中实现 可以看到从低到高我们可以包含从2D到3D 并且每一个产品线的引脚是完全兼容的 同一个产品线中 比如说 TDA2x 中 又有对不同频率不同核心数量 进行了一个切分 所以说 TIER1 或者说车厂 完全不需要重新验证他们的硬件设计 不同 part number 的一些芯片 在相同的硬件上实现 并且在同样的软件架构中 增加相对应的功能 以实现一个高端的功能 和一个低成本的平台 两个平台同时推向市场 此外 TI 对于这些处理器的一个功耗 有一个非常强力的保证 首先是对 TDA3 的一个功耗 我们 TDA3 的功耗 将会满载的情况下将会低到1到3瓦 也就是说几乎不需要做任何散热的操作 在通风环境下可以保持室温稳定运行 然后对于高性能的 TDA2E TDA2x 以及包括 TDA2P 这些处理器完全不需要使用风扇 只需要对整个系统的散热设计 进行一个标准化设计即可 下面我们将分析一下 TI 全景解决方案的几个优势 首先系统规模可扩展 从刚才那张图上可以看到 TDA2 作为一个标准的一个全集 它向下裁剪出了 TDA2E 和 TDA3 向上扩展出了 TDA2P 这样的一个系统规模 对软件的一个相互兼容 和接口的一些兼容性 都提供了非常可靠的保证 比如说 TDA2x 既可以支持 LVDS 又可以支持以太网的输入 以及相同 P2P 的引脚 可以支持更高性能的一些计算 或者说更低成本的一个价位 然后整个系统将采用统一的 SDK 架构 也就是说你只需要将某些核心打钩 或者说是去除勾选这个核心 在这个软件上就会被编译 或者说不被编译 非常有利于各个芯片型号之间的移植 比如说如果说 你们在 TDA2E 上做过一次开发 然后在 TDA2x 上 只需要打开某些核心即可 另一方面的话 我们集成了高性能的 ISP 一颗单独的 ISP 就可以分时的处理四路高清图像 这个 ISP 是我们从视频监控领域 沿用过来一个继承并且改进的一个版本 积累了 TI 多年来 对视频监控的一些 ISP 的一些经验 能够带来非常好的一个图像质量 接下来的话对图像处理 TI 在汽车处理器里面 集中了大量的像 DSP 或者说 EVE 的一些硬件ip核 这些ip核的话能够 这些处理器能够做一些非常高效 非常快速的一些图像处理计算 包括像行人检测 动目标识别 和车道线检测 目前还是以图像处理为主 接下来的话开发支持 首先我们有非常丰富的 国内的第三方的生态环境 从软件到硬件再到 ISP Tuning 都会有非常多的一些候选人 可以供车厂 TIER1 2 进行选择 接下来的话 TI 也提供了 大量的人力物力 用于芯片的一些技术支持 和 SDK 的不断的开发 目前我们将会在大概几个月 每一两个月我们将会有一个版本的升级 说明我们已经在不停的改进 这个 SDK 逐渐的丰富并且完善 帮助各个车厂或者说 TIER1 实现他们最终的一个目标 下面我们将着重介绍一下 TI ISP 的一个优势 首先能够将极大的降低成本 因为你每增加一颗芯片 你可能需要增加相对应的一些外围电路 而 TI 的 TDA 系列 将 ISP 集成到芯片中 只需要芯片的一些 Pmake 即可 接下来是超高质量的图像 首先我们将摄像头远端的 raw data 传输至处理器中 然后由处理器中的 ISP 做一些复杂 然后灵活的一些操作 然后摄像头中去除了 ISP 之后 它的温度将会更低 这样的话发热情况会更好 这样的话会降低一些 sensor 上的一些噪声 接下来的话对于 TDA3 TDA2x TDA2P 这几个平台我们可以从 低成本平台直接 迁移到高性能的平台 软件完全不需要修改 因为 ISP 在这几个芯片中的 IP 和它的软件设计是完全相同的 除此之外由于 ISP 你是可以在处理器中进行统一操作 所以说我们带来了新的一些功能 是普通分立 ISP 做不到的事情 首先是对 led 的频闪 由于整个 ISP 的计算都是在芯片内的 也就说 M4 ARM 的核心 是可以对 ISP 进行控制 对 ISP 输出的一些信息 由 EVE 或者说是由 DSP 进行一个第二步的一个处理 这样的话我们可以 非常灵活的给 ISP 增加更多的功能 比如说像目前 led 大灯 或者说是 led 灯光带来的频闪 我们可以结合 sensor 的功能 和 ISP 的一些特性来解决这个现象 另一个的话我们的 ISP 不仅仅做了 ISP 的功能 我们里面还有很多像畸变矫正 或者说是一些插值滤波的一些功能 这些硬件加速器可以帮助 可以在 TDA3上 因为 TDA3 是没有 GPU 的 我们只需要用这个畸变矫正的 一个硬件加速器 就可以实现一个 3D 全景 这样的话一方面我们 极大的降低了 gpu 带来的 一个成本的上升 另一方面的话我们也 极大地降低了 gpu 带来的 巨大的发热量 另一方面的话对于图像的变换缩放 和格式的转换 我们也提供了硬件加速器 可以做一些准线性或者 bicubic 差值 或者说是缩放和格式转换 接下来的话由于 TI 在 视频监控方面具有非常深厚的经验 所以说我们提供了 非常丰富的一些宽动态处理的能力 我们能够做到在 sensor 的支持情况下 我们能够做到 120dB 以上的 一些宽动态能力 这也是目前业界 宽动态处理能力 相对非常强的一颗芯片 另一方面的话 整个 ISP 的架构是非常灵活的 因为经过各个版本的迭代 我们目前是可以进行一个 on the fly 的一个图像的处理 然后将 on the fly 计算出来的一些参数 或者说是图像片段 交由 DSP 和 EVE 进行处理 进一步对白平衡 或者说是对宽动态 或一些像频闪 等等一些问题的一些 更灵活更深度的解决 因为整个 ISP 都是可编程的 接下来的话是由于目前 机器视觉和图像处理 是目前车厂比较关心的一些重点功能 所以说这一部分的对 ISP 的控制 完全可以由软件来控制 而不是说交由某一个承包商 你就只能对目前这个效果 进行一个 walk around
各位观众大家好
欢迎参加TI培训
今天由我来给大家带来 TI TDA3x
低成本3D环视全景解决方案的一个培训
我是来自于 TI 上海
汽车处理器团队的 FAE
今天的培训大概持续约一个小时
大家可以通过邮件
或者说是通过留言的方式
把您的问题提出来
在最后我将会给大家一个详细的回复
今天的培训主要是分为以下几个部分
首先我们将整体的理解和了解
详细的讨论一下全景
在整个系统方案中的设计
接下来是对 TI 整个环视全景
解决方案的一个详细介绍
想具体介绍一下 TDA 芯片家族的细节
和 TI 全景在整个市场上的一个优势
如何带领大家在 TI 平台上取得成功
接下来的话会对 TDA3x 的一个
3D全新解决方案进行一个详细的介绍
我们将会对方案的一个结构
和集成 ISP 带来的一个优势
包括全景系统中对快速启动的一些要求
以及和集成更多 ADAS 算法
和整个芯片中运行的 VisionSDK 框架
进行一个详细的介绍
最后我们将会对全景和 ADADS
未来发展趋势以及
TI对这些未来发展趋势的一个
详细具体的一个支持情况
进行一个具体的介绍
首先我们来详细了解一下全景系统
全景系统逐渐成为现在汽车
智能汽车电动汽车以及
目前新出的所有汽车里面
都会带有的一个功能
人们可以通过全景
观察到车辆周围的一个环境
避免了一些碰撞
或者说对人或物的一些伤害
主要带来以下几个优点
一个是安全 能够避免人员的伤亡
另一方面的话便捷
可以极大的提高
新手驾驶员的一些停车的一些技能
另一方面的话
全景也带来一些自动化的一些帮助
比如说在自动泊车
或者说是在自动驾驶方面的一些帮助
此外只有全景是远远不足的
现有的一些高端车型
或者说是一些常见的一些车型里面
除了全景之外
依靠这四路摄像头
我们还可以做一些更多的一些 ADAS 算法
比如说像停车辅助自动泊车
障碍物的检测 运动物体的检测
有的汽车前还会带有第五路摄像头
这第五路摄像头的话
又可以做更多的事情
比如说像车道线检测 偏离预警
车道保持 行车记录仪 等等等等
各种车厂要求的一些 ADAS 功能
下面我将详细介绍一下
TI 对于汽车处理器
这一块领域投入的产品
TI 对汽车处理器主要是命名 JACINTO
目前是 JACINTO 的第六代
下一代将是 JACINTO 7
JACINTO 系列又分为
TDA 和 DRA 2 个产品线
TDA 产品线主要面向于 ADAS 领域
也就是说驾驶辅助是主要面向于安全性
主要面向于安全性高的一些应用
比如说像前式摄像机的一些安全性分析
驾驶员的一些疲劳检测 全景环视
后视镜或者说是多镜融合的一个替代
包括像毫米波雷达
或者说整个超声波雷达
对周围的一些感知 传感器的融合
包括像激光雷达
或者说 TOF 的一些数据融合
这些都是安全性要求非常高的一些应用
这些应用都可以在 TDA 芯片上进行实现
DRA 芯片和 TDA 芯片是
同一类型 相似的 IP 不同的软件
在 DRA 产品线中
我们更着重的推广一些数字化
智能化的一些娱乐化的一些应用
比如说像数字驾驶仓
数字仪表盘 抬头显示 中控娱乐
以及包含后座位的一些屏幕交互
车与车之间的一些通信网关
或者说是一些更复杂的一些用户交互功能
这些通信啊或者说娱乐方面的功能
都由 DRA 芯片来处理
到 2017 年为止
我们目前 TI 已经
涵盖市面上绝大多数所有的汽车品牌
在这些汽车品牌中
我们目前已经有
一亿五千万颗芯片在路上行驶
已经帮助大量的 OEM 和车厂
实现他们成功的目标
接下来的话我将详细介绍一下
TI 针对环视全景的一个解决方案
在这里我们将环视全景
按照摄像头的接口方式分为两类
一类是通过 LVDS 方式接入芯片
另一类的话是通过
以太网的方式介入芯片
对于 LVDS 接入芯片的平台
我们可以通过 FPD link
将不带有 ISP 的 sensor
把他们的 raw data 直接传输到芯片中
然后通过 FPD 串行解串
传至芯片中集成的 ISP 进行一个处理
最终输出显示
对于以太网接口的环视全景
我们可以通过以太网关
讲四路图像收至处理器中
由处理器中的硬件解码器进行一个解码
我们目前支持 MJTAG 和 H264 等等格式
一些目前市面上绝大多数常见的
一些格式的解码
然后我们可以对这些解码图像
进行一个图像拼接和分析
最终输出显示
对于全景的客户
他们最关心的几个要点是下面三个
首先是成本
因为降低成本提高含金量
是每一个车厂他们的最终目标
这样才能够有利于他们
形成一个有机的一个生态环境 逐步发展
然后芯片和镜头模组占据了整个系统里面
电子元件 BOM 的绝大多数部分
对于 LVDS 系统
如果是不带有 ISP的 摄像头
这样的话可以从镜头中节约大量的成本
接下来的话是可升级选项
因为目前的从车企的布局和 TIER1 的布局
他们更希望的是有一个低成本
中低成本和一个中高性能的一个系统
这几个系统尽可能的需要软件上的兼容
能够快速的从简单的功能
扩充到复杂的功能
并且不会有太多的一些平台上的一些变化
比如说从 2D 升级到 3D
比如说是以前只有一个车道保持功能
现在需要添加更多的
比如像动目标识别等等一些 ADAS 功能
这些功能包括了图像处理
传感器融合这些对处理器的一些
软件和硬件的一些结构提出了非常高的要求
另外的话对于不同车厂
或者说不同供应商提供的不同接口的摄像头
我们也需要在硬件上提供
合适的一些充足的 IP
或者说接口来做这件事情
除此之外对于开发的便捷性
比如说第三方生态环境
有没有算法提供商
能够提供针对这个平台优化的算法
以及官方提供的软件 SDK
是否能够充分发挥整个芯片的能力
以及对于这个平台刚刚上手
是否能够非常快速的购买到
这个硬件平台的一些开发板
以及像 ISP Tuning 等等一些
专业性非常强的一些服务
这些服务是否有
经验丰富的提供商来做这件事情
下面从 TDA 系列的芯片
我们来大概讲一下
整个 TDA 产品线
对于中高低端处理器
以及 ADAS 应用的一些具体的方案情况
首先我们可以看到 TI 将 TDA 系列
分为 TDA3x TDA2E TDA2x TDA2P
四个主要的型号
具体里面还会细分出更多的型号
TDA3 是一个精简版的处理器
虽然说数字上可能比 2 要大
但是它是一个面向于低成本
面向全景和简单的 ADAS
算法分析的一个处理器
它的目标是能够实现一个 3D 全景
以及附带上一些基本的一些 ADAS 算法
然后是 TDA2E 和 TDA2x
这两个平台我们已经有大量的客户
已经量产了 3D 全景
以及四路高清行车记录仪
包括像动目标识别
或者说是包括一些
车道保持一些功能
这两个芯片都是可以做到的
只是说 TDA2X 相对会更加复杂一些
性能会更高一些
对于 TDA2x TDA2P
我们的定位是一个高端的一个全景
包括像自动泊车
AVP 或者说是一些更复杂的一些
空间建模等等一些算法
我们将会在这两个芯片中实现
可以看到从低到高我们可以包含从2D到3D
并且每一个产品线的引脚是完全兼容的
同一个产品线中
比如说 TDA2x 中
又有对不同频率不同核心数量
进行了一个切分
所以说 TIER1 或者说车厂
完全不需要重新验证他们的硬件设计
不同 part number 的一些芯片
在相同的硬件上实现
并且在同样的软件架构中
增加相对应的功能
以实现一个高端的功能
和一个低成本的平台
两个平台同时推向市场
此外 TI 对于这些处理器的一个功耗
有一个非常强力的保证
首先是对 TDA3 的一个功耗
我们 TDA3 的功耗
将会满载的情况下将会低到1到3瓦
也就是说几乎不需要做任何散热的操作
在通风环境下可以保持室温稳定运行
然后对于高性能的 TDA2E TDA2x
以及包括 TDA2P
这些处理器完全不需要使用风扇
只需要对整个系统的散热设计
进行一个标准化设计即可
下面我们将分析一下
TI 全景解决方案的几个优势
首先系统规模可扩展
从刚才那张图上可以看到
TDA2 作为一个标准的一个全集
它向下裁剪出了 TDA2E 和 TDA3
向上扩展出了 TDA2P
这样的一个系统规模
对软件的一个相互兼容
和接口的一些兼容性
都提供了非常可靠的保证
比如说 TDA2x 既可以支持 LVDS
又可以支持以太网的输入
以及相同 P2P 的引脚
可以支持更高性能的一些计算
或者说更低成本的一个价位
然后整个系统将采用统一的 SDK 架构
也就是说你只需要将某些核心打钩
或者说是去除勾选这个核心
在这个软件上就会被编译
或者说不被编译
非常有利于各个芯片型号之间的移植
比如说如果说
你们在 TDA2E 上做过一次开发
然后在 TDA2x 上
只需要打开某些核心即可
另一方面的话
我们集成了高性能的 ISP
一颗单独的 ISP
就可以分时的处理四路高清图像
这个 ISP 是我们从视频监控领域
沿用过来一个继承并且改进的一个版本
积累了 TI 多年来
对视频监控的一些 ISP 的一些经验
能够带来非常好的一个图像质量
接下来的话对图像处理
TI 在汽车处理器里面
集中了大量的像 DSP
或者说 EVE 的一些硬件ip核
这些ip核的话能够
这些处理器能够做一些非常高效
非常快速的一些图像处理计算
包括像行人检测 动目标识别
和车道线检测
目前还是以图像处理为主
接下来的话开发支持
首先我们有非常丰富的
国内的第三方的生态环境
从软件到硬件再到 ISP Tuning
都会有非常多的一些候选人
可以供车厂 TIER1 2 进行选择
接下来的话 TI 也提供了
大量的人力物力
用于芯片的一些技术支持
和 SDK 的不断的开发
目前我们将会在大概几个月
每一两个月我们将会有一个版本的升级
说明我们已经在不停的改进
这个 SDK 逐渐的丰富并且完善
帮助各个车厂或者说 TIER1
实现他们最终的一个目标
下面我们将着重介绍一下
TI ISP 的一个优势
首先能够将极大的降低成本
因为你每增加一颗芯片
你可能需要增加相对应的一些外围电路
而 TI 的 TDA 系列
将 ISP 集成到芯片中
只需要芯片的一些 Pmake 即可
接下来是超高质量的图像
首先我们将摄像头远端的
raw data 传输至处理器中
然后由处理器中的 ISP 做一些复杂
然后灵活的一些操作
然后摄像头中去除了 ISP 之后
它的温度将会更低
这样的话发热情况会更好
这样的话会降低一些
sensor 上的一些噪声
接下来的话对于 TDA3 TDA2x TDA2P
这几个平台我们可以从
低成本平台直接
迁移到高性能的平台
软件完全不需要修改
因为 ISP 在这几个芯片中的
IP 和它的软件设计是完全相同的
除此之外由于 ISP
你是可以在处理器中进行统一操作
所以说我们带来了新的一些功能
是普通分立 ISP 做不到的事情
首先是对 led 的频闪
由于整个 ISP 的计算都是在芯片内的
也就说 M4 ARM 的核心
是可以对 ISP 进行控制
对 ISP 输出的一些信息
由 EVE 或者说是由 DSP
进行一个第二步的一个处理
这样的话我们可以
非常灵活的给 ISP 增加更多的功能
比如说像目前 led 大灯
或者说是 led 灯光带来的频闪
我们可以结合 sensor 的功能
和 ISP 的一些特性来解决这个现象
另一个的话我们的 ISP
不仅仅做了 ISP 的功能
我们里面还有很多像畸变矫正
或者说是一些插值滤波的一些功能
这些硬件加速器可以帮助
可以在 TDA3上
因为 TDA3 是没有 GPU 的
我们只需要用这个畸变矫正的
一个硬件加速器
就可以实现一个 3D 全景
这样的话一方面我们
极大的降低了 gpu 带来的
一个成本的上升
另一方面的话我们也
极大地降低了 gpu 带来的
巨大的发热量
另一方面的话对于图像的变换缩放
和格式的转换
我们也提供了硬件加速器
可以做一些准线性或者 bicubic 差值
或者说是缩放和格式转换
接下来的话由于 TI 在
视频监控方面具有非常深厚的经验
所以说我们提供了
非常丰富的一些宽动态处理的能力
我们能够做到在 sensor 的支持情况下
我们能够做到 120dB 以上的
一些宽动态能力
这也是目前业界
宽动态处理能力
相对非常强的一颗芯片
另一方面的话
整个 ISP 的架构是非常灵活的
因为经过各个版本的迭代
我们目前是可以进行一个
on the fly 的一个图像的处理
然后将 on the fly
计算出来的一些参数
或者说是图像片段
交由 DSP 和 EVE 进行处理
进一步对白平衡
或者说是对宽动态
或一些像频闪
等等一些问题的一些
更灵活更深度的解决
因为整个 ISP 都是可编程的
接下来的话是由于目前
机器视觉和图像处理
是目前车厂比较关心的一些重点功能
所以说这一部分的对 ISP 的控制
完全可以由软件来控制
而不是说交由某一个承包商
你就只能对目前这个效果
进行一个 walk around
视频报错
手机看
扫码用手机观看
收藏本课程
视频简介
ADAS-车用全景解决方案 - TID3X -1
所属课程:TI 汽车电子“芯”驱动直播月-回看
发布时间:2018.08.24
视频集数:17
本节视频时长:00:21:36
课程主要介绍了以下六方面的内容:汽车车身控制模块、电动汽车模拟引擎声音系统设计、ADAS-车用全景解决方案 - TDA2E17、车身照明系统设计 、ADAS-车用全景解决方案 - TID3X、ADAS 主流系统架构介绍与设计挑战。
//=$v1;?>
//=$v['id']?>//=$v['down_category']?>//=$v['link']?>//=$v['is_dl']?>//=$v['link']?>//=$v['name']?>//=$v['name']?>
//=$v['id']?>//=$v['down_category']?>//=$v['path']?>//=$v['is_dl']?>//=$v['path']?>//=$v['name']?>//=$v['name']?>
////=count($lesson['bbsinfo'])?>
//=$elink?>//=$elink?>//=$tags[0]?>//=$tags[0]?>//=$elink?>//= $elink?>//=$tags[1]?>//=$tags[1]?>
//=$lesson['bbs'];?>
//=count($lesson['bbsinfo'])?>