NVIDIA Jetson:适用于一切自主机器的 AI 平台

NVIDIA Jetson.png

NVIDIA® Jetson™ 系统所提供的性能和能效可提高自主机器软件的运行速度,而且功耗更低。每个系统都是一个完备的模块化系统(SOM),包括 GPU、CPU、内存、电源管理、高速接口等,可节省开发时间和资金。Jetson 还具备可扩展性。只需选择适合应用场合的 SOM,即能够以此为基础构建自定义系统,满足特定的应用需求,如基于入门级人工智能的机器人、无人机和相机。

可扩展且灵活的硬件解决方案

无论对于企业、中小型企业还是研究而言,Jetson 系列都可以提供可满足特定性能和预算需求的解决方案。这些解决方案全部使用相同的架构和 SDK,可在整个产品组合中 实现一个代码基和无缝部署。

JETSON 产品组合

NVIDIA Jetson system.png
NVIDIA Jetson 模块规格比较

NVIDIA Jetson 模块规格比较
NVIDIA Jetson 模块规格比较

Jetson模块可以支持需要各种性能级别和价格的大量应用场合,例如 AI 网络视频录像机 (NVR)、高精度制造领域中的自动光学检查 (AOI) 以及自主移动机器人 (AMR)。Jetson 模块外形小巧,能提供出色的性能和能效,因此,可在边缘设备的嵌入式系统中高效引入现代 AI、深度学习和推理。

nvidia-jetson-nano-module-standing-2c50-d@2x.jpg

Jetson Nano

Jetson Nano 模块是一款低成本的 AI 计算机,具备超高的性能和能效,可以运行现代 AI 工作负载,并行运行多个神经网络,以及同时处理来自多个高清传感器的数据。这使其成为向嵌入式产品中添加高级 AI 的理想的入门级选项。

nvidia-jetson-tx2-module-2c50-d@2x.png

Defense Blog 报导,俄罗斯无人机制造商 Albatros 在其新型 Albatros M5 无人机中使用 Jetson Nano,以实现无人机发动攻击时有精确的图像辨识能力。

Jetson Nano Developer Kit
Jetson Nano Developer Kit

Jetson TX2

适用于边缘设备 AI 应用的 Jetson TX2 嵌入式模块现在有三个版本:Jetson TX2 (8GB)、Jetson TX2i 和新推出且成本较低的 Jetson TX2 4GB。基于 Jetson TX1 的产品能以相同的价格转换成更强大的 Jetson TX2 4GB。

nvidia-jetson-agx-module-2c50-d@2x.png

Jetson AGX Xavier

Jetson AGX Xavier 是率先推出的专为自主机器设计的计算机。该计算机具有六个计算机主板,用于处理传感器数据和运行自主机器软件,并且可以提供完全自主机器所需的性能和能效。

Jetson AGX Xavier 8GB 是一款价格实惠的低功率 Jetson AGX Xavier,可与现有的 Jetson AGX Xavier 实现完整的软硬件兼容性。其整个模块最高消耗 20W 功率,同时提供高达 20 TOPS 的 AI 性能。该产品将自 2019 年 8 月起发售。

embedded-jetson-sw-stack-diagram-update-white.png
NVIDIA JetPack SDK - 适用于所有 Jetson 产品的统一软件版本

单一且统一的软件堆栈

这三代 Jetson 解决方案均由同一软件堆栈提供支持,可让公司进行一次开发,即可在任意位置部署。Jetson 平台由 Jetpack SDK 提供支持,包括板级支持包 (BSP)、Linux 操作系统、NVIDIA CUDA(R),并且兼容第三方平台。开发者可以利用 DeepStream SDK 在 Jetson 上快速构建和部署高效的视频分析管线。

CUDA 是NVIDIA 发明的一种并行计算平台和编程模型。它通过利用图形处理器(GPU)的处理能力,可大幅提升计算性能。

JetPack 可提供用于深度学习、计算机视觉、加速计算和多媒体的库,而且支持各类传感器的驱动程序。此外,NVIDIA 还针对深度估算、路线规划和物体检测等重要的自主机器任务开发了 GPU 加速 IP 。

NVIDIA 还为 Jetpack 提供了可以加快开发过程的大量开发者工具,而且提供了有关应用和系统功率和性能的详细信息,因此,有助于开发者快速优化和调整代码。

NVIDIA Jetson动态


NVIDIA Jetson为嵌入式 AI 计算机建立了生态系统,除以上介绍到的Nano、TX2和AGX Xavier系列,后续更形成了系列产品。

  • Jetson Orin:Jetson AGX Orin Series、Jetson Orin NX Series、Jetson Orin Nano Series
  • Jetson Xavier:Jetson AGX Xavier Series、Jetson Xavier NX Series
  • Jetson TX2
  • Jetson Nano

Jetson_modules-Commercial_roadmap-2023-03-18.png
NVIDIA Jetson硬件路线图

所有 NVIDIA Jetson 都是支持 CUDA 的产品。

20230328145548.png

目前NVIDIA和AMD供应了市场上大部分独立显卡。NVIDIA最著名的GeForce绘图处理器产品线于1999年首次亮相,现在已经扩展至桌面型和笔记本电脑。NVIDIA还拥有为移动设备设计的Tegra系列、为专业CGI工作站设计的Quadro系列,以及为服务器和高效运算设计的Tesla系列图形处理器。

NVIDIA目前朝向人工智能和机器视觉的市场发展,也是图形处理器上重要的开发工具CUDA的发明者。2006 年发布了一个名为CUDA(Compute Unified Device Architecture)的软件工具包,这是一种截然不同的计算机程序编写方式。CUDA开发者平台以其易用性和通用性,让GPU可以用于通用超级计算。

尽管所有 NVIDIA Jetson 都定位 AI 计算,但具有 Tensor Core 的产品更为优秀(这个结论适用于 NVIDIA 其他 GPU)。Tensor Core是专为执行张量或矩阵运算而设计的专用执行单元,而这些运算正是深度学习所采用的核心计算函数。Tensor Core在训练方面能够提供高达12倍的TFLOPS峰值,而在推理方面则可提供6倍的TFLOPS峰值。

20230328151112.png
NVIDIA Jetson 规格

如有意寻求最佳性能的 NVIDIA Jetson,不妨选择Jetson AGX Orin,其GPU采用最新的Ampere架构,支持 CUDA 并拥有Tensor Core,AI 算力达到 275 TOPS。

Jetson Orin是NVIDIA Jetson最高端的系列,提供在边缘构建自主机器所需的性能,拥有从入门级 Jetson Orin Nano 到最高性能的 Jetson AGX Orin 等七种模块。

O1CN01FVOWRO1c5UTikdu5o_!!2206856013549.jpg

Jetson 开发者套件

Jetson Orin Nano Developer Kit
Jetson Orin Nano Developer Kit

作为显著提高AI性能的开发套件,Jetson Orin Nano 开发者套件(Jetson Orin Nano Developer Kit)并不是Jetson Nano 开发者套件(Jetson Nano Developer Kit)的平替,它最多 40 TOPS 的 AI 性能是 Jetson Nano 的 80 倍,能够运行包括转换器和高级机器人模型在内的各类常用 AI 模型。其 CUDA 算力、CPU 性能和每瓦特性能分别是 Nano 的 5.4 倍、6.6 倍和 50 倍,这为入门级嵌入式计算和边缘 AI 树立了新标准。

Jetson AGX Orin Developer Kit
Jetson AGX Orin Developer Kit

性能更佳的 Jetson AGX Orin 开发者套件提供高达 275 TOPS 的 AI 性能,非常适合对先进的 AI 驱动的机器人和其他边缘 AI 设备进行原型设计。

1_2023060614272711X3H.jpg

从云端到办公室到数据中心再到边缘,英伟达提供的解决方案能够在任何规模的企业AI和HPC工作负载上提供突破性的性能,实时推动业务决策,从而加快价值实现。英伟达的边缘计算平台Jetson,或承载着英伟达的另一个万亿市值战略。

更多AI边缘推理硬件


基于英特尔®Movidius™Myriad™X视觉处理单元(VPU)

基于Cuda

基于Edge TPU

NVIDIA Jetson 生成式 AI 实验室


stable-diffusion.jpg
在 Jetson Orin 设备中演练 stable-diffusion-webui

2023 年 10 月,NVIDIA 发布了 Jetson 生成式 AI 实验室(Jetson Generative AI Lab),使开发者能够通过NVIDIA Jetson边缘设备在现实世界中探索生成式 AI 的无限可能性。不同于其他嵌入式平台,Jetson 能够在本地运行大语言模型(LLM)、视觉 Transformer 和 Stable Diffusion,包括在Jetson AGX Orin上以交互速率运行最大的 Llama-2-70B 模型。

👍

本文由 CulmartPlay 整理发布,参考 CC-BY-SA 3.0 协议共享,欢迎转载、引用或改编。
感谢您的支持,以共同推动STEM公益教育!

楼主残忍的关闭了评论