现有的 Jetson Orin 开发套件用户只需升级软件即可体验到这种性能提升,因此现在每个人都可以通过生成式 AI 解锁新的可能性。
英伟达2024年12 月 17 日推出了一款名为Jetson Orin Nano Super Developer Kit的生成式AI超级计算机。英伟达CEO黄仁勋表示,这款开发者套件通过软件升级实现了更高性能和更低价格,仅售249美元,尺寸小巧,可放在手掌中,可将生成式AI性能(比较Jetson Orin Nano)提高高达1.7倍。
该公司表示,这款产品适合商业AI开发者、爱好者和学生,与其前代产品相比,其生成式AI推理性能提升了1.7倍,性能提高了70%,每秒可以执行高达67万亿次的INT8运算(67 INT8 TOPS),内存带宽也提升了50%,达到了102GB/s。
为了支持机器人和多模态代理中生成式 AI 工作负载的新兴应用,NVIDIA 通过软件更新刷新了NVIDIA Jetson Orin Nano Developer Kit,性能前所未有地提升了 1.7 倍,新价格仅为 249 美元。为了表彰先进 AI 性能和可访问性的卓越提升,Jetson Orin Nano Developer Kit更名为 NVIDIA Jetson Orin Nano Super Developer Kit。Jetson Orin Nano Developer Kit只需通过软件更新即可升级为 Jetson Orin Nano Super Developer Kit。——NVIDIA官方技术博客
有点绕。实际上全新的 Jetson Orin Nano 超级开发套件就是以前的 Jetson Orin Nano 开发套件,价格还从 499 美元降至 249 美元(中国市场建议零售价为2070元人民币)。这种升级软件、折扣价格的招法叫什么来着?
另外,这里特别标明了算力值67 INT8 TOPS。INT8(8位整数)是一种模型量化过程的数据表示方式,通过将浮点数(通常是32位浮点数,FP32)转换为8位整数,显著降低了计算复杂度和内存占用,从而提高了模型的推理速度。这个算力值足够使Jetson Orin Nano作为物联网设备、移动设备等边缘设备进行实时推理,而独立显卡更适合用于大众层面熟知的各种复杂模型;从另一个角度来说,Jetson Orin Nano提供开发者支持以实现原型设计,独立显卡则更具有生产力属性。
黄仁勋还特意为这款产品录制了一段视频(当然也是从炉子里端出来的),如同2021年发布Hopper H100时一样,展现英伟达对这款产品的重视。在视频中,黄仁勋表示,从Xavier开始,英伟达就创造了一种新的处理器,也就是机器人处理器,当时没人知道他们在做什么。
更多硬件配置:Jetson Orin Nano Super Developer Kit,包括一个 Jetson Orin Nano 8GB 系统级模块(SoM)和一个参考载板,搭载了六核Cortex-A78AE CPU,主频达到1.7 GHz,板载8GB内存,并配备了1020 MHz的GPU,拥有1024个CUDA核心和32个Tensor核心,能够提供最高67 TOPS(稀疏)或33 TOPS(密集)的AI算力。
他表示,无论是创建基于检索增强生成(Retrieval-Augmented Generation, RAG)的大型语言模型(LLM)聊天机器人,构建视觉AI代理,还是部署基于AI的机器人,Jetson Orin Nano Super都是理想的选择,这款套件都能以更低的成本提供强大的运算效能,主要由于产品支持低功耗设计,能以7瓦到25瓦的功耗运行,适合各种边缘设备云算场景,无论是智能城市、智能农业还是机器人开发。
持续提升的性能和体验
通过软件更新,Jetson Orin Nano Super也将为已有Jetson Orin Nano开发者套件的用户提升生成式AI性能。
黄仁勋表示,Jetson Orin Nano Super非常适合那些希望在生成式AI、机器人技术或计算机视觉领域发展技能的人士。在AI领域从任务专用模型向基础模型转变的趋势下,它也为开发者提供了一个将创意变为现实的易用平台。
为生成式AI提供强劲性能
Jetson Orin Nano Super性能增强,为所有流行的生成式AI模型,例如Meta的LLaMA、阿里巴巴的通义千问以及谷歌的Gemma。这款套件基于Transformer的计算机视觉模型带来了显著提升,进一步提升效能表现。
该公司表示,开发者套件包括一个Jetson Orin Nano 8GB 系统模块(SoM)和一个参考载板,为边缘设备AI应用的原型设计提供了理想平台。
系统模块采用NVIDIA Ampere架构GPU,配备张量计算核心(Tensor Cores)和6核 Arm CPU,能够处理多个并行AI应用管道,并提供高性能推理能力。此外,它还支持最多四个摄像头,分辨率和帧率均高于前代版本。
英伟达强调,随着AI技术逐渐从云端走向终端,实体AI将是下一波发展重点,Jetson Orin Nano Super不仅可以用于开发聊天机器人,也适合简历视觉AI代理或部署AI机器人等应用。
广泛的生成式AI软件生态系统与社区
此外,英伟达Jetson AI实验室提供对最新开源社区模型的支持,以及易于使用的教程。开发者还可以从更广泛的Jetson社区获得支持,并从其他开发者的项目中获得灵感。
Jetson支持英伟达的AI软件,包括用于机器人技术的NVIDIA Isaac、用于视觉AI的NVIDIA Metropolis和用于传感器处理的NVIDIA Holoscan。通过NVIDIA Omniverse Replicator生成合成数据,以及使用NVIDIA TAO工具包微调来自NGC目录的预训练AI模型,开发时间可以大幅缩短。
Jetson生态系统合作伙伴提供额外的AI和系统软件、开发工具以及定制软件开发服务。他们还提供与摄像头及其他传感器相关的支持,以及载板和产品解决方案的设计服务。
为所有Jetson Orin用户解锁性能提升:Super模式
英伟达也宣布将为Jetson Orin NX和Nano系列的系统模块提供软件更新,让它们也能享受到Super模式的性能提升,最高可达70%。这些更新将通过Jetpack SDK管理器发布在英伟达网站和GitHub上。
Jetson Orin Nano Super Developer Kit预计很快就会通过全球经销商开始供货。对于想要入门AI开发的学生、工程师或创客来说,这款开发套件提供了一个经济实惠且功能强大的平台选择。
英伟达将Jetson Orin Nano Super Developer Kit定位为推动生成式AI技术普及化的关键产品,希望在智能交通、零售管理以及物联网(IoT)应用中大放异彩。
👍
楼主残忍的关闭了评论