从无数的初创公司，一直到亚马逊、百度、英特尔和英伟达等大公司，许多公司为 AI 工作负载构建专用集成电路（Application-specific integrated circuit，ASIC）。

2021 年 8 月 19 日，特斯拉在 AI 日（Tesla AI Day，Youtube全程视频，那人从47分钟开始观看）上推出人工智能训练计算机 DOJO D1 芯片，D1 芯片是台积电在 7nm 半导体节点上打造的产品。该芯片包含超过 500 亿个晶体管，拥有 645mm^2 的巨大裸片尺寸。

浮点数是计算机上最常用的数据类型之一，有些语言甚至数值只有浮点型（如Perl，Lua）。常用的浮点数有双精度、单精度和英伟达提出的半精度。双精度和单精度是为了计算，而半精度更多是为了降低数据传输和存储成本。

很多场景对于精度要求也没那么高，例如分布式深度学习里面，如果用半精度的话，比起单精度来可以节省一半传输成本。考虑到深度学习的模型可能会有几亿个参数，使用半精度传输还是非常有价值的。