尽管人们担心人工智能会取代人类,但大部分“打工人”还是在工作中积极拥抱AI来提高工作效率。根据FlexOS收集的Similarweb网站流量数据,2024年5月份,OpenAI的ChatGPT使用量增长了74%,网站访问量从4月份的18亿次增至31亿次。
ChatGPT是2024年5月份全球工作中使用最多的生成式人工智能工具,紧随其后的竞争对手包括谷歌Gemini和Anthropic的Claude。
本地部署人工智能模型,不仅通过重视和利用资源赋予个人权力,而且还培育出更加分散和民主的数字生态系统。也就是说,不仅增强了隐私和安全性,还引入了个人计算作为数字时代潜在货币的有趣概念。
Ollama是一个易用的本地语言模型运行框架,可以一键启动并运行Meta Llama 3、Microsoft Phi 3、Google Gemma 2和其他更多开源语言模型(很棒,这也是一份很好的开源语言模型清单,和NVIDIA提供的最受欢迎的基础模型列表一样,Llama 3位列第一),并支持自定义模型导入。本文基于 Windows 11 + 32 GB + RTX 2080 Ti + Hollama/Open WebUI + Llama 3/3.1 8B 及 Llama 3.2 Vision 11B 模型实践。
在台北举行的 2024 年度 Computex 大会上,英特尔、AMD 和 Nvidia 展示了其最新的数据中心和 AI 套件,并让人对各自路线图的下一步发展有了初步了解。
最令人吃惊的更新之一来自 Nvidia
去年,我们了解到这家 GPU 设计公司正在加快其开发周期,以支持每年一次的发布节奏。在台北的舞台上,Nvidia 首席执行官黄仁勋向我们详细介绍了这家芯片制造商的计划,包括其下一代 GPU 和系统架构的名称 - Rubin。
Nvidia 的路线图现已延伸至 2027 年,其中包括 2026 年推出的全新 Rubin GPU 和 Vera CPU
虽然我们经常关注芯片本身的规格和功能,无论是 H100、GB200 Superchip 还是其 Blackwell Ultra 兄弟,但重要的是要记住这些组件并不是您可以从货架上取下来的独立部件。Nvidia 最高端的加速器不是 PCIe 卡;它们是整个平台。
Raspberry Pi 5 是一款小而强大的计算机,在科技爱好者和工业公司中颇受欢迎,现在它也是一款人工智能计算机。该公司刚刚发布了AI Kit,这是一款价值 70 美元的扩展套件,带有神经网络推理加速器,可用于本地推理。
对于这个新的扩展模块,Raspberry Pi 正在利用其 HAT+ 扩展卡。HAT 是"Hardware Attached on Top"的缩写,公司一直用它来表示可以安装在普通 Raspberry Pi 上的扩展卡。
在 NVIDIA GTC 2024 主题演讲中,黄仁勋推出了Blackwell B200 张量核心芯片,这是该公司最强大的单芯片 GPU,拥有 2080 亿个晶体管,Nvidia 声称该芯片可以将 AI 推理运营成本(例如运行ChatGPT)和能耗比前辈H100降低多达 25 倍。该公司还推出了 GB200,这是一款“超级芯片”,结合了两个 B200 芯片和一个 Grace CPU,可提供更高的性能。
这一消息是 Nvidia 年度 GTC 会议的一部分,该会议将于本周在圣何塞会议中心举行。英伟达首席执行官黄仁勋周一下午发表了主题演讲。“我们需要更大的 GPU,”黄仁勋在主题演讲中说道。他说,Blackwell 平台将允许训练万亿参数的人工智能模型,这将使当今的生成式人工智能模型相比之下显得很初级。作为参考,OpenAI 于 2020 年推出的 GPT-3 包含 1750 亿个参数。参数数量是 AI 模型复杂性的粗略指标。