分类 人工智能 下的文章

Token:生成式人工智能中的基本单位


1、什么是Token?

8abe32e1-a232-4e56-af59-e6d82df9f11a.png

在生成式人工智能的上下文中,Token(词元)指的是文本处理过程中的最小语义单元,通常是特殊定义下一些字符的集合。这些字符包括字母、数字、标点符号以及特殊字符,如换行符等。Token通常由一个数字来表示,它们是大型语言模型或基础模型消费文本的方式。您向模型提供词语,它会将它们转换为Token。作为一般规则,一个Token通常包含四个英文字符(这大约相当于一个单词的 ¾),或者一个汉字,因此一百个Token大约等于75个英文单词,或者 40~50 个汉字(均包含标点符号)。


全球最受欢迎的十大人工智能工具


尽管人们担心人工智能会取代人类,但大部分“打工人”还是在工作中积极拥抱AI来提高工作效率。根据FlexOS收集的Similarweb网站流量数据,2024年5月份,OpenAI的ChatGPT使用量增长了74%,网站访问量从4月份的18亿次增至31亿次。

5e5d54a3-66ac-428e-b0b2-8f309bd01e96.jpg

ChatGPT是2024年5月份全球工作中使用最多的生成式人工智能工具,紧随其后的竞争对手包括谷歌Gemini和Anthropic的Claude。


使用Ollama本地部署开源语言模型


本地部署人工智能模型,不仅通过重视和利用资源赋予个人权力,而且还培育出更加分散和民主的数字生态系统。也就是说,不仅增强了隐私和安全性,还引入了个人计算作为数字时代潜在货币的有趣概念。

b05e457a-5294-4758-83d6-25954520ec60.webp

Ollama是一个易用的本地语言模型运行框架,可以一键启动并运行Meta Llama 3、Microsoft Phi 3、Google Gemma 2和其他更多开源语言模型,并支持自定义模型导入。


人工智能代理


人工智能代理是人工智能的未来——随着人工智能技术的不断进步,它们正变得越来越流行。

16e74a24-a082-4fcd-af81-ce2d5edf630b.jpg

但什么是人工智能代理?它们能用来做什么?——AI 代理是一种可以在环境中自主行动的实体。


英特尔、AMD、Nvidia 最新数据中心路线图


在台北举行的 2024 年度 Computex 大会上,英特尔、AMD 和 Nvidia 展示了其最新的数据中心和 AI 套件,并让人对各自路线图的下一步发展有了初步了解。

最令人吃惊的更新之一来自 Nvidia

去年,我们了解到这家 GPU 设计公司正在加快其开发周期,以支持每年一次的发布节奏。在台北的舞台上,Nvidia 首席执行官黄仁勋向我们详细介绍了这家芯片制造商的计划,包括其下一代 GPU 和系统架构的名称 - Rubin。

1eb3f1fd-095f-4307-b0d9-05c0524b6eb9.jpg
Nvidia 的路线图现已延伸至 2027 年,其中包括 2026 年推出的全新 Rubin GPU 和 Vera CPU

虽然我们经常关注芯片本身的规格和功能,无论是 H100、GB200 Superchip 还是其 Blackwell Ultra 兄弟,但重要的是要记住这些组件并不是您可以从货架上取下来的独立部件。Nvidia 最高端的加速器不是 PCIe 卡;它们是整个平台。