本地部署人工智能模型，不仅通过重视和利用资源赋予个人权力，而且还培育出更加分散和民主的数字生态系统。也就是说，不仅增强了隐私和安全性，还引入了个人计算作为数字时代潜在货币的有趣概念。

Ollama是一个易用的本地语言模型运行框架，可以一键启动并运行Meta Llama 3、Microsoft Phi 3、Google Gemma 2和其他更多开源语言模型（很棒，这也是一份很好的开源语言模型清单，和NVIDIA提供的最受欢迎的基础模型列表一样，Llama 3位列第一），并支持自定义模型导入。

一些可供下载的示例模型

安装

在官方库中下载Windows和macOS安装包、或者Docker镜像运行，Linux直接执行命令行安装curl -fsSL https://ollama.com/install.sh | sh

快速开始

以运行 llama 3 8B 为例：

ollama run llama3

llama 3 的自我介绍：This version was trained on a massive dataset of text from the internet and is designed to generate human-like responses to a wide range of topics and prompts.

2024年7月23日，Meta发布Llama 3.1，依旧有 8B、70B 和 405B 参数尺寸可供选择，这是对4月发布的Llama 3的重大更新，开始对中文支持较好。Llama 3.1 8B 和 70B 模型的升级版本是多语种的，其上下文长度大幅增加到 128K，工具使用达到了最先进的水平，整体推理能力也更强。这使其能够支持高级用例，如长文本摘要、多语种对话代理和编码助手。Llama 3.1 405B 在常识、可转向性、数学、工具使用和多语言翻译等方面具有最先进的能力，可与顶级人工智能模型相媲美。Llama 3.1 在某些基准测试中是地球上最聪明的人工智能。Ollama 实时支持 Llama 3.1。

• 如果模型不存在，会自动下载模型。
• 应该至少有8gb的内存来运行7B型号，16gb的内存来运行13B型号，32gb的内存来运行33B型号。

交互

简单交互

模型运行之后，会默认进入到交互状态，还包含一个用于运行和管理模型的 REST API 可用。

社区交互项目

围绕 Ollama 生态，还有一大批项目可实现与模型对话，包括桌面与 web 客户端、命令行终端等，如 Ollama WebUI（已经更名为 Open WebUI）就是一个使用下载的模型文件与 Ollama 交互的流行界面，功能丰富且用户友好。更多相关请查看项目说明。

完整演示

步骤说明：

1、安装Ollama：Windows 11 23H2，32.0 GB 内存，安装Windows安装包 OllamaSetup.exe（272 MB）。

安装后，通过检查版本来验证 Ollama 是否正确安装：ollama --version。2024年7月14日最新发布版本为v0.2.5。

2、下载Llama 3 8B 模型（4.7 GB）：ollama run llama3

初次运行Ollama，模型并不存在，会自动下载模型Llama 3 8B。下载完成后，进入到Llama 3交互状态。

3、输入prompt开始对话：

"你是一位经验丰富的AI伦理专家。请分析人工智能在医疗诊断中的应用可能带来的三个主要伦理挑战。对每个挑战，提供一个可能的解决方案。在回答时，请考虑患者隐私、医疗责任和社会公平等方面。请以列表形式呈现你的分析，并在每个观点后提供简短的解释。"

这可能是一个综合性的经典prompt，包含了角色设定、任务描述、输出格式要求、知识范围限定、多角度分析要求等多个元素，能够有效地引导模型生成结构化、深入的回答。

4、结果评价（摘要）：

1. 偏见和歧视

根据历史数据训练的人工智能系统可能会延续现有的偏见，从而可能导致对患者诊断的歧视性结果。要应对这一挑战，就必须开发和实施公平性测试框架，以评估算法在不同亚群体中的表现。

2. 患者自主权和同意权

在医疗诊断中越来越依赖人工智能，患者可能无法完全理解人工智能驱动的诊断是如何得出的，这可能会导致患者对医疗系统失去信任。为了应对这一挑战，设计人工智能驱动的诊断工具至关重要。在使用这些技术时解释其决策过程，并征得患者的明确同意。

3. 问责与责任

随着人工智能驱动的诊断工具越来越普遍，有必要制定明确的指导方针和法规来规范其使用。这包括定义人工智能开发者、医疗服务提供者和患者的角色和责任，以及在发生任何错误时追究各方责任的机制。

我认为生成结果很好（没错，Llama 3 继续对中文的支持效果欠佳，它用英文回复）。Llama 3是目前评价最高的开源语言生成模型，而Stable Diffusion 3依然是第一的开源图像生成模型。

小知识

Windows命令提示符（cmd.exe）是Windows NT下的一个用于运行Windows控制台程序或某些DOS程序的Shell（为使用者提供使用界面）程序，用于替代Windows 9x系统中所提供的COMMAND.COM和“MS-DOS提示符”。命令提示符可通过点击开始菜单中的“命令提示符”或者运行（Win + R）CMD来打开窗口运行。

PowerShell 是专为系统管理员设计的新 Windows 命令行 Shell，自 Windows 10 build 14971 起，PowerShell 取代了命令提示符。Windows 中随附的 PowerShell 版本叫Windows PowerShell，但到5.1版本后就不再更新，用独立的PowerShell取代。

在Windows PowerShell中执行命令$PSVersionTable可以查看Windows PowerShell版本，在安装最新的PowerShell 7（2024年6月18日发布PowerShell v7.4.3）后，在Windows PowerShell窗口的设置里面将命令行可执行文件配置为新的位置"C:\Program Files\PowerShell\7\pwsh.exe"，即可迁移到 PowerShell 7。Windows PowerShell或PowerShell可通过开始菜单中的“终端管理员”或者运行（Win + R）PowerShell 来打开窗口运行。

更多相关请查看PowerShell 的官方产品文档。

问题

1、在进行更多基于Windows的本地部署，执行ollama run llama3时偶然遇到错误提示Error: could not connect to ollama app ……或者Error: listen tcp 127.0.0.1:11434: bind: ……。

解决办法：修改系统环境变量：OLLAMA_HOST=127.0.0.1:11435 ollama serve

2、列出已下载的模型清单：

ollama list

3、何删除已经下载的模型：

ollama rm llama3:latest # list出来的模型名

4、更多可用命令

ollama命令：

llama3命令：

5、Llama 3 说 Llama 3.1 是 Huawei 的手机系列，也许我问得不对。

其他本地开源大模型框架

• GPT4All
• LM Studio
• AnythingLLM
• Jan.ai
• llama.cpp

到目前为止，这些本地开源大模型框架都在发展中并获得有限的社区支持，性能都差不多。比如以下是AnythingLLM、Ollama和GPT4All的对比：

另外，llama.cpp是一个用C/C++实现的开源软件库，包含CLI和 Web 服务器，目标是在各种硬件（本地和云端）上以最少的设置和最先进的性能实现 LLM 推理，适合需要更多过程掌控的用户。