软件介绍

Ollama 是一款为本地环境设计的轻量级、可扩展框架，专门用于构建和运行大型语言模型（LLMs）。它不仅仅是一个运行时环境，而是一个完整的生态系统，涵盖了模型创建、运行和管理的各个环节。Ollama 的推出，开启了在本地机器上部署和操作复杂 AI 模型的新篇章。

软件安装

进入ollama官网，然后点击Download按钮

之后根据自己的电脑系统选择相应的版本

下载完成后打开OllamaSetup.exe，点击Install开始安装,稍等片刻即可安装完成

之后打开cmd窗口，输入ollama -v,如果输出版本号后就表示安装成功了

模型安装

进入ollama官网，然后点击Models按钮

之后就能看到模型了，而且Ollama的模型种类繁多，从文本生成、代码生成到图像处理和嵌入生成，能够满足多种应用需求

这里我们选择llama3模型来演示。这里说明下Meta Llama 3 是 Meta 公司开发的模型系列，是最先进的新型模型，有 8B 和 70B 两种参数规格（预训练或指令调整）。

Llama 3 指令调整模型针对对话/聊天用例进行了微调和优化，在常见基准测试中优于许多现有的开源聊天模型。

点击复制命令，之后粘贴到CMD窗口即可自动安装并运行该模型

运行命令后，ollama会自动下载默认，默认下载的是llama3的8B模型，模型大小为4.7GB，模型下载完成后会自动运行，出现>>> 时就可以使用我们的AI大模型了。

我们输入对话测试一下

可以看到我们的本地大模型已经成功和咱们对话了，而且完全不需要联网，断网也可以用，非常方便。