软件介绍
Ollama 是一款为本地环境设计的轻量级、可扩展框架,专门用于构建和运行大型语言模型(LLMs)。它不仅仅是一个运行时环境,而是一个完整的生态系统,涵盖了模型创建、运行和管理的各个环节。Ollama 的推出,开启了在本地机器上部署和操作复杂 AI 模型的新篇章。
软件安装
进入ollama官网,然后点击Download按钮
之后根据自己的电脑系统选择相应的版本
下载完成后打开OllamaSetup.exe,点击Install开始安装,稍等片刻即可安装完成
之后打开cmd窗口,输入ollama -v,如果输出版本号后就表示安装成功了
模型安装
进入ollama官网,然后点击Models按钮
之后就能看到模型了,而且Ollama的模型种类繁多,从文本生成、代码生成到图像处理和嵌入生成,能够满足多种应用需求
这里我们选择llama3模型来演示。这里说明下Meta Llama 3 是 Meta 公司开发的模型系列,是最先进的新型模型,有 8B 和 70B 两种参数规格(预训练或指令调整)。
Llama 3 指令调整模型针对对话/聊天用例进行了微调和优化,在常见基准测试中优于许多现有的开源聊天模型。
点击复制命令,之后粘贴到CMD窗口即可自动安装并运行该模型
运行命令后,ollama会自动下载默认,默认下载的是llama3的8B模型,模型大小为4.7GB,模型下载完成后会自动运行,出现>>> 时就可以使用我们的AI大模型了。
我们输入对话测试一下
可以看到我们的本地大模型已经成功和咱们对话了,而且完全不需要联网,断网也可以用,非常方便。
评论