Meta在官方博客官宣了Llama3，标志着人工智能领域迈向了一个重要的飞跃，在这个开源的时代，也来体验一下。
步骤：
部署步骤大致如下：
• 安装Ollama
• 下载Llama3
• 安装Node.js
• 部署WebUI
一、安装Ollama
请前往官网下载安装ollama。地址：https://ollama.com/download 根据自己的操作系统下载对应程序安装即可。安装完成会提示安装llama2，这里不用理会。
下载Llama3
安装完成后会提示执行下载模型命令： 我们直接在命令行执行如下命令，下载llama3模型
ollama run llama3
该命令默认下载8B参数（模型4.7G），即80亿参数版本，还有一个70B模型（模型40G），大概需要64G以上内存运行，根据实际选择。
成功下载模型后会进入交互界面，我们可以直接在终端进行提问，比如介绍一下自己，Llama3几乎是秒回答。
切换模型
Llama3模型中文能力较弱，可以使用llama3微调过的模型，对中文更加友好。
1、下载中文微调模型，这里下载的是如下模型：
https://huggingface.co/hfl/llama-3-chinese-8b-instruct-gguf/tree/main
推荐下载q8_0版本，它在大小和模型表现中做到了比较好的平衡。
2、下载好模型后，在本地新建一个文件夹存放模型，然后在同文件夹下创建 Modelfile 文件，其内容如下（注意正确填写模型目录）：
FROM 填写模型目录/ggml-model-q8_0.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"""
SYSTEM """"""
PARAMETER num_keep 24
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
PARAMETER stop assistant
PARAMETER stop Assistant
3、实例化模型，这里根据Modelfile配置实例化了一个模型名称：llama3-zh-inst
ollama create llama3-zh-inst -f Modelfile
4、启动模型即可正常使用。
ollama run llama3-zh-inst
安装Node.js
可以前往（https://nodejs.org/en/download） ，根据自己的操作系统和CPU芯片类型下载对应的Node.js并进行安装。
我这里安装的是node：v16.16.0，要注意配置源以便提速：
# 参考是腾讯源
npm config set registry http://mirrors.cloud.tencent.com/npm/
部署WebUI
这里使用ollama-webui-lite(https://github.com/ollama-webui/ollama-webui-lite)，非常轻量级，只需要依赖Node.js。
热度较高的webui：https://github.com/open-webui/open-webui)，需要Docker或者Kubernetes部署，有点麻烦，而且镜像也差不多1G，这里没有使用。
1、创建一个目录存放webui，在目录下打开命令行，
#下载webui代码
git clone https://github.com/ollama-webui/ollama-webui-lite.git
# 移动到代码目录
cd ollama-webui-lite
# 执行编译，中间可能需要执行其他命令，按提示操作即可
npm install
#编译成功后运行
npm run dev
运行成功显示如下：
llama3\ui\ollama-webui-lite>npm run dev
npm WARN config global `--global`, `--local` are deprecated. Use `--location=global` instead.
> ollama-webui-lite@0.0.1 dev
> vite dev --host --port 3000
Forced re-optimization of dependencies
VITE v4.5.3 ready in 878 ms
➜ Local: http://localhost:3000/
➜ Network: http://192.168.100.105:3000/
➜ press h to show help
我们本地访问webui：http://localhost:3000/ 即可访问 在打开的界面中选择模型即可，我本地安装了llama2，llama3，llama3-zh-inst，可以随时切换模型进行页面交互。
到此llama3本地部署完成。后续可以训练自己的知识库，做客服中心等场景