Ollama 离线安装

在线安装参考 https://ollama.com/

加速脚本下载：

curl -fsSL https://fastscript.netlify.app/ai/ollama-install.sh | sh

步骤1：查看服务器CPU的型号

选择对应版本的安装包（当前CPU架构为x86,选择amd的版本），复制链接使用镜像加速下载

 x86_64 CPU选择下载ollama-linux-amd64  aarch64|arm64 CPU选择下载ollama-linux-arm64

下载地址：https://github.com/ollama/ollama/releases

加速地址：https://moeyy.cn/gh-proxy

 git lfs installgit clone https://www.modelscope.cn/qwen/Qwen2-7B.gitshell

步骤2：离线下载Linux环境的Ollama安装脚本，并保存到**/home/Ollama**目录

1
2
3
4
5
6
7
## 下载地址1，浏览器中打开下面地址
https://ollama.com/install.sh

## 下载地址2
https://github.com/ollama/ollama/blob/main/scripts/install.sh
## 国内加速可访问https://gitee.com/ai-big-model/ollama/blob/main/scripts/install.sh

步骤3：修改install.sh脚本

总共需要修改两个点，第一：Ollama下载地址；第二：Ollama安装包存放目录

第一处修改，注释下载链接

1
2
3
4
status "Downloading ollama..."
## 在install.sh的第65行
#curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"

第二处修改，修改ollama安装目录

1
2
3
4
5
6
status "Installing ollama to $BINDIR..."
$SUDO install -o0 -g0 -m755 -d $BINDIR
## 在install.sh的第73行
#$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
$SUDO install -o0 -g0 -m755 ./ollama-linux-amd64  $BINDIR/ollama

步骤4：运行 install.sh脚本 ,安装

1
2
3
4
5
6
7
# 执行installl.sh脚本，需要sudo 权限  chmod +x install.sh
./install.sh
# 如果报错误权限不足，执行
chmod +x install.sh
# 如果报错误： bash: ./build_android.sh：/bin/sh^M：解释器错误: 没有那个文件或目录，执行
sed -i 's/\r$//' install.sh

步骤5：配置大模型下载目录

1
2
3
4
5
6
7
8
# 执行命令
vim ~/.bashrc
# 配置 OLLAMA_MODELS 环境变量自定义路径
### ollama model dir 改为自定义的路径，默认路径/usr/share/ollama/.ollama/models 
export OLLAMA_MODELS=/home/Ollama/ollama_cache
# 复制/usr/share/ollama/.ollama/models目录中（blobs  manifests）的文件夹到OLLAMA_MODELS环境变量目录
cp -r /usr/share/ollama/.ollama/models /home/Ollama/ollama_cache

步骤6：运行大模型，如通义千问

需要先将大模型下载到OLLAMA_MODELS文件中

ollama run <模型名称>

ollama run qwen2:7b

步骤7：关闭 Ollama 服务

关闭ollama服务

service ollama stop

放行IP端口

通过调用sudo systemctl edit ollama.service编辑 systemd 服务。

  1. 对于每个环境变量，在[Service]部分下添加Environment：
1
2
3
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

  1. 保存并退出。

  2. 重载systemd并重启 Ollama：

1
2
sudo systemctl daemon-reload
sudo systemctl restart ollama

方式二：

直接编辑环境变量

nano ~/.bashrc

添加如下内容：

 [Service]
Environment=”OLLAMA_HOST=0.0.0.0”
Environment=”OLLAMA_ORIGINS=*“

Ollama 环境变量

环境变量描述默认值附加说明
OLLAMA_HOST绑定的主机和端口“127.0.0.1:11434”设置 0.0.0.0: 端口号 可以指定所有人访问特定端口
OLLAMA_ORIGINS允许的跨域源列表，逗号分隔仅本地访问设置 “*“ 可以避免 CORS 跨域错误，按需设置
OLLAMA_MODELS模型存放的路径“~/.ollama/models” 或 “/usr/share/ollama/.ollama/models”按需指定
OLLAMA_KEEP_ALIVE模型在显存中保持加载的持续时间“5m”按需加载和释放显存可以有效降低显卡压力，但会增加硬盘读写
OLLAMA_DEBUG设置为 1 以启用额外的调试日志默认关闭

完整install.sh

请至钉钉文档查看附件《install.sh》