Skip to main content

Ubuntu 24.04 + Docker，部署 LiteLLM v1.87.0

你当前环境是 Ubuntu 24.04 + Docker，部署 LiteLLM v1.87.0 最推荐使用 Docker Compose，比官方单行 docker run 更适合生产环境（持久化、数据库、配置、密钥管理）。

下面给你一个完整部署方案。

一、环境准备

安装 Docker：

#Ubuntu24.04 安装Docker&Compose

sudo apt update && sudo apt install -y ca-certificates curl gnupg lsb-release git

# 重新下载密钥并生成统一签名环文件
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
# 赋予可读权限
sudo chmod 644 /usr/share/keyrings/docker-archive-keyring.gpg

sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin

# 开机自启
sudo systemctl enable --now docker
# 当前用户免sudo操作docker
sudo usermod -aG docker $USER
# 刷新用户组，不用重启服务器
newgrp docker

# 验证Docker安装

docker --version
docker compose version

配置国内docker加速器：

mkdir -p /etc/docker
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": [
    "https://docker.mirrors.ustc.edu.cn",
    "https://hub-mirror.c.163.com"
  ]
}
EOF
systemctl daemon-reload
systemctl restart docke

 

确认 Docker：

docker --version
docker compose version

建议：

Docker >= 24
Docker Compose >= 2.x

二、创建目录

例如：

mkdir -p /opt/litellm
cd /opt/litellm

目录：

/opt/litellm
├── docker-compose.yml
├── .env
└── config.yaml

三、创建 LiteLLM 配置

config.yaml

vi config.yaml

内容：

model_list:

  # OpenAI 示例
  - model_name: gpt-5
    litellm_params:
      model: openai/gpt-5
      api_key: os.environ/OPENAI_API_KEY


  # Gemini 示例
  - model_name: gemini-3.5-flash
    litellm_params:
      model: vertex_ai/gemini-3.5-flash
      api_key: os.environ/GEMINI_API_KEY


general_settings:

  master_key: os.environ/LITELLM_MASTER_KEY

  # 开启数据库存储
  store_model_in_db: true

四、创建环境变量

.env

vi .env

例如：

LITELLM_MASTER_KEY=sk-litellm-admin-123456

OPENAI_API_KEY=sk-xxxx

GEMINI_API_KEY=xxxx

五、Docker Compose 部署（推荐）

创建：

vi docker-compose.yml

内容：

services:

  litellm:
    image: ghcr.io/berriai/litellm:1.87.0

    container_name: litellm

    restart: always

    ports:
      - "4000:4000"

    environment:

      STORE_MODEL_IN_DB: "True"

      DATABASE_URL: postgresql://litellm:litellm@postgres:5432/litellm

      LITELLM_MASTER_KEY: ${LITELLM_MASTER_KEY}

      OPENAI_API_KEY: ${OPENAI_API_KEY}

      GEMINI_API_KEY: ${GEMINI_API_KEY}


    volumes:

      - ./config.yaml:/app/config.yaml


    command:
      --config /app/config.yaml


    depends_on:
      - postgres



  postgres:

    image: postgres:16

    container_name: litellm-postgres

    restart: always


    environment:

      POSTGRES_DB: litellm

      POSTGRES_USER: litellm

      POSTGRES_PASSWORD: litellm


    volumes:

      - ./postgres:/var/lib/postgresql/data

六、启动

执行：

# 通过南大ghcr代理拉取镜像
docker pull ghcr.nju.edu.cn/berriai/litellm:1.87.0
# 还原原始镜像标签，适配compose
docker tag ghcr.nju.edu.cn/berriai/litellm:1.87.0 ghcr.io/berriai/litellm:1.87.0
docker rmi ghcr.nju.edu.cn/berriai/litellm:1.87.0

docker compose up -d

查看：

docker ps

应该：

litellm
litellm-postgres

查看日志：

docker logs -f litellm

正常：

LiteLLM Proxy Server Started
Server running on port 4000

七、测试 API

LiteLLM 默认兼容 OpenAI API。

测试：

curl http://127.0.0.1:4000/v1/models \
-H "Authorization: Bearer sk-litellm-admin-123456"

返回：

{
 "data":[
   {
    "id":"gpt-5"
   }
 ]
}

测试聊天：

curl http://127.0.0.1:4000/v1/chat/completions \
-H "Authorization: Bearer sk-litellm-admin-123456" \
-H "Content-Type: application/json" \
-d '
{
 "model":"gpt-5",
 "messages":[
   {
    "role":"user",
    "content":"hello"
   }
 ]
}'

八、访问管理后台

LiteLLM v1.87 有 Dashboard。

访问：

http://服务器IP:4000/ui

例如：

http://192.168.4.21:4000/ui

使用：

Master Key:
sk-litellm-admin-123456

登录。

九、如果只是测试（官方方式）

不需要 PostgreSQL：

docker run \
-d \
--name litellm \
-p 4000:4000 \
-e STORE_MODEL_IN_DB=True \
docker.litellm.ai/berriai/litellm:1.87.0

但是：

缺点：

  • 配置丢失

  • 无数据库

  • 无用户管理

  • 无 Key 管理

不建议生产。

十、结合你之前的环境（Dify / RAGFlow）

你的环境里已经有：

  • Dify

  • RAGFlow

  • Keycloak

  • PostgreSQL

  • Docker Compose

LiteLLM 很适合作为统一 AI Gateway：

架构：

                 Dify
                   |
                   |
               OpenAI API
                   |
                   v
              LiteLLM 4000
                   |
     +-------------+-------------+
     |             |             |
  OpenAI       Gemini       Ollama
     |
  Azure OpenAI

Dify 中配置：

模型类型：

OpenAI Compatible

Base URL:

http://litellm:4000/v1

API Key:

sk-litellm-admin-123456

即可。

十一、生产建议

如果是你的服务器环境，我建议：

Ubuntu 24.04
        |
Docker
        |
Nginx HTTPS
        |
LiteLLM 1.87
        |
PostgreSQL 16
        |
Keycloak OAuth

再加：

  • Redis（限流）

  • Prometheus（监控）

  • Grafana（Dashboard）

你之前已经部署过 Dify + RAGFlow + Keycloak + PostgreSQL，LiteLLM 放进去可以直接作为统一模型出口。下一步可以做：

Dify → LiteLLM → OpenAI/Gemini/Claude/Ollama 多模型路由 + Keycloak 单点登录。

Back to top