完全可以由运维团队主导落地企业AI智能体平台，不一定需要开发团队

以您目前的背景来看（30多年运维经验、熟悉Linux、Docker、数据库、中间件、服务器部署），完全可以由运维团队主导落地企业AI智能体平台，不一定需要开发团队。

不过要分阶段实施，否则容易投入几十万最后变成一个没人用的平台。

一、先回答核心问题

1. 仅靠运维人员能实现吗？

答案：

80%能实现。

以下场景基本不用开发：

智能体 难度 运维能否完成
写文章 ★ √
写方案 ★ √
PPT生成 ★★ √
图片生成 ★★ √
视频生成 ★★ √
文档总结 ★ √
知识库问答 ★★ √
运维助手 ★★ √
SQL分析 ★★ √
合同审查 ★★★ √
OA流程审批 ★★★★ 需开发
ERP集成 ★★★★ 需开发
CRM集成 ★★★★ 需开发

所以：

第一阶段

完全不需要开发团队

直接用：

即可。

二、推荐方案

如果公司规模：

100人以下

推荐：

方案A

阿里云百炼 + 企业知识库

架构：

员工
  │
  ▼
阿里云百炼Agent
  │
  ├── 写文章Agent
  ├── 法务Agent
  ├── 运维Agent
  ├── HR Agent
  ├── PPT Agent
  └── 客服Agent

优点：

1周内可上线

三、如果公司想做长期AI平台

我更推荐：

方案B

Dify + 阿里百炼API

架构：

用户
 │
 ▼
Dify
 │
 ├── Qwen3
 ├── DeepSeek
 ├── Claude
 ├── GPT
 │
 └── 企业知识库

优点：

1

所有Agent统一管理

例如：

AI写作助手

AI法务助手

AI运维助手

AI人事助手

AI销售助手

都在一个平台。

2

支持RAG知识库

上传：

Word

PDF

Excel

制度文件

合同模板

运维手册

SOP文档

即可。

3

无需编程

拖拽式。

运维即可维护。

四、合同审查Agent怎么实现

这是很多企业最需要的。

例如上传：

采购合同.pdf

Agent自动分析：

付款条款

违约责任

风险点

知识产权

保密条款

争议解决

输出：

高风险

中风险

低风险

实现方式：

Dify
 +
Qwen-Max
 +
合同知识库

即可。

无需训练模型。

五、图片和视频Agent

图片

推荐：

阿里云体系：

通义万相官网

可实现：

宣传海报

公众号配图

产品效果图

PPT插图

视频

推荐：

生成：

宣传视频

培训视频

产品演示

六、是否需要自建服务器

我的建议：

第一阶段

不要自建GPU

直接云端API。

原因：

假设用Qwen3 235B：

单机部署

至少：
4 × A800

或

4 × H20

硬件：

50万~100万+

还不算：

机房
电力
维护
升级

不划算。

第二阶段

如果员工大量使用

例如：

200+
员工

每天：
5000+
问答

再考虑本地部署：

推荐

DeepSeek-R1 70B

Qwen3 32B

Qwen3 72B

部署：

Ubuntu 24.04
Docker
vLLM
Ollama
OpenWebUI

七、结合贵公司实际情况的推荐

从您的运维背景来看，我会采用：

阶段1（1个月）

阿里云百炼
+
Dify
+
企业知识库

实现：

运维助手
合同助手
写作助手
PPT助手
图片助手

阶段2（3个月）

统一SSO登录
部门知识库
权限控制
审计日志

阶段3（半年）

本地私有化部署

OpenWebUI
+
Dify
+
Qwen3
+
DeepSeek

形成公司AI平台。

推荐的最终架构

             员工
               │
               ▼
          Dify门户
               │
 ┌─────────────┼─────────────┐
 │             │             │
 ▼             ▼             ▼

写作Agent   合同Agent   运维Agent

 │             │             │

 └─────────────┼─────────────┘
               │
               ▼

          阿里百炼API

               │

      Qwen3 / DeepSeek

               │

          企业知识库

对于大多数中小企业，这是投入最小、见效最快、后期又能平滑升级到私有化部署的方案。以您现有的运维团队能力，部署 Dify、OpenWebUI、向量数据库（如 Milvus 或 Qdrant）以及对接阿里云百炼，基本不需要专职开发人员即可完成。

 

如果您计划在公司内部搭建私有AI平台，采用：

Ubuntu 24.04
Docker
vLLM
Ollama
OpenWebUI

这是目前企业私有化部署中比较成熟且维护成本较低的方案。

一、整体架构

建议采用如下架构：

                     用户浏览器
                           │
                           ▼
                     OpenWebUI
                           │
          ┌────────────────┴──────────────┐
          │                               │
          ▼                               ▼
      Ollama                        vLLM Server
    （小模型）                     （大模型）
          │                               │
          ▼                               ▼
      Qwen3:8B                     Qwen3:32B
      Qwen3:14B                    DeepSeek-R1
      Gemma3                       Llama3

用途：

服务 作用
OpenWebUI ChatGPT风格界面
Ollama 管理小模型
vLLM 高性能推理
Docker 容器化
Nginx 反向代理
PostgreSQL 数据库
Redis 缓存

二、硬件建议

最低配置

测试环境

CPU：
32 Core

内存：
128GB

GPU：
RTX4090 24GB

系统盘：
1TB NVMe

可运行：

Qwen3:8B
Qwen3:14B
DeepSeek-R1:8B

推荐配置

企业环境

CPU：
64 Core

内存：
256GB

GPU：
2 × RTX4090

可运行：

Qwen3 32B
DeepSeek-R1 32B

三、安装 Docker

更新系统

apt update
apt upgrade -y

安装基础组件

apt install -y \
curl \
wget \
git \
vim \
unzip

安装Docker

curl -fsSL https://get.docker.com | bash

验证

docker version

加入docker组

usermod -aG docker $USER

重新登录。

四、安装 NVIDIA 驱动

查看显卡

lspci | grep NVIDIA

安装驱动

ubuntu-drivers autoinstall

重启

reboot

检查

nvidia-smi

应看到类似：

Driver Version: 575.xx
CUDA Version: 12.x

五、安装 NVIDIA Container Toolkit

添加仓库

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
| gpg --dearmor \
-o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

安装

apt install -y nvidia-container-toolkit

配置

nvidia-ctk runtime configure --runtime=docker

重启docker

systemctl restart docker

测试

docker run --rm \
--gpus all \
nvidia/cuda:12.4.1-runtime-ubuntu22.04 \
nvidia-smi

六、安装 Ollama

官方安装

curl -fsSL https://ollama.com/install.sh | sh

查看

systemctl status ollama

开放监听

编辑：

/etc/systemd/system/ollama.service

修改：

Environment="OLLAMA_HOST=0.0.0.0:11434"

重载

systemctl daemon-reload

systemctl restart ollama

验证

ss -lntp | grep 11434

七、下载模型

例如：

ollama pull qwen3:8b

或

ollama pull deepseek-r1:8b

查看

ollama list

运行

ollama run qwen3:8b

八、部署 vLLM

推荐Docker方式。

创建目录

mkdir -p /data/vllm

启动

docker run -d \
--name vllm \
--gpus all \
-p 8000:8000 \
-v /data/models:/models \
vllm/vllm-openai:latest \
--model /models/Qwen3-32B

验证

curl http://127.0.0.1:8000/v1/models

返回：

{
  "data":[]
}

表示正常。

九、部署 OpenWebUI

创建目录

mkdir -p /data/openwebui

启动

docker run -d \
--name open-webui \
--restart always \
-p 3000:8080 \
-v open-webui:/app/backend/data \
-e OLLAMA_BASE_URL=http://IP地址:11434 \
ghcr.io/open-webui/open-webui:main

查看

docker ps

访问

http://服务器IP:3000

首次访问创建管理员账号。

十、连接 vLLM

OpenWebUI后台：

Admin Settings
↓
Connections
↓
OpenAI API

填写：

URL:
http://服务器IP:8000/v1

API KEY:
EMPTY

保存。

十一、配置 HTTPS

安装 Nginx

apt install nginx -y

配置

server {

    listen 443 ssl;
    server_name ai.company.com;

    location / {

        proxy_pass http://127.0.0.1:3000;

        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;

    }

}

重载

nginx -t

systemctl reload nginx

十二、企业生产环境建议

结合您的运维经验，建议直接使用 Docker Compose 管理。

目录结构：

/data/ai-platform

├── openwebui
├── ollama
├── vllm
├── postgres
├── redis
├── nginx
└── backup

推荐增加：

PostgreSQL
Redis
MinIO
OpenWebUI
Ollama
vLLM
Nginx

形成完整平台：

OpenWebUI
    │
    ├── Ollama
    │      ├── Qwen3 8B
    │      └── DeepSeek 8B
    │
    └── vLLM
           ├── Qwen3 32B
           ├── Qwen3 72B
           └── DeepSeek-R1

对于您公司这种已有 Ubuntu、Docker、Tomcat、MySQL 运维经验的团队，预计 2~3天即可完成基础平台搭建，1~2周可完成企业知识库和多智能体接入。后续再增加 Dify 或 MaxKB，即可实现“运维助手、合同助手、知识库助手、写作助手、图片助手”等企业级智能体。

Revision #2
Created 15 June 2026 09:56:21 by Admin
Updated 15 June 2026 10:06:20 by Admin