Skip to main content

完全可以由运维团队主导落地企业AI智能体平台，不一定需要开发团队

以您目前的背景来看（30多年运维经验、熟悉Linux、Docker、数据库、中间件、服务器部署），完全可以由运维团队主导落地企业AI智能体平台，不一定需要开发团队。

不过要分阶段实施，否则容易投入几十万最后变成一个没人用的平台。

一、先回答核心问题

1. 仅靠运维人员能实现吗？

答案：

80%能实现。

以下场景基本不用开发：

智能体 难度 运维能否完成
写文章 ★ √
写方案 ★ √
PPT生成 ★★ √
图片生成 ★★ √
视频生成 ★★ √
文档总结 ★ √
知识库问答 ★★ √
运维助手 ★★ √
SQL分析 ★★ √
合同审查 ★★★ √
OA流程审批 ★★★★ 需开发
ERP集成 ★★★★ 需开发
CRM集成 ★★★★ 需开发

所以：

第一阶段

完全不需要开发团队

直接用：

  • 阿里云百炼Agent

  • Dify

  • FastGPT

  • Coze

  • MaxKB

即可。

二、推荐方案

如果公司规模：

100人以下

推荐：

方案A

阿里云百炼 + 企业知识库

架构：

员工
  │
  ▼
阿里云百炼Agent
  │
  ├── 写文章Agent
  ├── 法务Agent
  ├── 运维Agent
  ├── HR Agent
  ├── PPT Agent
  └── 客服Agent

优点：

  • 不用买GPU

  • 不用训练模型

  • 直接开通

1周内可上线

三、如果公司想做长期AI平台

我更推荐：

方案B

Dify + 阿里百炼API

架构：

用户
 │
 ▼
Dify
 │
 ├── Qwen3
 ├── DeepSeek
 ├── Claude
 ├── GPT
 │
 └── 企业知识库

优点：

1

所有Agent统一管理

例如：

AI写作助手

AI法务助手

AI运维助手

AI人事助手

AI销售助手

都在一个平台。

2

支持RAG知识库

上传：

Word

PDF

Excel

制度文件

合同模板

运维手册

SOP文档

即可。

3

无需编程

拖拽式。

运维即可维护。

四、合同审查Agent怎么实现

这是很多企业最需要的。

例如上传：

采购合同.pdf

Agent自动分析：

付款条款

违约责任

风险点

知识产权

保密条款

争议解决

输出：

高风险

中风险

低风险

实现方式：

Dify
 +
Qwen-Max
 +
合同知识库

即可。

无需训练模型。

五、图片和视频Agent

图片

推荐：

  • 通义万相

  • Flux

  • Midjourney

阿里云体系：

通义万相官网

可实现：

宣传海报

公众号配图

产品效果图

PPT插图

视频

推荐：

  • 通义万相视频

  • 即梦

  • Kling

生成：

宣传视频

培训视频

产品演示

六、是否需要自建服务器

我的建议：

第一阶段

不要自建GPU

直接云端API。

原因：

假设用Qwen3 235B：

单机部署

至少：
4 × A800

或

4 × H20

硬件：

50万~100万+

还不算：

机房
电力
维护
升级

不划算。

第二阶段

如果员工大量使用

例如：

200+
员工

每天：
5000+
问答

再考虑本地部署：

推荐

DeepSeek-R1 70B

Qwen3 32B

Qwen3 72B

部署：

Ubuntu 24.04
Docker
vLLM
Ollama
OpenWebUI

七、结合贵公司实际情况的推荐

从您的运维背景来看，我会采用：

阶段1（1个月）

阿里云百炼
+
Dify
+
企业知识库

实现：

运维助手
合同助手
写作助手
PPT助手
图片助手

阶段2（3个月）

统一SSO登录
部门知识库
权限控制
审计日志

阶段3（半年）

本地私有化部署

OpenWebUI
+
Dify
+
Qwen3
+
DeepSeek

形成公司AI平台。

推荐的最终架构

             员工
               │
               ▼
          Dify门户
               │
 ┌─────────────┼─────────────┐
 │             │             │
 ▼             ▼             ▼

写作Agent   合同Agent   运维Agent

 │             │             │

 └─────────────┼─────────────┘
               │
               ▼

          阿里百炼API

               │

      Qwen3 / DeepSeek

               │

          企业知识库

对于大多数中小企业，这是投入最小、见效最快、后期又能平滑升级到私有化部署的方案。以您现有的运维团队能力，部署 Dify、OpenWebUI、向量数据库（如 Milvus 或 Qdrant）以及对接阿里云百炼，基本不需要专职开发人员即可完成。

 

如果您计划在公司内部搭建私有AI平台，采用：

Ubuntu 24.04
Docker
vLLM
Ollama
OpenWebUI

这是目前企业私有化部署中比较成熟且维护成本较低的方案。

一、整体架构

建议采用如下架构：

                     用户浏览器
                           │
                           ▼
                     OpenWebUI
                           │
          ┌────────────────┴──────────────┐
          │                               │
          ▼                               ▼
      Ollama                        vLLM Server
    （小模型）                     （大模型）
          │                               │
          ▼                               ▼
      Qwen3:8B                     Qwen3:32B
      Qwen3:14B                    DeepSeek-R1
      Gemma3                       Llama3

用途：

服务作用
OpenWebUIChatGPT风格界面
Ollama管理小模型
vLLM高性能推理
Docker容器化
Nginx反向代理
PostgreSQL数据库
Redis缓存

二、硬件建议

最低配置

测试环境

CPU：
32 Core

内存：
128GB

GPU：
RTX4090 24GB

系统盘：
1TB NVMe

可运行：

Qwen3:8B
Qwen3:14B
DeepSeek-R1:8B

推荐配置

企业环境

CPU：
64 Core

内存：
256GB

GPU：
2 × RTX4090

可运行：

Qwen3 32B
DeepSeek-R1 32B

三、安装 Docker

更新系统

apt update
apt upgrade -y

安装基础组件

apt install -y \
curl \
wget \
git \
vim \
unzip

安装Docker

curl -fsSL https://get.docker.com | bash

验证

docker version

加入docker组

usermod -aG docker $USER

重新登录。

四、安装 NVIDIA 驱动

查看显卡

lspci | grep NVIDIA

安装驱动

ubuntu-drivers autoinstall

重启

reboot

检查

nvidia-smi

应看到类似：

Driver Version: 575.xx
CUDA Version: 12.x

五、安装 NVIDIA Container Toolkit

添加仓库

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
| gpg --dearmor \
-o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

安装

apt install -y nvidia-container-toolkit

配置

nvidia-ctk runtime configure --runtime=docker

重启docker

systemctl restart docker

测试

docker run --rm \
--gpus all \
nvidia/cuda:12.4.1-runtime-ubuntu22.04 \
nvidia-smi

六、安装 Ollama

官方安装

curl -fsSL https://ollama.com/install.sh | sh

查看

systemctl status ollama

开放监听

编辑：

/etc/systemd/system/ollama.service

修改：

Environment="OLLAMA_HOST=0.0.0.0:11434"

重载

systemctl daemon-reload

systemctl restart ollama

验证

ss -lntp | grep 11434

七、下载模型

例如：

ollama pull qwen3:8b

或

ollama pull deepseek-r1:8b

查看

ollama list

运行

ollama run qwen3:8b

八、部署 vLLM

推荐Docker方式。

创建目录

mkdir -p /data/vllm

启动

docker run -d \
--name vllm \
--gpus all \
-p 8000:8000 \
-v /data/models:/models \
vllm/vllm-openai:latest \
--model /models/Qwen3-32B

验证

curl http://127.0.0.1:8000/v1/models

返回：

{
  "data":[]
}

表示正常。

九、部署 OpenWebUI

创建目录

mkdir -p /data/openwebui

启动

docker run -d \
--name open-webui \
--restart always \
-p 3000:8080 \
-v open-webui:/app/backend/data \
-e OLLAMA_BASE_URL=http://IP地址:11434 \
ghcr.io/open-webui/open-webui:main

查看

docker ps

访问

http://服务器IP:3000

首次访问创建管理员账号。

十、连接 vLLM

OpenWebUI后台：

Admin Settings
↓
Connections
↓
OpenAI API

填写：

URL:
http://服务器IP:8000/v1

API KEY:
EMPTY

保存。

十一、配置 HTTPS

安装 Nginx

apt install nginx -y

配置

server {

    listen 443 ssl;
    server_name ai.company.com;

    location / {

        proxy_pass http://127.0.0.1:3000;

        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;

    }

}

重载

nginx -t

systemctl reload nginx

十二、企业生产环境建议

结合您的运维经验，建议直接使用 Docker Compose 管理。

目录结构：

/data/ai-platform

├── openwebui
├── ollama
├── vllm
├── postgres
├── redis
├── nginx
└── backup

推荐增加：

PostgreSQL
Redis
MinIO
OpenWebUI
Ollama
vLLM
Nginx

形成完整平台：

OpenWebUI
    │
    ├── Ollama
    │      ├── Qwen3 8B
    │      └── DeepSeek 8B
    │
    └── vLLM
           ├── Qwen3 32B
           ├── Qwen3 72B
           └── DeepSeek-R1

对于您公司这种已有 Ubuntu、Docker、Tomcat、MySQL 运维经验的团队，预计 2~3天即可完成基础平台搭建，1~2周可完成企业知识库和多智能体接入。后续再增加 Dify 或 MaxKB，即可实现“运维助手、合同助手、知识库助手、写作助手、图片助手”等企业级智能体。

Back to top