dify大模型应用开发平台搭建

dify大模型应用开发平台搭建

之前分享了一个私有化部署开源大模型的方法,具体参看往期文章:https://www.madbull.site/?p=1979

今天搭建一个大模型训练平台 dify:代码地址:https://github.com/langgenius/dify

开发平台搭建后是这个样子的。

安装运行

下载dify代码:git clone https://github.com/langgenius/dify.git

dify 支持 docker-compose 方式运行,所以使用起来很方便。

确保系统已经安装了docker的服务 docker.io,并启动:指令:systemctl start docker.service 。如果系统源里没有 docker.io 也可以安装 podman 并启动,这两者兼容性非常好。

由于国内对 docker 源的支持很不友好,为了更大可能下载到 docker 镜像,建议多增加一些镜像源。直接在 /etc/docker/daemon.json 文件添加即可,如果没有此文件,则创建一个,内容如下:

{
    "registry-mirrors": [
        "https://docker.hpcloud.cloud",
        "https://docker.m.daocloud.io",
        "https://docker.unsee.tech",
        "https://docker.1panel.live",
        "http://mirrors.ustc.edu.cn",
        "https://docker.chenby.cn",
        "http://mirror.azure.cn",
        "https://dockerpull.org",
        "https://dockerhub.icu",
        "https://hub.rat.dev",
        "https://dockerpull.com",
        "https://docker.hpcloud.cloud",
        "https://docker.m.daocloud.io"
    ]
}

dify 代码的 docker 目录下运行:docker-compose up -d 就可以运行起来了。因为要从互联网拉取 docker 镜像,所以会比较慢,需要等待一段时间。如果之前获取过镜像,就会直接启动了。

查看端口是否启动

打开浏览器直接访问 http://xx.xx.xx.xx/install 继续设置,能成功打开下面的页面就是安装成功了。

部署使用

在上图中设置一个账号和密码。然后访问登录页面:http://xx.xx.xx.xx/signin 输入刚才设置的邮箱账号和密码登录。进入工作界面

右上角可以设置按钮可以设置模型供应商、成员、数据来源、API扩展。本次以 https://www.madbull.site/?p=1979 私有化部署的模型为例添加应用。

查看使用上次使用 ollama 私有化部署了哪些模型,指令:ollama list

对模型做相应的配置并保存。

创建大模型应用

测试

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注