鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

实践案例七:基于Dify构建会议纪要助手Demo

基于会议视频和音频整理会议纪要是工作中一项非常常见的任务,通过KunpengRAG可以搭建一套自动化的会议纪要系统,通过编排AI工作流,可在工作流中设置视频转音频、音频转文字、结合上下文知识库调用LLM模型等工作节点,实现输入会议视频/音频,自动输出会议纪要的功能。

构建流程

前提:已参考4.6.2完成dify平台搭建。

1. 在插件市场下载模型提供商,并完成API和模型配置(此处示例为硅基流动)。

2. 创建“chatflow”类型的dify工作流。

依次创建并链接以下节点。

节点添加方式为:

1) 工作流输入节点(开始):设置用户输入的字段类型,选择“单文件”,设置变量名称、显示名称和文件类型(音频)。

2) 音频转文本节点:音频转文本使用DIFY工具插件中的SPEECH TO TEXT工具,需配置两个参数,第一个参数为输入该阶段的音频文件,第二个参数为配置调用的自动语音识别模型(ASR),ASR模型可以选择公开的API模型。

3) 上下文知识库检索节点:上下文知识库可以导入会议背景资料或其他相关资料。(知识库搭建流程可参考5.1

4) LLM调用生成会议纪要:将会议文本结合上下文导入LLM, 撰写prompt提示LLM生成会议纪要输出。

5) 输出节点:设置会议纪要输出格式。

6)在本地将会议内容音频保存为mp3,然后上传到聊天界面,发送任意语句即可开始会议纪要总结。

参考效果: