实践案例七:基于Dify构建会议纪要助手Demo
基于会议视频和音频整理会议纪要是工作中一项常见的任务,通过KunpengRAG可以搭建一套自动化的会议纪要系统,通过编排AI工作流,可在工作流中设置视频转音频、音频转文字、结合上下文知识库调用LLM模型等工作节点,实现输入会议视频/音频,自动输出会议纪要的功能。
构建流程
- 请参见方案一:搭建Dify平台完成Dify平台搭建。
- 在插件市场下载模型提供商,并完成API和模型配置(此处示例为硅基流动)。


- 创建“chatflow”类型的Dify工作流。


- 依次创建并链接以下节点。

节点添加方式为:

- 工作流输入节点(开始):设置用户输入的字段类型,选择“单文件”,设置变量名称、显示名称和文件类型(音频)。

- 音频转文本节点:音频转文本使用Dify工具插件中的SPEECH TO TEXT工具,需配置两个参数,第一个参数为输入该阶段的音频文件,第二个参数为配置调用的自动语音识别模型(ASR),ASR模型可以选择公开的API模型。


- 上下文知识库检索节点:上下文知识库可以导入会议背景资料或其他相关资料。(知识库搭建流程可参考5.1)

- LLM调用生成会议纪要:将会议文本结合上下文导入LLM,撰写prompt提示LLM生成会议纪要输出。

- 输出节点:设置会议纪要输出格式。

- 在本地将会议内容音频保存为mp3,随后上传到聊天界面,发送任意语句即可开始会议纪要总结。

参考效果:

父主题: 实践案例