实践案例七:基于Dify构建会议纪要助手Demo
基于会议视频和音频整理会议纪要是工作中一项非常常见的任务,通过KunpengRAG可以搭建一套自动化的会议纪要系统,通过编排AI工作流,可在工作流中设置视频转音频、音频转文字、结合上下文知识库调用LLM模型等工作节点,实现输入会议视频/音频,自动输出会议纪要的功能。
构建流程
前提:已参考4.6.2完成dify平台搭建。
1. 在插件市场下载模型提供商,并完成API和模型配置(此处示例为硅基流动)。
2. 创建“chatflow”类型的dify工作流。
依次创建并链接以下节点。
节点添加方式为:
1) 工作流输入节点(开始):设置用户输入的字段类型,选择“单文件”,设置变量名称、显示名称和文件类型(音频)。
2) 音频转文本节点:音频转文本使用DIFY工具插件中的SPEECH TO TEXT工具,需配置两个参数,第一个参数为输入该阶段的音频文件,第二个参数为配置调用的自动语音识别模型(ASR),ASR模型可以选择公开的API模型。
3) 上下文知识库检索节点:上下文知识库可以导入会议背景资料或其他相关资料。(知识库搭建流程可参考5.1)
4) LLM调用生成会议纪要:将会议文本结合上下文导入LLM, 撰写prompt提示LLM生成会议纪要输出。
5) 输出节点:设置会议纪要输出格式。
6)在本地将会议内容音频保存为mp3,然后上传到聊天界面,发送任意语句即可开始会议纪要总结。
参考效果:
父主题: 实践案例