鲲鹏社区首页
中文
注册
开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

实践案例七:基于Dify构建会议纪要助手Demo

基于会议视频和音频整理会议纪要是工作中一项常见的任务,通过KunpengRAG可以搭建一套自动化的会议纪要系统,通过编排AI工作流,可在工作流中设置视频转音频、音频转文字、结合上下文知识库调用LLM模型等工作节点,实现输入会议视频/音频,自动输出会议纪要的功能。

构建流程

  1. 请参见方案一:搭建Dify平台完成Dify平台搭建。
  2. 在插件市场下载模型提供商,并完成API和模型配置(此处示例为硅基流动)。

  3. 创建“chatflow”类型的Dify工作流。

  4. 依次创建并链接以下节点。

    节点添加方式为:

  5. 工作流输入节点(开始):设置用户输入的字段类型,选择“单文件”,设置变量名称、显示名称和文件类型(音频)。

  6. 音频转文本节点:音频转文本使用Dify工具插件中的SPEECH TO TEXT工具,需配置两个参数,第一个参数为输入该阶段的音频文件,第二个参数为配置调用的自动语音识别模型(ASR),ASR模型可以选择公开的API模型。

  7. 上下文知识库检索节点:上下文知识库可以导入会议背景资料或其他相关资料。(知识库搭建流程可参考5.1

  8. LLM调用生成会议纪要:将会议文本结合上下文导入LLM,撰写prompt提示LLM生成会议纪要输出。

  9. 输出节点:设置会议纪要输出格式。

  10. 在本地将会议内容音频保存为mp3,随后上传到聊天界面,发送任意语句即可开始会议纪要总结。

    参考效果: