一天火爆全网!多Agent舆情分析系统!

“微舆” 是一个从0实现的创新型 多智能体 舆情分析系统,帮助大家破除信息茧房,还原舆情原貌,预测未来走向,辅助决策。用户只需像聊天一样提出分析需求,智能体开始全自动分析 国内外30+主流社媒 与 数百万条大众评论。

作者: GitHubStore
分类:实用工具
11 次阅读

项目简介

微舆” 是一个从0实现的创新型 多智能体 舆情分析系统,帮助大家破除信息茧房,还原舆情原貌,预测未来走向,辅助决策。用户只需像聊天一样提出分析需求,智能体开始全自动分析 国内外30+主流社媒 与 数百万条大众评论。

不仅仅体现在报告质量上,相比同类产品,我们拥有🚀六大优势:

  1. AI驱动的全域监控:AI爬虫集群7x24小时不间断作业,全面覆盖微博、小红书、抖音、快手等10+国内外关键社媒。不仅实时捕获热点内容,更能下钻至海量用户评论,让您听到最真实、最广泛的大众声音。
  2. 超越LLM的复合分析引擎:我们不仅依赖设计的5类专业Agent,更融合了微调模型、统计模型等中间件。通过多模型协同工作,确保了分析结果的深度、准度与多维视角。
  3. 强大的多模态能力:突破图文限制,能深度解析抖音、快手等短视频内容,并精准提取现代搜索引擎中的天气、日历、股票等结构化多模态信息卡片,让您全面掌握舆情动态。
  4. Agent“论坛”协作机制:为不同Agent赋予独特的工具集与思维模式,引入辩论主持人模型,通过“论坛”机制进行链式思维碰撞与辩论。这不仅避免了单一模型的思维局限与交流导致的同质化,更催生出更高质量的集体智能与决策支持。
  5. 公私域数据无缝融合:平台不仅分析公开舆情,还提供高安全性的接口,支持您将内部业务数据库与舆情数据无缝集成。打通数据壁垒,为垂直业务提供“外部趋势+内部洞察”的强大分析能力。
  6. 轻量化与高扩展性框架:基于纯Python模块化设计,实现轻量化、一键式部署。代码结构清晰,开发者可轻松集成自定义模型与业务逻辑,实现平台的快速扩展与深度定制。
举个例子. 你只需简单修改Agent工具集的api参数与prompt,就可以把他变成一个金融领域的市场分析系统附一个比较活跃的L站项目讨论帖:https://linux.do/t/topic/1009280

🏗️ 系统架构

整体架构图

Insight Agent 私有数据库挖掘:私有舆情数据库深度分析AI代理

Media Agent 多模态内容分析:具备强大多模态能力的AI代理

Query Agent 精准信息搜索:具备国内外网页搜索能力的AI代理

Report Agent 智能报告生成:内置模板的多轮报告生成AI代理

一次完整分析流程

步骤阶段名称主要操作参与组件循环特性
1用户提问Flask主应用接收查询Flask主应用-
2并行启动三个Agent同时开始工作Query Agent、Media Agent、Insight Agent-
3初步分析各Agent使用专属工具进行概览搜索各Agent + 专属工具集-
4策略制定基于初步结果制定分块研究策略各Agent内部决策模块-
5-N循环阶段论坛协作 + 深度研究ForumEngine + 所有Agent多轮循环
5.1深度研究各Agent基于论坛主持人引导进行专项搜索各Agent + 反思机制 + 论坛引导每轮循环
5.2论坛协作ForumEngine监控Agent发言并生成主持人总结ForumEngine + LLM主持人每轮循环
5.3交流融合各Agent根据讨论调整研究方向各Agent + forum_reader工具每轮循环
N+1结果整合Report Agent收集所有分析结果和论坛内容Report Agent-
N+2报告生成动态选择模板和样式,多轮生成最终报告Report Agent + 模板引擎-

🚀 快速开始

如果你是初次学习一个Agent系统的搭建,可以从一个非常简单的demo开始:Deep Search Agent Demo

环境要求

  • 操作系统: Windows、Linux、MacOS
  • Python版本: 3.9+
  • Conda: Anaconda或Miniconda
  • 数据库: MySQL(可选择我们的云数据库服务)
  • 内存: 建议2GB以上

1. 创建Conda环境

# 创建conda环境conda create -n your_conda_name python=3.11conda activate your_conda_name

2. 安装依赖包

# 基础依赖安装pip install -r requirements.txt# 如果不想使用本地情感分析模型(算力需求很小,默认安装cpu版本),可以将该文件中的“机器学习”部分注释掉再执行指令

3. 安装Playwright浏览器驱动

# 安装浏览器驱动(用于爬虫功能)playwright install chromium

4. 配置系统

4.1 配置API密钥

复制一份 config.py.example 文件,命名为 config.py

编辑 config.py 文件,填入您的API密钥(您也可以选择自己的模型、搜索代理,详情见config文件内):

2d8dd82dfcf878ba3c6050b6a644021a.png

4.2 数据库初始化

选择1:使用本地数据库

MindSpider爬虫系统跟舆情系统是各自独立的,所以需要再去MindSpider\config.py配置一下,复制MindSpider文件夹下的 config.py.example 文件,命名为 config.py
# 本地MySQL数据库初始化cd MindSpiderpython schema/init_database.py

选择2:使用云数据库服务(推荐)

我们提供便捷的云数据库服务,包含日均10万+真实舆情数据,目前免费申请

  • 真实舆情数据,实时更新
  • 多维度标签分类
  • 高可用云端服务
  • 专业技术支持
为进行数据合规性审查与服务升级,云数据库自2025年10月1日起暂停接收新的使用申请

5. 启动系统

5.1 完整系统启动(推荐)

# 在项目根目录下,激活conda环境conda activate your_conda_name# 启动主应用即可python app.py
注1:一次运行终止后,streamlit app可能结束异常仍然占用端口,此时搜索占用端口的进程kill掉即可
注2:数据爬取需要单独操作,见5.3指引
注3:如果服务器远程部署出现页面显示问题,见PR#45

访问 http://localhost:5000 即可使用完整系统

5.2 单独启动某个Agent

67ee5f56819d48a29459b6725f62bfdc.png

5.3 爬虫系统单独使用

这部分有详细的配置文档:MindSpider使用说明

597667b2af17adc048dd0e8646ae2986.png

MindSpider 运行示例

9f6ccbc94211bfbb6f9a373a4486a09b.png

⚙️ 高级配置

修改关键参数

Agent配置参数

每个Agent都有专门的配置文件,可根据需求调整,下面是部分示例:

088d137a3ba6b792d6ba57532af94502.png

情感分析模型配置

974b718535dc51314a421f06936df896.png

接入不同的LLM模型

支持任意openAI调用格式的LLM提供商,只需要在/config.py中填写对应的KEY、BASE_URL、MODEL_NAME即可。

更改情感分析模型

系统集成了多种情感分析方法,可根据需求选择:

1. 多语言情感分析

cd SentimentAnalysisModel/WeiboMultilingualSentimentpython predict.py --text "This product is amazing!" --lang "en"

2. 小参数Qwen3微调

cd SentimentAnalysisModel/WeiboSentiment_SmallQwenpython predict_universal.py --text "这次活动办得很成功"

3. 基于BERT的微调模型

# 使用BERT中文模型cd SentimentAnalysisModel/WeiboSentiment_Finetuned/BertChinese-Lorapython predict.py --text "这个产品真的很不错"

4. GPT-2 LoRA微调模型

cd SentimentAnalysisModel/WeiboSentiment_Finetuned/GPT2-Lorapython predict.py --text "今天心情不太好"

5. 传统机器学习方法

cd SentimentAnalysisModel/WeiboSentiment_MachineLearningpython predict.py --model_type "svm" --text "服务态度需要改进"

接入自定义业务数据库

1. 修改数据库连接配置

c947eb9df57dac5eac09e83c746b8de9.png

2. 创建自定义数据访问工具

df4ba2aa1e6d5d690b93014768483857.png

3. 集成到InsightEngine

d87e460299aa2351d0e3f970b5133c2e.png

自定义报告模板

1. 在Web界面中上传

系统支持上传自定义模板文件(.md或.txt格式),可在生成报告时选择使用。

2. 创建模板文件

ReportEngine/report_template/ 目录下创建新的模板,我们的Agent会自行选用最合适的模板。

项目地址

https://github.com/666ghj/BettaFish/blob/main/README.md

本文由公众号“GitHubStore”授权转载| https://mp.weixin.qq.com/s/ZK9EdjQ71FFp33v0RJn1uQ |(编辑:ZN)