项目简介
“微舆” 是一个从0实现的创新型 多智能体 舆情分析系统,帮助大家破除信息茧房,还原舆情原貌,预测未来走向,辅助决策。用户只需像聊天一样提出分析需求,智能体开始全自动分析 国内外30+主流社媒 与 数百万条大众评论。
不仅仅体现在报告质量上,相比同类产品,我们拥有🚀六大优势:
- AI驱动的全域监控:AI爬虫集群7x24小时不间断作业,全面覆盖微博、小红书、抖音、快手等10+国内外关键社媒。不仅实时捕获热点内容,更能下钻至海量用户评论,让您听到最真实、最广泛的大众声音。
- 超越LLM的复合分析引擎:我们不仅依赖设计的5类专业Agent,更融合了微调模型、统计模型等中间件。通过多模型协同工作,确保了分析结果的深度、准度与多维视角。
- 强大的多模态能力:突破图文限制,能深度解析抖音、快手等短视频内容,并精准提取现代搜索引擎中的天气、日历、股票等结构化多模态信息卡片,让您全面掌握舆情动态。
- Agent“论坛”协作机制:为不同Agent赋予独特的工具集与思维模式,引入辩论主持人模型,通过“论坛”机制进行链式思维碰撞与辩论。这不仅避免了单一模型的思维局限与交流导致的同质化,更催生出更高质量的集体智能与决策支持。
- 公私域数据无缝融合:平台不仅分析公开舆情,还提供高安全性的接口,支持您将内部业务数据库与舆情数据无缝集成。打通数据壁垒,为垂直业务提供“外部趋势+内部洞察”的强大分析能力。
- 轻量化与高扩展性框架:基于纯Python模块化设计,实现轻量化、一键式部署。代码结构清晰,开发者可轻松集成自定义模型与业务逻辑,实现平台的快速扩展与深度定制。
举个例子. 你只需简单修改Agent工具集的api参数与prompt,就可以把他变成一个金融领域的市场分析系统附一个比较活跃的L站项目讨论帖:https://linux.do/t/topic/1009280
🏗️ 系统架构
整体架构图
Insight Agent 私有数据库挖掘:私有舆情数据库深度分析AI代理
Media Agent 多模态内容分析:具备强大多模态能力的AI代理
Query Agent 精准信息搜索:具备国内外网页搜索能力的AI代理
Report Agent 智能报告生成:内置模板的多轮报告生成AI代理
一次完整分析流程
| 步骤 | 阶段名称 | 主要操作 | 参与组件 | 循环特性 |
|---|---|---|---|---|
| 1 | 用户提问 | Flask主应用接收查询 | Flask主应用 | - |
| 2 | 并行启动 | 三个Agent同时开始工作 | Query Agent、Media Agent、Insight Agent | - |
| 3 | 初步分析 | 各Agent使用专属工具进行概览搜索 | 各Agent + 专属工具集 | - |
| 4 | 策略制定 | 基于初步结果制定分块研究策略 | 各Agent内部决策模块 | - |
| 5-N | 循环阶段 | 论坛协作 + 深度研究 | ForumEngine + 所有Agent | 多轮循环 |
| 5.1 | 深度研究 | 各Agent基于论坛主持人引导进行专项搜索 | 各Agent + 反思机制 + 论坛引导 | 每轮循环 |
| 5.2 | 论坛协作 | ForumEngine监控Agent发言并生成主持人总结 | ForumEngine + LLM主持人 | 每轮循环 |
| 5.3 | 交流融合 | 各Agent根据讨论调整研究方向 | 各Agent + forum_reader工具 | 每轮循环 |
| N+1 | 结果整合 | Report Agent收集所有分析结果和论坛内容 | Report Agent | - |
| N+2 | 报告生成 | 动态选择模板和样式,多轮生成最终报告 | Report Agent + 模板引擎 | - |
🚀 快速开始
如果你是初次学习一个Agent系统的搭建,可以从一个非常简单的demo开始:Deep Search Agent Demo
环境要求
- 操作系统: Windows、Linux、MacOS
- Python版本: 3.9+
- Conda: Anaconda或Miniconda
- 数据库: MySQL(可选择我们的云数据库服务)
- 内存: 建议2GB以上
1. 创建Conda环境
# 创建conda环境conda create -n your_conda_name python=3.11conda activate your_conda_name2. 安装依赖包
# 基础依赖安装pip install -r requirements.txt# 如果不想使用本地情感分析模型(算力需求很小,默认安装cpu版本),可以将该文件中的“机器学习”部分注释掉再执行指令3. 安装Playwright浏览器驱动
# 安装浏览器驱动(用于爬虫功能)playwright install chromium4. 配置系统
4.1 配置API密钥
复制一份 config.py.example 文件,命名为 config.py
编辑 config.py 文件,填入您的API密钥(您也可以选择自己的模型、搜索代理,详情见config文件内):

4.2 数据库初始化
选择1:使用本地数据库
MindSpider爬虫系统跟舆情系统是各自独立的,所以需要再去MindSpider\config.py配置一下,复制MindSpider文件夹下的 config.py.example 文件,命名为 config.py
# 本地MySQL数据库初始化cd MindSpiderpython schema/init_database.py选择2:使用云数据库服务(推荐)
我们提供便捷的云数据库服务,包含日均10万+真实舆情数据,目前免费申请!
- 真实舆情数据,实时更新
- 多维度标签分类
- 高可用云端服务
- 专业技术支持
为进行数据合规性审查与服务升级,云数据库自2025年10月1日起暂停接收新的使用申请
5. 启动系统
5.1 完整系统启动(推荐)
# 在项目根目录下,激活conda环境conda activate your_conda_name# 启动主应用即可python app.py注1:一次运行终止后,streamlit app可能结束异常仍然占用端口,此时搜索占用端口的进程kill掉即可
注2:数据爬取需要单独操作,见5.3指引
注3:如果服务器远程部署出现页面显示问题,见PR#45
访问 http://localhost:5000 即可使用完整系统
5.2 单独启动某个Agent

5.3 爬虫系统单独使用
这部分有详细的配置文档:MindSpider使用说明

MindSpider 运行示例

⚙️ 高级配置
修改关键参数
Agent配置参数
每个Agent都有专门的配置文件,可根据需求调整,下面是部分示例:

情感分析模型配置

接入不同的LLM模型
支持任意openAI调用格式的LLM提供商,只需要在/config.py中填写对应的KEY、BASE_URL、MODEL_NAME即可。
更改情感分析模型
系统集成了多种情感分析方法,可根据需求选择:
1. 多语言情感分析
cd SentimentAnalysisModel/WeiboMultilingualSentimentpython predict.py --text "This product is amazing!" --lang "en"2. 小参数Qwen3微调
cd SentimentAnalysisModel/WeiboSentiment_SmallQwenpython predict_universal.py --text "这次活动办得很成功"3. 基于BERT的微调模型
# 使用BERT中文模型cd SentimentAnalysisModel/WeiboSentiment_Finetuned/BertChinese-Lorapython predict.py --text "这个产品真的很不错"4. GPT-2 LoRA微调模型
cd SentimentAnalysisModel/WeiboSentiment_Finetuned/GPT2-Lorapython predict.py --text "今天心情不太好"5. 传统机器学习方法
cd SentimentAnalysisModel/WeiboSentiment_MachineLearningpython predict.py --model_type "svm" --text "服务态度需要改进"接入自定义业务数据库
1. 修改数据库连接配置

2. 创建自定义数据访问工具

3. 集成到InsightEngine

自定义报告模板
1. 在Web界面中上传
系统支持上传自定义模板文件(.md或.txt格式),可在生成报告时选择使用。
2. 创建模板文件
在 ReportEngine/report_template/ 目录下创建新的模板,我们的Agent会自行选用最合适的模板。
项目地址
https://github.com/666ghj/BettaFish/blob/main/README.md
本文由公众号“GitHubStore”授权转载| https://mp.weixin.qq.com/s/ZK9EdjQ71FFp33v0RJn1uQ |(编辑:ZN)