用扣子自动化采集 WRC 展商数据
最近要采集 WRC(世界机器人大会)的展商数据,正好拿扣子跑了一次 AI 自动化采集,效果还不错,分享一下完整过程。
📌 什么是 AI 自动化采集
以前我们从网页收集数据,都是自己写脚本,自己分析页面结构,然后自己运行脚本,把数据存成结构化文件(json、excel 等)。
AI 自动化采集就反过来了:
- 我们只负责写提示词,提供思路和方法
- 爬取、解析、清洗、结构化存储,全部交给 AI 自己完成
我用的工具叫扣子。
INFO
之前也在 分享一些经常用的东西吧 里推荐过扣子空间,感兴趣的可以看看。
🤔 扣子有什么好处
- ☁️ 云 Agent —— 不会在自己电脑生成垃圾文件,主要就是冲着这个
- 🔌 丰富的 MCP —— 可以读取网页、图片等
- 🤖 自动生成子 Agent —— 跑批量采集很方便
- 📱 多端控制 —— 电脑手机都能看
我用扣子已经很久了,从扣子的第一版产品开始用(当时还是无限积分)。
🔍 怎么生成好的数据
1. 找到数据真实的网址
找到 https://www.worldrobotconference.com/,这是官网,数据绝对真实。
2. 找到结构友好的页面
WARNING
不要找展位图!OCR 识别出来的东西有问题,很多写的是公司简称。
找到 https://www.worldrobotconference.com/expo/,这个页面的结构就友好多了。
3. 分析数据
展商名录下面标记了不同馆的品牌 icon。
难道是让 AI 读 icon 来统计是什么公司吗?难道没有详细的展位号吗?
点击某个 icon 就可以发现详情页:https://www.worldrobotconference.com/expo/company/412.html
里面的内容有:
- 公司 icon
- 公司全称
- 公司展位号
- 公司宣传视频
- 公司介绍
- 公司展品
我们初步可以拿到这些数据。
通过公司全称,我们还可以让 AI 通过搜索引擎 MCP,搜出公司创始人、联系电话、邮箱、公司地址、资本参数、公司官网等公开内容。
4. 编写提示词
将上面的步骤和思路,直接整理成提示词告诉 AI 就行了。
5. 等待返回结果
剩下的就是等 AI 跑完,收数据。
✅ 总结
TIP
AI 自动化采集的核心不是写代码,而是选对数据源 + 讲清思路:找真实、结构友好的页面,把分析步骤写成提示词,剩下的交给 AI。
