news-classifier/crawler-module/docs/crawler-info.md

3.0 KiB

================================================================================
爬虫任务汇总统计

【NETEASE】

分类 状态 爬取 插入 重复

entertainment [失败] 88 0 88 tech [成功] 90 27 63 sports [成功] 100 100 0 money [成功] 100 45 55 auto [失败] 30 0 30 gov [成功] 100 7 93 health [失败] 60 0 60 war [失败] 99 0 99

小计 4/8 成功 667 179 488

【KR36】

分类 状态 爬取 插入 重复

ai [失败] 100 0 100 health [失败] 80 0 80

小计 0/2 成功 180 0 180

【SINA】

分类 状态 爬取 插入 重复

auto [失败] 30 0 30 gov [失败] 27 0 27

小计 0/2 成功 57 0 57

【TENCENT】

分类 状态 爬取 插入 重复

auto [成功] 53 7 46 war [成功] 57 9 48 war_web [成功] 77 5 72 health [成功] 66 11 55 house [成功] 52 7 45 tech [成功] 75 22 53 entertainment [成功] 42 12 30 ai [失败] 0 0 0

小计 7/8 成功 422 73 349

================================================================================
总计统计

总爬虫数: 20 成功数: 11 失败数: 9 总爬取: 1326 篇 总插入: 252 条 总重复: 1074 条