网络爬虫开发工具：Screaming Frog SEO Spider

Screaming Frog SEO Spider是一款网络爬虫开发工具，快速抓取网站中可能出现的损坏链接和服务器错误，或是识别网站中临时、永久重定向的链接循坏，同时还能检查出网址、网页标题、说明以及内容等信息中心可能出现的重复问题，在经过抓取分析之后，你就能将这些错误问题全部批量导出发送给开发人员进行修复。另外该软件还支持使用XPath提取数据，所以只要你的网站结构简练就不必担心在抓取时可能会出现错漏问题。