一、爬虫概念及基本流程

一、爬虫的概念

• 网络爬虫——是一种安装颐堤港规则，自动获取互联网信息的程序或者脚本。由于互联网数据䣌多样性和资源的有限性，根据用户需求顶下爬取相关网页并分析已经称为了主流的爬取策略

• 爬虫可以爬取到能通过浏览器访问的所有数据

• 爬虫的本质是：模拟浏览器打开网页，获取网页中我们想要的那部分数据

二、爬虫的基本流程

1. 准备工作
   • 通过浏览器查看分析目标网页，学习编程基础规范
2. 获取数据
   • 通过HTTP库向目标站点发送请求，请求可以包含额外的header等信息，若服务器能正常响应，回得到一个Response，便是所要获取的页面内容
3. 解析内容
   • 得到的内容可能是 HTML、json等格式，可以用页面解析库、正则表达式等进行解析
4. 保存数据
   • 保存数据的形式很多，可以保存为文本，也可以保存到数据库，或者保存特定的格式文件。

如果觉得文章不错的话，可以给我点赞收藏哦
关注我，我们一起学习一起进步！