requests-爬取页面源码数据

requests

• 这是爬虫中一个基于网络请求的模块
• 作用：模拟浏览器发起请求。
• 编码流程：
  • 1.指定url
  • 2.发起请求
  • 3.获取响应数据（爬取到的页面源码数据）
  • 4.持久化存储

1 爬取搜狗首页的页面源码数据

import requests

# 指定url
url = 'https://www.sogou.com/'
# 发起请求 get方法的返回值为相应对象
response = requests.get(url=url)
# 获取相应数据
# .text：返回的是字符串类型的响应数据
page_text = response.text
# 持久化存储
with open('./sougou.html', 'w', encoding='utf-8') as fp:
    fp.write(page_text)

运行后的效果

关注专栏查看更多详细内容