发布时间:2022-08-19 13:47
个人简介
作者简介:大家好,我是W_chuanqi,一个编程爱好者
个人主页:W_chaunqi
支持我:点赞+收藏⭐️+留言
愿你我共勉:“若身在泥潭,心也在泥潭,则满眼望去均是泥潭;若身在泥潭,而心系鲲鹏,则能见九万里天地。”✨✨✨
我们使用urllib 库和 requests 库,已经可以爬取绝大多数网站的数据,但对于某些网站依然无能为力。这些网站强制使用 HTTP/2.0 协议访问,这时 urllib 和 requests 是无法爬取数据的,因为它们只支持 HTTP/1.1,不支持 HTTP/2.0。
那我们使用一些支持 HTTP/2.0 的请求库不就好了嘛,目前来说,比较有代表性的是hyper 和 httpx,后者使用起来更加方便,功能也更强大,requests已有的功能它几乎都支持。
httpx的特点:
- 和使用 requests 一样方便,requests 有的它都有
- 加入 HTTP/1.1 和 HTTP/2 的支持。
- 能够直接向 WSGI 应用程序或 ASGI 应用程序发出请求。
- 到处都有严格的超时设置
- 全类型注释
- 100% 的测试覆盖率