还是比Selenium好用?Python使用Splash访问谷歌获取相应内容。

发布时间:2023-02-13 15:00

        上次讲了一下playwright获取网站的数据。但是吧这个playwright,他终究是一个自动化调试工具,多多少少会占一点本地的资源。

        这次的Splash可不一样了,他是部署在服务器上的,可以把负载的资源放在一个甚至多个服务器上,实现在服务器上将想要请求的网站,请求加渲染,把最后的HTML返回给你,让你解析数据。

一、Splash和Splash配置

        Splash是一个JavaScript的渲染服务,这是一款带有HTTP API的轻量级web浏览器,同时啊他还接入了python3的Twisted and QT5库。

还是比Selenium好用?Python使用Splash访问谷歌获取相应内容。_第1张图片

你们想要的文档在这里 https://splash.readthedocs.io/en/stable/index.html

        Spalsh配置这里介绍下Liunx+Docker的配置,以下几步:

  • 安装Docker,保证Docker安装的版本>=17
  • 使用Docker拉取镜像
  • 启动容器,开启Splash服务

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号