抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置

发布时间:2023-12-07 18:00

抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置

项目目录
1、抖音短视频数据抓取实战系列(〇)——前言
2、抖音短视频数据抓取实战系列(一)——模拟器的选择与设置
3、抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置
4、抖音短视频数据抓取实战系列(三)——Fiddler抓取抖音用户详细信息数据
5、抖音短视频数据抓取实战系列(四)——Java解析Json文件数据并存库
6、抖音短视频数据抓取实战系列(五)——Mitmproxy的安装以及模拟器Mitmproxy证书安装
7、抖音短视频数据抓取实战系列(六)——Mitmproxy+python编写监测程序
8、抖音短视频数据抓取实战系列(七)——python连接MySQL数据库
9、抖音短视频数据抓取实战系列(八)——Mitmproxy抓取用户详细信息并入库
10、抖音短视频数据抓取实战系列(九)——自动化Appium的环境与参数配置
11、抖音短视频数据抓取实战系列(十)——获取抖音dom元素属性
12、抖音短视频数据抓取实战系列(十一)——Appium与Mitmproxy联合-自动取存抖音用户信息
13、抖音短视频数据抓取实战系列(十二)——抓取实战BUG总集


1、数据监测器我这边使用的是Fiddler和Mitmproxy两种,这里主要讲的是Fillder,而Mitmproxy在后面也会讲解。
Fiddler是一个http协议调试代理工具,它能够记录并检查所有你的电脑和互联网之间的http通讯,设置断点,查看所有的“进出”Fiddler的数据(指cookie,html,js,css等文件)。 Fiddler 要比其他的网络调试器要更加简单,因为它不仅仅暴露http通讯还提供了一个用户友好的格式。
下载安装Fillder,如果官网下不了,可以通过以下链接下载:https://pan.baidu.com/s/1hjUkY7LMm180klRdBxyNQQ,提取码:zsdf
抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置_第1张图片
2、对Fillder进行设置。步骤如下:
抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置_第2张图片
抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置_第3张图片
抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置_第4张图片

Actions>>Trust Boot Certificate>>一路是 来在计算机上安装证书支持。
抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置_第5张图片
抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置_第6张图片
监测端口设置可以随意更改,本文设置为8900,不能与计算机已有端口重合。
所有设置完成之后点击ok保存,但还没有完,fiddler设置需要重启之后才可以生效。


3、重启Fiddler,并检查设置是否生效。
以上Fiddler方面已经配置结束,接下来我们来配置模拟器监测环境


4、为模拟器设置网络代理,主机地址就是你当前电脑的ip,可以在cmd中ipconfig查看,端口就是之前设置的端口。
抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置_第7张图片

抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置_第8张图片
抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置_第9张图片
抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置_第10张图片
抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置_第11张图片
5、为模拟器安装fillder证书。在模拟器浏览器中输入代理地址:域名,比如博主这边代码地址是192.168.0.24,域名是8900,那么就在浏览器中输入192.168.0.24:8900,进入证书安装页,点击FiddlerRoot Certificate进行证书下载,证书安装需要设置锁屏密码,按提示操作即可,值得注意的是这个过程,Fiddler服务器是一直打开的。
抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置_第12张图片
抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置_第13张图片
抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置_第14张图片
6、至此,整个监测环境都已经搭好了,接下来我们就可以开始监测数据,抓取数据了。


项目目录
1、抖音短视频数据抓取实战系列(〇)——前言
2、抖音短视频数据抓取实战系列(一)——模拟器的选择与设置
3、抖音短视频数据抓取实战系列(二)——Fiddler安装配置以及模拟器监测环境配置
4、抖音短视频数据抓取实战系列(三)——Fiddler抓取抖音用户详细信息数据
5、抖音短视频数据抓取实战系列(四)——Java解析Json文件数据并存库
6、抖音短视频数据抓取实战系列(五)——Mitmproxy的安装以及模拟器Mitmproxy证书安装
7、抖音短视频数据抓取实战系列(六)——Mitmproxy+python编写监测程序
8、抖音短视频数据抓取实战系列(七)——python连接MySQL数据库
9、抖音短视频数据抓取实战系列(八)——Mitmproxy抓取用户详细信息并入库
10、抖音短视频数据抓取实战系列(九)——自动化Appium的环境与参数配置
11、抖音短视频数据抓取实战系列(十)——获取抖音dom元素属性
12、抖音短视频数据抓取实战系列(十一)——Appium与Mitmproxy联合-自动取存抖音用户信息
13、抖音短视频数据抓取实战系列(十二)——抓取实战BUG总集

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号