Python爬虫零基础(以爬豆瓣电影top250为例,尝试自己写爬豆瓣读书top250的代码)

发布时间:2023-04-24 19:30

Python爬虫零基础(以爬豆瓣电影top250为例,尝试自己写爬豆瓣读书top250的代码)

安装编译器
先要准备好一个Python的编译器,就是得能有一个地方去运行你想要读懂的代码,像官方版呐,Anaconda,Pycharm,Eclipse等等。

安装第三方库
安装第三方库,比如需要用到BeautifulSoup这个库(这是可以从HTML或XML文件中提取数据的Python库)

首先打开cmd命令框
\"Python爬虫零基础(以爬豆瓣电影top250为例,尝试自己写爬豆瓣读书top250的代码)_第1张图片\"
BeautifulSoup库名是bs4
下载库文件的命令是:

pip install bs4

输入到cmd里面去
\"Python爬虫零基础(以爬豆瓣电影top250为例,尝试自己写爬豆瓣读书top250的代码)_第2张图片\"
然后回车
\"Python爬虫零基础(以爬豆瓣电影top250为例,尝试自己写爬豆瓣读书top250的代码)_第3张图片\"
看到图中红色方框的Requirement already satisfied: beautifulsoup4 in字样基本就可以了

然后检验一下
在编译器里面输入

from bs4 import BeautifulSoup
print(\"asd\");

能正常输出就证明库的安装没有问题,有警告不要紧(因为我们import了这个库但没有用到它)

还会用到下面这些个库,照上面的步骤安装就成,功能都写在注释里面了

from bs4 import BeautifulSoup  # 网页解析,获取数据
import re  # 正则表达式,进行文字匹配
import urllib.request, urllib.error  # 制定URL,获取网页数据
import xlwt  # 进行excel操作

import requests 

源代码和读代码

我读的代码来源是
作者:码农BookSea
原文链接: https://blog.csdn.net/bookssea/article/details/107309591

我直接把代码复制过来了,他写的时候用了两种方法,一是直接用excel表格体现爬取的数据,二是把数据保存到数据库里面(先没看这个方式,就把对应的代码删了)

读代码的过程上面这个文章讲的很详细了,我就不加以赘述了

# -*- codeing = utf-8 -*-
from bs4 import BeautifulSoup  # 网页解析,获取数据
import re  # 正则表达式,进行文字匹配`
import urllib.request, urllib.error  # 制定URL,获取网页数据
import xlwt  # 进行excel操作
#import sqlite3  # 进行SQLite数据库操作

findLink = re.compile(r\'\')  # 创建正则表达式对象,标售规则   影片详情链接的规则
findImgSrc = re.compile(r\', re.S)
findTitle = re.compile(r\'(.*)\')
findRating = re.compile(r\'(.*)\')
findJudge = re.compile(r\'(\\d*)人评价\')
findInq = re.compile(r\'(.*)\')
findBd = re.compile(r\'

(.*?)

\'
, re.S) def main(): baseurl = \"https://movie.douban.com/top250?start=\" #要爬取的网页链接 # 1.爬取网页 datalist = getData(baseurl) savepath = \"豆瓣电影Top250.xls\" #当前目录新建XLS,存储进去 # 3.保存数据 saveData(datalist,savepath) #2种存储方式可以只选择一种 # 爬取网页 def getData(baseurl): datalist = [] #用来存储爬取的网页信息 for i in range(0, 10): # 调用获取页面信息的函数,10次 url = baseurl + str(i * 25) html = askURL(url) # 保存获取到的网页源码 # 2.逐一解析数据 soup = BeautifulSoup(html, \"html.parser\") for item in soup.find_all(\'div\', class_=\"item\"): # 查找符合要求的字符串 data = [] # 保存一部电影所有信息 item = str(item) link = re.findall(findLink, item)[0] # 通过正则表达式查找 data.append(link) imgSrc = re.findall(findImgSrc, item)[0] data.append(imgSrc) titles = re.findall(findTitle, item) if (len(titles) == 2): ctitle = titles[0] data.append(ctitle) otitle = titles[1].replace(\"/\", \"\") #消除转义字符 data.append(otitle) else: data.append(titles[0]) data.append(\' \') rating = re.findall(findRating, item)[0] data.append(rating) judgeNum = re.findall(findJudge, item)[0] data.append(judgeNum) inq = re.findall(findInq, item) if len(inq) != 0: inq = inq[0].replace(\"。\", \"\") data.append(inq) else: data.append(\" \") bd = re.findall(findBd, item)[0] bd = re.sub(\'(\\s+)?\', \"\", bd) bd = re.sub(\'/\', \"\", bd) data.append(bd.strip()) datalist.append(data) return datalist # 得到指定一个URL的网页内容 def askURL(url): head = { # 模拟浏览器头部信息,向豆瓣服务器发送消息 \"User-Agent\": \"Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 80.0.3987.122 Safari / 537.36\" } # 用户代理,表示告诉豆瓣服务器,我们是什么类型的机器、浏览器(本质上是告诉浏览器,我们可以接收什么水平的文件内容) request = urllib.request.Request(url, headers=head) html = \"\" try: response = urllib.request.urlopen(request) html = response.read().decode(\"utf-8\") except urllib.error.URLError as e: if hasattr(e, \"code\"): print(e.code) if hasattr(e, \"reason\"): print(e.reason) return html # 保存数据到表格 def saveData(datalist,savepath): print(\"save.......\") book = xlwt.Workbook(encoding=\"utf-8\",style_compression=0) #创建workbook对象 sheet = book.add_sheet(\'豆瓣电影Top250\', cell_overwrite_ok=True) #创建工作表 col = (\"电影详情链接\",\"图片链接\",\"影片中文名\",\"影片外国名\",\"评分\",\"评价数\",\"概况\",\"相关信息\") for i in range(0,8): sheet.write(0,i,col[i]) #列名 for i in range(0,250): # print(\"第%d条\" %(i+1)) #输出语句,用来测试 data = datalist[i] for j in range(0,8): sheet.write(i+1,j,data[j]) #数据 book.save(savepath) #保存 if __name__ == \"__main__\": # 当程序执行时 # 调用函数 main() print(\"爬取完毕!\")

尝试自己写代码

刚刚我们读的代码爬的网站是:豆瓣电影top250 https://movie.douban.com/top250?start=
我想要爬的网站是: 豆瓣热门访谈图书TOP 10 https://m.douban.com/subject_collection/EC3EPTHFA

这个和我们刚刚读的代码里爬的网站很相似,甚至难度没那个网站那么高,让我们一步步去实现它吧。

我们要进行获取网站上面的信息,就得要知道网站上面的这些个字,这些个模块是怎么出来的,涉及到一点点的前端知识

首先我们从最简单的写起,怎么获取一个网站上面的前端代码,先以B站为例(豆瓣不能直接爬,要加入head)

B站链接是:链接: https://www.bilibili.com/
然后我们按快捷键F12,或者鼠标右键然后选检查,都会出现前端代码,如下图


鼠标滑动到代码区的代码上面时,在页面上会显示代码对应的区域,如下图

我们先爬取所有的前端代码(后续再进行别的筛选)

import requests #导入

url=\"https://www.bilibili.com/\"  #网址
req=requests.get(url)
req.encoding=\'utf-8\'#定义编码格式为utf-8
print(req.text)

运行结果就是我们刚刚看到的那些前端代码

\"Python爬虫零基础(以爬豆瓣电影top250为例,尝试自己写爬豆瓣读书top250的代码)_第4张图片\"
然后尝试我们想要爬的网站:豆瓣读书TOP 250排行榜 https://book.douban.com/top250?start=

把代码直接替换发现无法输出结果
很多网站再申请访问的时候没有请求头访问会不成功,或者返回乱码,最简单的解决方式就是伪装成浏览器进行访问,这就需要添加一个请求头来伪装浏览器行为

 head = {  # 模拟浏览器头部信息,向豆瓣服务器发送消息
        \"User-Agent\": \"Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 80.0.3987.122  Safari / 537.36\"
    }
    # 用户代理,表示告诉豆瓣服务器,我们是什么类型的机器、浏览器(本质上是告诉浏览器,我们可以接收什么水平的文件内容)

代码就变成了这样

 import urllib.request, urllib.error  # 制定URL,获取网页数据
head = {  # 模拟浏览器头部信息,向豆瓣服务器发送消息
        \"User-Agent\": \"Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 80.0.3987.122  Safari / 537.36\"
    }
    # 用户代理,表示告诉豆瓣服务器,我们是什么类型的机器、浏览器(本质上是告诉浏览器,我们可以接收什么水平的文件内容)

url=\"https://movie.douban.com/top250?start=\"
req=urllib.request.Request(url, headers=head)
req = urllib.request.urlopen(req)
html = req.read().decode(\'utf-8\')
print(html)

这样就能照常显示我们想要的所有的前端代码
\"Python爬虫零基础(以爬豆瓣电影top250为例,尝试自己写爬豆瓣读书top250的代码)_第5张图片\"
top250的榜单在一页上面只能显示25本书,我们翻页找寻规律
第一页:
\"在这里插入图片描述\"

第二页:\"在这里插入图片描述\"
第三页:
\"在这里插入图片描述\"
此时我们可以发现网址的规律

 for i in range(0,10)  #我们设置一个变量i代表页数
 	url=\"https://book.douban.com/top250?start=\"+str(i*25)#第i页的网址

然后我们可以在前端代码里面找寻我们需要的数据例如书名,作者,评分,简介等等

\"Python爬虫零基础(以爬豆瓣电影top250为例,尝试自己写爬豆瓣读书top250的代码)_第6张图片\"

利用find_all()函数返回在前端代码里面搜寻得到的数据,利用sheet进行excel表格的处理

最终代码如下:

 # -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
import xlwt
headers = {\'User-Agent\': \'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36\'}

col = (\"书名\",\"作者/出版社/年份/标价\",\"评分\",\"简介\")
book = xlwt.Workbook(encoding=\"utf-8\",style_compression=0) #创建workbook对象
sheet = book.add_sheet(\'豆瓣图书Top250\', cell_overwrite_ok=True) #创建工作表
for i in range(0,4):
    sheet.write(0,i,col[i])  
   
num=1   
for i in range(0,10):
    url=\"https://book.douban.com/top250?start=\"+str(i*25)
    resp = requests.get(url,timeout=None,headers = headers)
    #目标网址中,每一页都以25的倍数递增,timeout=None,在网络不佳的时候一直等待
    soup = BeautifulSoup(resp.text,\'html.parser\')
    book_names = soup.find_all(\'div\',class_=\'pl2\')#书名
    authors = soup.find_all(\'p\',\'pl\')#作者/出版社/年份/标价
    scores = soup.find_all(\'span\',class_=\'rating_nums\')#评分
    introducts = soup.find_all(\'table\',width=\"100%\")#简介
    for book_name,author,score,introduct in zip(book_names,authors,scores,introducts):
        sheet.write(num,0,str(\"《%s》\\n\" % (book_name.find(\'a\')[\'title\'])))
        sheet.write(num,1,str(\"%s\\n\" % (author.get_text())))
        sheet.write(num,2,str(\"%s\\n\" % (score.get_text())))
        itd = introduct.find(\'span\',class_=\'inq\')
        if(itd != None):  #因为有些图书没有简介
            sheet.write(num,3,str(\"\\\"%s\\\"\\n\" % (itd.get_text())))
        else:
            sheet.write(num,3,str(\"None\\n\"))
        num += 1
        book.save(\"豆瓣图书Top250.xls\") #保存


ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号