大数据之足球盘口赔率凯利必发数据采集爬虫

发布时间:2023-09-01 16:00

这期主要介绍足球类数据的获取即爬虫相关知识,主要是针对足球/体育类网站平台都爬虫工程师。如果您是单纯的进行数据分析,利用赔率、亚盘、凯利、必发等各指标找出与赛果的关系,可以通过网络获得即可,不要先消耗大量的时间和精力去做爬虫,因为即便你爬到了数据,预测结果分析完后也不一定有任何帮助和启示。作为足球数据类采集的思路:

1. 导入库

import re, requests, time, random, pymysql, os  #主要为请求类,连接数据库类,时间模块
import pandas as pd                             #利用pandas处理数据
from sshtunnel import SSHTunnelForwarder        #远程连接服务器 
from bs4 import BeautifulSoup

2. 确定采集目标

足球相关数据的收集,所有的赛事信息包括且不仅限于:
    球队信息,
    天气和场地信息,
    所有比赛列表,
    积分榜,
    对战历史,
    近期战绩,
    未来赛事,
    实时比分,
    历史欧指数据,
    实时欧指数据,
    历史亚盘数据,
    实时亚盘数据,
    历史大小球数据,
    实时大小球数据,,
    凯利指数,
    必发数据

3. 构建采集框架流程 

 由第2步,我们知道,需要采集的数据内容分布在不同页面。因此要找到这些网页的共同入口。利用入口进行不同赛事分类和提取,具体到某一网站的总体思路如下:

def get_year_page(urls):
    res = get_requests12(urls,headers)

    ret = re.findall(r'arr\[0\].*?=(.*);', res.text, re.S)[0].replace('\n', '').replace(' ', '')         #将,,转为,'',是为了list能转化为json
    ret_list = ret.split(';')  
    for i in range(len(ret_list)):
        ret = ret.replace('arr[%s]=' % (i), '')
    respon = ret.strip(';').split(';') 

    for group_id in respon:
        db = pymysql.connect()
        cur = db.cursor()
        group_Info = group_id.split(',[')
        group_con_tab = group_Info[0].replace('[', '').replace('"', '')
        group_con_game = group_Info[1].replace('[', '').replace(']]', '')
        group_gam_tab = group_con_game.split('","')

        for group_gam in group_gam_tab:
            group_gam = group_gam.replace('"', '')  
            group_gam_info = group_gam.split(',')  

            leagueid = group_gam_info[#]
            league_or_cup = group_gam_info[#]
            league_or_subleague = group_gam_info[#]
            if int(leagueid) in league_id :
                b = len(group_gam_info)

                if int(league_or_cup) == ### and int(league_or_subleague) == ###:
                    for season in range(###, ###):
                        url

                elif int(league_or_cup) == ### and int(league_or_subleague) == ###:
                    for season in range(###,, ###):
                        url 

                        get_real_url(url, group_gam_info[season], leagueid, league_or_cup, league_or_subleague)
                        del_lishi_league(group_gam_info[season], leagueid)
                elif int(league_or_cup) == ###:
                    for season in range(###,, ###):

                        url

                        get_real_url(url, group_gam_info[season], leagueid, league_or_cup, league_or_subleague)
                        del_lishi_league(group_gam_info[season], leagueid)
            else:
                pass

4. 找出一场比赛唯一标识

这里需要强调的是,绝大多数足球类网站经历了多年的开发,展现给用户的页面看起来都是统一规范的,但是底层数据结构已经不一样了。 

5. 按需求对不同数据分类采集

 完整的代码有十几万行,珍惜劳动成果,请勿私信索要免费源代码。谢谢。

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号