als算法参数_Pyspark推荐算法实战（一）
发布时间：2022-08-18 18:04
作者：丁永兵
作者简介：NLP、推荐算法
1. 前言
由于最近转向商品推荐的工作，因此从本文起，开始介绍一些利用pyspark在推荐算法中的具体应用。
目前最新版本的spark已经出到2.4.5，我们主要使用的还是2.3版本，所以后续涉及代码开发，全部基于2.3.4版本。
首先看下pyspark的算法包内容，pyspark算法包主要有ml和mllib两个库，这 两个库从图一看到，整体内容基本一致，都能满足我们日常的算法需求，不过从2.0开始，mllib主要进行维护状况，不再新增功能，加上ml库与scikit-learn使用非常类似，对于经常使用后者建模的同学来说，ml能够非常快速入手，建议更多时候使用ml算法包。如图所示，ml中提供fpm：频繁项挖掘和recommendation 两个算法包，帮助快速落地推荐算法，下面就这两块内容进行详细介绍，并进行代码开发实现。
图一 pyspark算法工具包内容
2. pyspark中频繁项挖掘算法实现
fpm下主要包含两类算法：FPGrowth和PrefixSpan，PrefixSpan算法主要挖掘序列模式的数据，其记录元素具有时间上的先后关系，与我们常见的购物篮分析数据不是同一个场景，在此就不再赘述。
FPGrowth是韩嘉炜等人于2000年提出的一种关联分析算法，其核心思想是构建一颗频繁模式树。
相比较于Apriori算法，FPGrowth计算速度大大优于前者，前者需要根据项数多次扫描数据库，直到没符合要求的项集存在为止，而FPGrowth仅需扫描两次，计算量大大降低：
第1次扫描获取各个元素的频率，去掉不满足支持度要求的项，并对符合的元素从大到小排序；
第2次扫描建立一颗FP-Tree树。