Spark ALS 协同过滤算法实践
发布时间：2024-07-09 17:01
个人总结，有误请指出
ALS算法
bibili上硅谷课程
理论
协同过滤算法
上图中横坐标代表用户，纵坐标代表商品，每一个格子，代表第I个用户的对第I个商品的评分。这个矩阵是一个稀疏矩阵，而这些没有值得位置正是我们要推测的值。每个格子的的评分大体上可以看做一个独立事件，是很难准确的通过其他独立事件去推测的。因为它的可能实在太多了。
所以综上我们提出两个问题：
由于它每一个格子的可能性太多，那我们可以简单的理解为求解一个推测值的复杂度是很高的，为m*n，m,n分别为矩阵的横纵长度。
由于每个用户对每个商品的评分行为是独立的事件很难准确的推测其他的值。当然我们是可以通过一些规则去人为的确定的，比如：用户A， B喜欢商品1,用户A喜欢商品2，那么推测用户B也喜欢，这样去计算一个评分。但是怎么转化为计算机能够理解的方式呢？
问题
- 怎么降低计算的复杂度
- 用什么样的规则去推测未知值，计算机更方便的计算
- 计算方法的误差怎么收敛以得到更准确的推测