发布时间:2024-01-15 10:00
df.isnull() # 查看空缺值,可以识别 null / None / Nan
df.isnull().any(axis=0) # 查看每行是否有空缺值
df.isnull().any(axis=1) # 查看每列是否有空缺值
df.isnull().sum() # 统计每行空缺值的个数
df.isnull().sum(axis=1) # 统计每列有空缺值的个数
df.isnull().sum().sum() # 统计整个df的缺失值
df[\'列名\'].isnull().sum(axis=0) # 统计某一列的缺失值
df[df.isnull().values==True] # 查看有缺失值的行,不去重
df[df.isnull().T.any()] # 查看有缺失值的行,去重
pandas.dropna()官方文档
DataFrame.dropna(axis=0, how=‘any’, thresh=None, subset=None, inplace=False)
df.dropna(thresh=2)
df.dropna(subset=[\'Attr_B\',\'sum\'])
pandas.fillna()官方文档
DataFrame.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None)
# 全局填充
df.fillna(999)
# 按列填充
df[\'sum\']=df[\'sum\'].fillna(999)
# 按空值的下一行填充
df.fillna(method=\'bfill\',axis=0)
# 按空值的上一行填充
df.fillna(method=\'ffill\',axis=0)
# 按空值的后一列填充
df.fillna(method=\'bfill\',axis=1)
# 按空值的前一列填充
df.fillna(method=\'ffill\',axis=1)
sklearn.simpleImputer 官方文档
from sklearn.impute import SimpleImputer
# 取出缺失值所在列的数值,sklearn当中特征矩阵必须是二维才能传入 使用reshape(-1,1)升维
sums=df[\'sum\'].values.reshape(-1,1)
# 按平均值填充
imp_mean = SimpleImputer(missing_values=np.nan, strategy=\'mean\')
imp_mean=imp_mean.fit_transform(sums)
# 填充好的数据传回到 df[\'sum\']列
df[\'sum\']=imp_mean
# 平均值填充
imp_mean = SimpleImputer(missing_values=np.nan, strategy=\'mean\')
# 中值填充
imp_median = SimpleImputer(missing_values=np.nan, strategy=\'median\')
# 众数填充
imp_modes = SimpleImputer(missing_values=np.nan, strategy=\'most_frequent\')
# 常数填充
imp_modes = SimpleImputer(missing_values=np.nan, strategy=\'constant\',fill_value=0)
sklearn.impute.KNNImputer官方文档
from sklearn.impute import KNNImputer
sums=df[\'sum\'].values.reshape(-1,1)
imp_knn = KNNImputer(n_neighbors=2)
df[\'sum\']=imp_knn.fit_transform(sums)
参考来源
每天一点sklearn之SimpleImputer(9.19)
【机器学习】sklearn中使用k近邻来完成缺失值的填补(KNNImputer)
数据处理笔记6:缺失值填充
java8的stream将一个List转为按照某个字段分组的map,再按照另一个字段取max最终得到一个map
Live555 RTSP服务端H264推流笔记(平台RK3399Pro+mpp)
mysql 删除的三种方法_数据库三种删除方法: delete drop truncate
SAP ABAP CDS view 视图的 Replacement 技术介绍
什么是微软 Edge Tracking Prevention 的 Org Relationship Mitigation 策略
现代化个人博客系统 ModStartBlog v5.3.0 留言接口新增,富文本升级
各种机器学习算法分类器,线性回归——Python代码(KNN,MLP,SVM,随机森林,RF,GBDT)