在数据分析时候的一些小技巧-基于python

发布时间:2023-06-21 15:30

1.在读取数据

我们在通过pandas读取数据的时候,可以选择的读取方式有很多种,这里提几点技巧。

import pandas as pd
df = pd.read_csv('../data/XXX.csv',sep='\t',nrows = 100)

1.1 在设置路径的时候,注意使用的斜杠方向,同时推荐一种写法如下

df = pd.read_csv(r'C:\Users\12810\Desktop\temp\XXX.csv',sep='\t',nrows = 100) # 前面一个正则‘r’,不用修改斜杠方向

1.2 设置一个只读取100个样本,对于初步写代码的时候加速运行有很大的帮助。

2.如何在数据框新增一列

df['new_col'] = XX # 加列的数据

3.apply与lambda函数的混合使用

df.apply(lambda x: x.split(','))

# 更多zip()、map()、lambda()连用请参照:
# https://blog.csdn.net/HG0724/article/details/117374802

4.‘_’定义变量有什么用

按照习惯,有时候单个独立下划线是用作一个名字,来表示某个变量是临时的或无关紧要的。·

for _ in range(10):
    print('我是:',_)
我是: 0
我是: 1
我是: 2
我是: 3
我是: 4
我是: 5
我是: 6
我是: 7
我是: 8
我是: 9

5.统计一列数据的元素频率并用直方图表示

df['label'].value_counts().plot(kind='bar')

用于在数据分析中,找出某一列的数据中,元素的个数是多少,并可视化,很实用。

6.Counter模块的介绍

from collections import Counter # 一个计数器模块

参考:https://blog.csdn.net/ch_improve/article/details/89388389

# 统计字符个数
str_1 = 'wdqdqwdqwqwd11dq2wd'
count_result = Counter(str_1) # 
print(count_result)
Counter({'d': 6, 'w': 5, 'q': 5, '1': 2, '2': 1})
count_result.most_common(3)
[('d', 6), ('w', 5), ('q', 5)]

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号