python数据分析-concat合并表，报错InvalidIndexError: Reindexing only valid with uniquely valued Index objects

问题：在用concat函数给DataFrame做合并的时候抛出错误：InvalidIndexError: Reindexing only valid with uniquely valued Index objects

查了一些原因，口径都比较统一，都是索引重复引发的报错。索引只有行索引和列索引，首先排除行索引的问题，因为行索引比较简单。。。

首先做一下测试用的数据

a = pd.DataFrame({\'A\':[1,2,3,4],\'B\':[5,6,7,8],\'C\':[\'a\',\'a\',\'a\',\'a\'],\'D\':[\'q\',\'q\',\'q\',\'q\']})
b = pd.DataFrame({\'A\':[1,2,3],\'A\':[5,6,7],\'C\':[\'a\',\'a\',\'a\'],\'D\':[\'q\',\'q\',\'q\']})
c = pd.concat([a,b],axis=0)

一、行索引问题的排除

可见上面的变量c的索引不是连续的，所以我们利用函数重置索引。
利用reset_index()函数。
drop: 重新设置索引后是否将原索引作为新的一列并入DataFrame，默认为False
inplace: 是否在原DataFrame上改动，默认为False
level: 如果索引(index)有多个列，仅从索引中删除level指定的列，默认删除所有列
col_level: 如果列名(columns)有多个级别，决定被删除的索引将插入哪个级别，默认插入第一级
col_fill: 如果列名(columns)有多个级别，决定其他级别如何命名
(1)如果不指定drop参数，则会把之前的索引作为新的列加入到数据。

(2)inplace参数的数值结果如下，不确定对不对，很少用 -_+…

二、如果行索引没有问题的话，就是检查列索引了，列名是否重复。

#下面的方法用于查看列名中是否有重复的元素
aa = a.columns.to_list()
bb = set(aa)
if len(aa) == len(bb):
    print(\'没有重复的元素！\')
else:
    print(\'有重复的元素！\')

#查看重复的元素是哪些，及重复的次数
from collections import Counter 
a = a.columns.to_list()
b = dict(Counter(a))
# 打印重复的元素
print ([key for key,value in b.items() if value > 1]) 、
#打印重复元素和重复元素的重复次数
print ({key:value for key,value in b.items() if value > 1}) 

#查看重复的列，决定删除或修改哪列
a.filter(like=\'A\')

到此就找到了所有的重复的列名啦!下面是完整的代码，如果大家有更好的方法欢迎分享。

a = pd.DataFrame({\'A\':[1,2,3,4],\'B\':[5,6,7,8],\'C\':[\'a\',\'a\',\'a\',\'a\'],\'D\':[\'q\',\'q\',\'q\',\'q\']})
b = pd.DataFrame({\'A\':[1,2,3],\'A\':[5,6,7],\'C\':[\'w\',\'w\',\'w\'],\'D\':[\'d\',\'d\',\'d\']})
c = pd.concat([a,b],axis=0)
#下面的方法用于查看列名中是否有重复的元素
aa = a.columns.to_list()
bb = set(aa)
if len(aa) == len(bb):
    print(\'没有重复的元素！\')
else:
    print(\'有重复的元素！\')
#########################################
from collections import Counter 
a = a.columns.to_list()
b = dict(Counter(a))
# 打印重复的元素
print ([key for key,value in b.items() if value > 1])
#打印重复元素和重复元素的重复次数
print ({key:value for key,value in b.items() if value > 1}) 

a.filter(like=\'A\')