Python实现Excel数据的探索和清洗

探索和清理数据

1、读取Excel文件的数据并转换为dataframe

#1.读取Excel文件的数据并转换为dataframe
file="d:/test/Summary/Data_Summary.xlsx"
data_raw=pd.read_excel(file,header=0,index_col=0)
#header设置为0：为了使第一行的数据成为列的字段名

2、查看数据集的整体状态，了解基本特征列的情况

data_raw.head()

3、删除无效数据列

remove_col=["序号"]
data_prep0=data_raw.drop(columns=remove_col,axis=1,inplace=None)
data_prep0.head()

4、查看数据集的整体信息，了解缺失值的分布情况

data_prep0.info()

5、检查数据集中缺失值的状态，删除缺失值

data_prep=data_prep0.dropna(subset=["产品"],axis=0)
data_prep.info()

6、检查数据集中重复值的状态，删除重复值

print("数据集中的重复值数：",np.sum(data_prep.duplicated()))
#若不是重复值的数量，则"0",这意味着存在重复值，可使用以下代码进行删除
#data_prep.drop_duplicates(keep="first",inplace=True)