Python分析数据集实例

本文将从多个方面对Python分析数据集实例进行详细阐述。

一、数据集导入与探索

1、数据集导入

import pandas as pd

# 通过read_csv()函数导入数据集
data = pd.read_csv('data.csv')

2、数据集探索

# 查看数据集的前5行
data.head()

# 查看数据集的信息
data.info()

# 查看数据集的统计信息
data.describe()

二、数据清洗与处理

1、缺失值处理

# 检查缺失值
data.isnull().sum()

# 填充缺失值
data.fillna(0)

# 删除包含缺失值的行
data.dropna()

2、重复值处理

# 检查重复值
data.duplicated().sum()

# 删除重复值
data.drop_duplicates()

3、数据类型转换

# 转换数据类型
data['column_name'] = data['column_name'].astype('int')

三、数据可视化

1、绘制柱状图

import matplotlib.pyplot as plt

data['column_name'].value_counts().plot(kind='bar')
plt.xlabel('x_label')
plt.ylabel('y_label')
plt.title('Title')
plt.show()

2、绘制折线图

data.plot(x='column_x', y='column_y', kind='line')
plt.xlabel('x_label')
plt.ylabel('y_label')
plt.title('Title')
plt.show()

3、绘制箱线图

data.plot(y='column_name', kind='box')
plt.ylabel('y_label')
plt.title('Title')
plt.show()

四、数据分析与建模

1、相关性分析

# 计算相关系数
data.corr()

# 可视化相关性矩阵
import seaborn as sns
sns.heatmap(data.corr(), annot=True, cmap='coolwarm')
plt.show()

2、特征工程

# 特征选择
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2

X = data.iloc[:, :-1]
y = data.iloc[:, -1]

# 选择Top K个特征
k_best = SelectKBest(chi2, k=3)
X_new = k_best.fit_transform(X, y)

3、建立模型

# 导入模型
from sklearn.linear_model import LogisticRegression

# 实例化模型
model = LogisticRegression()

# 拟合模型
model.fit(X_train, y_train)

# 预测
y_pred = model.predict(X_test)

五、模型评估与优化

1、模型评估

# 导入评估指标
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score

# 计算准确率
accuracy = accuracy_score(y_true, y_pred)

# 计算精确率
precision = precision_score(y_true, y_pred)

# 计算召回率
recall = recall_score(y_true, y_pred)

# 计算F1值
f1 = f1_score(y_true, y_pred)

2、模型优化

# 网格搜索优化超参数
from sklearn.model_selection import GridSearchCV

param_grid = {'C': [0.1, 1, 10],
              'penalty': ['l1', 'l2']}
grid_search = GridSearchCV(LogisticRegression(), param_grid, cv=5)
grid_search.fit(X_train, y_train)
best_params = grid_search.best_params_

六、结论

通过以上的Python分析数据集实例，我们可以对数据集进行导入与探索、数据清洗与处理、数据可视化、数据分析与建模等操作，从而更好地理解和利用数据集。