sklearn基础教程
Scikit-learn（简称sklearn）是Python中一个功能强大且易于使用的机器学习库，它基于NumPy、SciPy和matplotlib等库构建。sklearn提供了丰富的工具集，包括数据预处理、特征选择、模型训练、评估和预测等功能，支持多种机器学习算法，如线性回归、逻辑回归、支持向量机、决策树、随机森林等。以下是一个详细的sklearn基础教程，帮助初学者快速入门并掌握其基本用法。
一、sklearn简介
Scikit-learn是一个开源的机器学习库，其设计哲学是简单高效，易于使用。它封装了众多常用的机器学习方法，使得用户只需调用对应的接口，即可方便地进行数据挖掘和数据分析。sklearn具有以下特点：
- 丰富的算法支持：包含了回归、分类、聚类、降维等多种机器学习算法。
- 易用性：提供了简洁的API接口，便于快速上手和使用。
- 良好的文档支持：详细的文档和大量的示例代码，便于学习和参考。
二、安装与配置
安装sklearn
sklearn的安装非常简单，只需使用pip命令即可。在命令行中输入以下命令：
pip install scikit-learn
或者，如果你使用的是Python 3，并且想确保使用的是Python 3的pip版本，可以使用：
pip3 install scikit-learn
安装完成后，你可以通过以下命令检查sklearn是否成功安装：
import sklearn
print(sklearn.__version__)
配置环境
为了更好地使用sklearn，建议配置一个Python虚拟环境。虚拟环境可以隔离不同项目的依赖，避免版本冲突。你可以使用venv（Python 3.3+自带）或conda（Anaconda或Miniconda提供）来创建和管理虚拟环境。
三、数据预处理
数据预处理是机器学习的第一步，也是非常关键的一步。良好的数据预处理可以显著提高模型的性能。sklearn提供了多种数据预处理工具，包括数据导入、数据清洗、特征选择、数据标准化与归一化等。
数据导入
sklearn提供了一些内置的数据集，方便我们进行学习和测试。以下示例展示了如何加载鸢尾花（Iris）数据集：
from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data # 特征数据
y = iris.target # 目标变量
数据清洗
数据清洗包括处理缺失值、重复值和异常值等。可以使用pandas库来帮助完成这些任务。例如，检查并删除含有缺失值的行：
import pandas as pd
# 假设df是已经加载到pandas DataFrame中的数据集
df = pd.DataFrame(X, columns=iris.feature_names)
df['target'] = y
# 检查缺失值
print(df.isnull().sum())
# 删除含有缺失值的行
df = df.dropna()
# 检查重复值
print(df.duplicated().sum())
# 删除重复值
df = df.drop_duplicates()
特征选择
特征选择是通过选择最有用的特征来提高模型的性能和可解释性。sklearn提供了多种特征选择方法，如SelectKBest：
from sklearn.feature_selection import SelectKBest, f_regression
# 选择最有用的k个特征
selector = SelectKBest(f_regression, k=2) # 假设我们选择2个特征
X_new = selector.fit_transform(df.drop('target', axis=1), df['target'])
数据标准化与归一化
数据标准化和归一化是为了将数据缩放到相同的尺度上，从而提高模型的训练效果。sklearn提供了StandardScaler和MinMaxScaler等工具：
from sklearn.preprocessing import StandardScaler, MinMaxScaler
# 标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(df.drop('target', axis=1))
# 归一化
scaler = MinMaxScaler()
X_normalized = scaler.fit_transform(df.drop('target', axis=1))
四、常用模型介绍与应用
sklearn支持多种机器学习算法，以下是一些常用模型的介绍与应用示例。
线性回归
线性回归是一种最简单的回归模型，用于预测连续型目标变量。以下是一个使用线性回归的示例：
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error
# 分割数据集
X_train, X_test, y_train, y_test =
train_test_split(df.drop('target', axis=1), df['target'], test_size=0.2, random_state=42)
# 创建线性回归模型
model = LinearRegression()
# 训练模型
model.fit(X_train, y_train)
# 预测测试集
y_pred = model.predict(X_test)
# 评估模型
mse = mean_squared_error(y_test, y_pred)
print(f"Mean Squared Error: {mse}")
逻辑回归
逻辑回归是一种广泛用于分类问题的算法，特别是二分类问题。以下是一个使用逻辑回归的示例：
from sklearn.linear_model import LogisticRegression
# 假设我们有一个二分类问题
# 这里我们使用鸢尾花数据集的前两个类别作为示例
X_train_binary = X_train[y_train < 2]
y_train_binary = y_train[y_train < 2]
# 创建逻辑回归模型
model = LogisticRegression(max_iter=200) # 设置最大迭代次数以避免警告
# 训练模型
model.fit(X_train_binary, y_train_binary)
# 预测测试集（这里也需要做相应的筛选）
y_pred_binary = model.predict(X_test[y_test < 2])
# 评估模型（这里可以使用准确率等指标）
from sklearn.metrics import accuracy_score
accuracy = accuracy_score(y_test[y_test < 2], y_pred_binary)
print(f"Accuracy: {accuracy}")
决策树
决策树是一种常用的分类和回归算法，通过构建树状结构来进行决策。以下是一个使用决策树进行分类的示例：
from sklearn.tree import DecisionTreeClassifier
# 创建决策树模型
model = DecisionTreeClassifier(random_state=42)
# 训练模型
model.fit(X_train, y_train)
# 预测测试集
y_pred_tree = model.predict(X_test)
# 评估模型
accuracy_tree = accuracy_score(y_test, y_pred_tree)
print(f"Accuracy of Decision Tree: {accuracy_tree}")
随机森林
随机森林是一种集成学习方法，通过构建多个决策树并输出它们的模式或平均预测来改进预测精度。以下是一个使用随机森林进行分类的示例：
from sklearn.ensemble import RandomForestClassifier
# 创建随机森林模型
model = RandomForestClassifier(n_estimators=100, random_state=42)
# 训练模型
model.fit(X_train, y_train)
# 预测测试集
y_pred_rf = model.predict(X_test)
# 评估模型
accuracy_rf = accuracy_score(y_test, y_pred_rf)
print(f"Accuracy of Random Forest: {accuracy_rf}")
五、模型评估与选择
在机器学习项目中，模型评估与选择是至关重要的步骤。除了上面提到的准确率（Accuracy）之外，sklearn还提供了多种评估指标，如精确率（Precision）、召回率（Recall）、F1分数（F1 Score）、混淆矩阵（Confusion Matrix）等。
混淆矩阵
混淆矩阵是一个表格，用于描述分类模型的性能，特别是真实类别与预测类别之间的关系。
from sklearn.metrics import confusion_matrix
# 假设y_pred是某个模型的预测结果
cm = confusion_matrix(y_test, y_pred)
print(cm)
精确率、召回率和F1分数
这些指标在评估不平衡数据集时尤为重要。
from sklearn.metrics import precision_score, recall_score, f1_score
precision = precision_score(y_test, y_pred, average='macro') # 宏平均
recall = recall_score(y_test, y_pred, average='macro')
f1 = f1_score(y_test, y_pred, average='macro')
print(f"Precision: {precision}")
print(f"Recall: {recall}")
print(f"F1 Score: {f1}")
六、总结
Scikit-learn是一个功能强大且易于使用的机器学习库，它提供了丰富的算法和工具，支持数据预处理、模型训练、评估和预测等各个环节。