机器学习中常见的六种分类算法（附Python源码+数据集）-世界杯直播优酷-男篮世界杯预选赛_历届世界杯举办地

今天和大家学习一下机器学习中常见的六种分类算法，如K近邻、决策树、朴素贝叶斯、逻辑回归、支持向量机、随机森林

除了介绍这六种不同分类算法外，还附上对应的Python代码案例，并分析各自的优缺点。

K近邻（KNN）

k-近邻算法KNN就是K-Nearest neighbors Algorithms的简称，它采用测量不同特征值之间的距离方法进行分类，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居），这K个实例的多数属于某个类，就把该输入实例分类到这个类中。

代码案例

数据集：iris.csv（文末会提供）

import pandas as pd

import numpy as np

import operator

# 导入数据

data = pd.read_csv("iris.csv")

前四列为特征，最后一列为类别

欧几里距离

# 计算两个数据点之间的欧几里德距离

def euclideanDistance(data1, data2, length):

distance = 0

for x in range(length):

distance += np.square(data1[x] - data2[x])

return np.sqrt(distance)

KNN模型

# KNN 模型

def knn(trainingSet, testInstance, k):

distances = {}

sort = {}

length = testInstance.shape[1]

# 计算每行训练数据和测试数据之间的欧氏距离

for x in range(len(trainingSet)):

dist = euclideanDistance(testInstance, trainingSet.iloc[x], length)

distances[x] = dist[0]

# 根据距离对它们进行排序

sorted_d = sorted(distances.items(), key=operator.itemgetter(1))

neighbors = []

# 提取前 k 个邻居

for x in range(k):

neighbors.append(sorted_d[x][0])

classVotes = {}

# 计算邻居中频率最高的类别

for x in range(len(neighbors)):

response = trainingSet.iloc[neighbors[x]][-1]

if response in classVotes:

classVotes[response] += 1

else:

classVotes[response] = 1

sortedVotes = sorted(classVotes.items(), key=operator.itemgetter(1), reverse=True)

return (sortedVotes[0][0], neighbors)

预测某数据的类别

# 定义一个测试数据

test_data = [[6.8,5.1,4.9,1.5]]

test = pd.DataFrame(test_data)

# 设置邻居数 = 3

k = 3

# 运行 KNN 模型

result, neigh = knn(data, test, k)

# 预测类别相邻的k个邻居

print("类别：",result,"相邻的k个邻居：",neigh)

执行结果

总结

算法特点：

优点：精度高、对异常值不敏感、无数据输入假定

缺点：计算复杂度高、空间复杂度高

适用数据范围：数值型和标称型

决策树

决策树(Decision Trees)是一种非参监督学习方法，即没有固定的参数，对数据进行分类或回归学习。决策树的目标是从已知数据中学习得到一套规则，能够通过简单的规则判断，对未知数据进行预测。

代码案例

数据集：train.csv(文末提供)

from sklearn import tree

from sklearn.model_selection import train_test_split

import pandas as pd

titanic = pd.read_csv("data/train.csv")

前面几列为特征，最后一列为类别

特征处理

## 数据特征处理

titanic["Age"] = titanic["Age"].fillna(titanic["Age"].median())

titanic["Embarked"] = titanic["Embarked"].fillna("S")

candidate_train_predictors = titanic.drop(['PassengerId','Survived','Name','Ticket','Cabin'], axis=1)

categorical_cols = [cname for cname in candidate_train_predictors.columns if

candidate_train_predictors[cname].nunique() < 10 and

candidate_train_predictors[cname].dtype == "object"]

numeric_cols = [cname for cname in candidate_train_predictors.columns if

candidate_train_predictors[cname].dtype in ['int64', 'float64']]

my_cols = categorical_cols + numeric_cols

train_predictors = candidate_train_predictors[my_cols]

dummy_encoded_train_predictors = pd.get_dummies(train_predictors)

数据分割（训练和测试）

# 类别标签

y_target = titanic["Survived"].values

x_features_one = dummy_encoded_train_predictors.values

# 分割数据（75%训练，25%测试）

x_train, x_validation, y_train, y_validation = train_test_split(x_features_one,y_target,test_size=.25,random_state=1)

训练和测试

# 决策树

tree = tree.DecisionTreeClassifier()

# 训练

tree = tree.fit(x_features_one, y_target)

# 测试

accuracy = round(tree.score(x_features_one, y_target), 4)

print("准确度: %0.4f" % (accuracy))

执行结果

总结

算法特点：

优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。

缺点：可能会产生过度匹配问题。

适用数据类型：数值型和标称型

朴素贝叶斯

朴素贝叶斯（Naive Bayesian）是基于贝叶斯定理和特征条件独立假设的分类方法，它通过特征计算分类的概率，选取概率大的情况进行分类。

在scikit-learn中，一共有3个朴素贝叶斯的分类算法类。分别是GaussianNB，MultinomialNB和BernoulliNB。其中GaussianNB就是先验为高斯分布的朴素贝叶斯，MultinomialNB就是先验为多项式分布的朴素贝叶斯，而BernoulliNB就是先验为伯努利分布的朴素贝叶斯。

下面以其中一个作为实战案例（GaussianNB）

代码案例

import numpy as np

X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])

Y = np.array([1, 1, 1, 2, 2, 2])

from sklearn.naive_bayes import GaussianNB

clf = GaussianNB()

#拟合数据

clf.fit(X, Y)

print("==[-0.8, -1]预测结果==")

print(clf.predict([[-0.8, -1]]))

print("==[3,2]预测结果==")

print(clf.predict([[3, 2]]))

执行结果

总结

算法特点：

优点：在数据较少的情况下依然有效，可以处理多类别问题。

缺点：对于输入数据的准备方式较为敏感。

适用数据类型：标称型数据

逻辑回归

逻辑（Logistic）回归是一种统计方法，用于根据先前的观察结果预测因变量的结果。它是一种回归分析，是解决二分类问题的常用算法

代码案例

数据集：回归.txt（随意构造，文末会提供）

from sklearn.linear_model import LogisticRegression

from sklearn.model_selection import train_test_split

from numpy import *

train_x = []

train_y = []

fileIn = open('data/回归.txt')

for line in fileIn.readlines():

lineArr = line.strip().split()

train_x.append([1.0, float(lineArr[0]), float(lineArr[1])])

train_y.append(float(lineArr[2]))

train_x = mat(train_x)

train_y = mat(train_y).transpose()

前两列是特征，最后一列是类别（label）

分割数据&训练预测

X_train,X_test,y_train,y_test = train_test_split(train_x,train_y,train_size=.7)

print("逻辑回归（sklearn实现）:")

logr = LogisticRegression()

logr.fit(X_train,y_train)

print("准确度:",logr.score(X_test,y_test))

执行结果

总结

算法特点：

优点：计算代价不高，易于理解和实现

缺点：容易欠拟合，分类精度可能不高（这里是使用构造数据，效果较佳，并且运行多次，结果可能不一样）

使用数据类型：数值型和标称型数据

支持向量机（SVM）

支持向量机（简称SVM）英文为Support Vector Machine。它是一种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。支持向量机（Support Vector Machine）是一种十分常见的分类器，核心思路是通过构造分割面将数据进行分离。

代码案例

数据集：iris.csv

from sklearn import svm

import pandas as pd

from sklearn.model_selection import train_test_split

# 导入数据

data = pd.read_csv("data/iris.csv")

分割数据&训练预测

x = data.iloc[:, 0:4] # 按位置取某几列

y = data["Name"].values

x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=1, train_size=0.6)

clf = svm.SVC(C=0.8, kernel='rbf', gamma=20, decision_function_shape='ovr')

clf.fit(x_train, y_train.ravel())

print("训练集精度：",clf.score(x_train, y_train))

print("测试集精度：",clf.score(x_test, y_test))

执行结果

总结

算法特点：

优点：计算代价不高，易于理解和实现

缺点：容易欠拟合，分类精度可能不高

使用数据类型：数值型和标称型数据

随机森林

随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。随机森林解决决策树泛化能力弱的特点

代码案例

数据集：iris(sklearn自带)

from sklearn.ensemble import RandomForestRegressor

from sklearn.datasets import load_iris

iris = load_iris()

# ４个特征属性是：萼片宽度萼片长度花瓣宽度花瓣长度

# 标签是花的种类：setosa versicolour virginica

rf = RandomForestRegressor() # 这里使用了默认的参数设置

rf.fit(iris.data[:150], iris.target[:150]) # 进行模型的训练

# 预测样本

instance = iris.data[[50]]

print('预测类别：', rf.predict(instance),"真实类别：",iris.target[50])

instance = iris.data[[148]]

print('预测类别：', rf.predict(instance),"真实类别：",iris.target[148])

执行结果

总结

算法特点：

优点：几乎无需输入准备、可实现隐式特征选择、训练速度非常快、其他模型很难超越。

缺点：劣势在于模型大小、是个很难去解释的黑盒子。

使用数据类型：数值型和标称型数据

最后

本文的完整源码和涉及的数据集都已整理完毕

需要的小伙伴，右下角点个【在看】

扫描下方二维码，添加机器侠个人微信领取

方便的话，帮忙点赞、转发，让更多的小伙伴学习

分享‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

在看

醉酒驾驶怎么处罚2023年新规
姚明带队中国男篮世界杯参赛名单公布