Nathan's whisper

Be Friend with Time

0%

發表於 更新於 分類於

机器学习算法系列

机器学习算法 —（1）线性回归和非线性回归
机器学习算法 —（2）逻辑回归
机器学习算法 —（3）神经网络
机器学习算法 —（4）KNN
机器学习算法 —（5）决策树
机器学习算法 —（6）集成学习
机器学习算法 —（7）贝叶斯算法
机器学习算法 —（8）聚类算法
机器学习算法 —（9）主成分分析 PCA
机器学习算法 —（10）支持向量机 SVM

發表於 更新於 分類於

机器学习算法系列

机器学习算法 —（1）线性回归和非线性回归
机器学习算法 —（2）逻辑回归
机器学习算法 —（3）神经网络
机器学习算法 —（4）KNN
机器学习算法 —（5）决策树
机器学习算法 —（6）集成学习
机器学习算法 —（7）贝叶斯算法
机器学习算法 —（8）聚类算法
机器学习算法 —（9）主成分分析 PCA
机器学习算法 —（10）支持向量机 SVM

發表於 更新於 分類於

实作

1
2
3
4
5
6
7
8
9
10
import numpy as np
from sklearn import datasets

iris = datasets.load_iris ()
print (iris.keys ())
# dict_keys (['data', 'target', 'frame', 'target_names', 'DESCR', 'feature_names', 'filename'])
print (type (iris ['data']))
# <class 'numpy.ndarray'>
print (type (iris.data))
# <class 'numpy.ndarray'>

机器学习算法系列

机器学习算法 —（1）线性回归和非线性回归
机器学习算法 —（2）逻辑回归
机器学习算法 —（3）神经网络
机器学习算法 —（4）KNN
机器学习算法 —（5）决策树
机器学习算法 —（6）集成学习
机器学习算法 —（7）贝叶斯算法
机器学习算法 —（8）聚类算法
机器学习算法 —（9）主成分分析 PCA
机器学习算法 —（10）支持向量机 SVM

發表於 更新於 分類於

一、概念和算法

1. 概念

比较适合分析离散数据，如果是连续数据要先转成离散数据再做分析。

2. 算法

70 年代后期至 80 年代，Quinlan 开发了 ID3 算法。
Quinlan 改进了 ID3 算法，称为 C4.5 算法。
1984 年，多为统计学家提出了 CART 算法。

3. 熵

信息熵公式：$H [x] = -\sum_{x} {p (x) log_2 p (x)}$

閱讀全文 »

發表於 更新於 分類於

一、KNN 概念

1. 选择参数 K

2. 为了判断未知实例的类别，所有已知类别的实例作为参照，计算未知类别和所有已知实例的距离

3. 选择最近 K 个已知实例

4. 根据少数服从多数的投票法则 (majority-voting)，让未知实例归类为 K 个最近邻样本中最多数的类别

二、KNN 的算法实践

閱讀全文 »