ML
资料整理
机器学习课程 CS229 网易公开课_吴恩达_机器学习_2008 CS229 课程讲义中文翻译 斯坦福机器学习笔记 机器学习第九期 数据挖掘十大算法详解 机器学习基础:案例研究 神经网络_fast.ai 西瓜书 南瓜书 机器学习实践
https://www.csie.ntu.edu.tw/~htlin/
1.常见问题
- 监督学习与非监督学习
- 参数学习与非参数学习
- 判定模型与生成模型
https://www.zhihu.com/question/20446337/answer/45130939
我是这样理解的:
生成模型,就是生成(数据的分布)的模型;
判别模型,就是判别(数据输出量)的模型;
更进一步:
从结果角度,两种模型都能给你 输出量(label 或 y etc.)。
但,生成模型的处理过程会告诉你关于数据的一些统计信息(p(x|y) 分布 etc.),更接近于统计学;
而 判别模型则是通过一系列处理得到结果,这个结果可能是概率的或不是,这个并不改变他是不是判别的。
如,决策树的if then说不是这个就是那个(而很多属性都是有分布的)【即分支】,明显是一种 判别 嘛;
而朴素贝叶斯说,p( cancer , fat ) = x% etc.,模型 生成 了一个分布给你了,即使你没意识到/没用到,只用到 p( cancer | fat ) = y% 这个最终的判别。
你再理解一下:
k近邻法、感知机、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法是判别模型;
隐马尔可夫模型(重点的EM算法)是生成模型。
graph LR
A[Hard edge] -->|Link textQQ | B(Round edge)
B --> C{Decision}
C -->|One| D[Result one]
C -->|Two| E[Result two]
2.常用算法
2.1 线性回归
2.1.1 局部加权线性回归
https://blog.csdn.net/Allenalex/article/details/16370245
https://blog.csdn.net/tianse12/article/details/70161591
https://blog.csdn.net/herosofearth/article/details/51969517
2.1.2 广义线性模型
2.2 逻辑回归
2.2.1 SoftMax回归
2.3 感知器算法
生成学习算法
高斯判别分析
朴素贝叶斯
垃圾邮件分类
Laplcae平滑
SVM(支持向量机)
KNN(K近邻算法)
https://blog.csdn.net/suipingsp/article/details/41964713
https://www.cnblogs.com/ybjourney/p/4702562.html
欧氏距离与曼哈顿距离
决策树
https://zh.wikipedia.org/wiki/%E5%86%B3%E7%AD%96%E6%A0%91
http://www.cnblogs.com/leoo2sk/archive/2010/09/19/decision-tree.html
https://www.cnblogs.com/pinard/p/6050306.html
朴素贝叶斯分类
神经网络
卷积神经网络
循环神经网络
数学基础
微积分
反函数求导 矩阵微分 牛顿法 海森矩阵 梯度下降 批量梯度下降 随即梯度下降 自然对数e是如何发现的
概率论与数理统计
概率分布 指数族分布 伯努力分布 高斯分布(正态分布) 多元正态分布 伽马分布
概率质量函数与概率密度函数
似然估计 极大似然估计 Join似然估计 最小二乘法
贝叶斯