机器学习

• 有监督算法
  • 1）回归算法
    • a）线性回归：最小二乘法
      • 数值计算：梯度下降、牛顿法算法
    • b）逻辑回归
  • 2）神经网络（ANN）
  • 视觉和语音上效果非常好；
  • 原理是分解与整合
    • a）BP算法：(加速神经网络训练过程的数值算法)，Geoffrey Hinton
  • 3）支持向量机(SVM)算法
    • 逻辑回归算法的强化，更严格的优化条件
    • 二维平面划分出的非线性分类界线可以等价于三维平面的线性分类界线。
• 无监督算法
  • 4）聚类算法
    • 典型代表：K-means算法
  • 5）降维算法
    • 将数据从高维降低到低维层次，维度其实表示的是数据的特征量的大小；
    • 降维算法的主要作用是压缩数据与提升机器学习其他算法的效率；
    • 主要代表是PCA算法(即主成分分析算法)
• 其他
  • 高斯判别，朴素贝叶斯，决策树等
• 特殊算法
  • 6）推荐算法
    • a）基于物品内容的推荐
    • b）基于用户相似度的推荐
    • 最有名的算法是协同过滤算法
  • 梯度下降法，主要运用在线型回归，逻辑回归，神经网络，推荐算法中；
  • 牛顿法，主要运用在线型回归中；
  • BP算法，主要运用在神经网络中；
  • SMO算法，主要运用在SVM中。
• 深度学习
  • 传统的神经网络发展到了多隐藏层的情况
  • 2006年，Geoffrey Hinton在科学杂志《Science》上发表了一篇文章，论证了两个观点：
    • 1.多隐层的神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；
    • 2.深度神经网络在训练上的难度，可以通过“逐层初始化” 来有效克服。
  • 具有多个隐藏层的神经网络被称为深度神经网络，基于深度神经网络的学习研究称之为深度学习。