深度学习与机器学习对比理解

摘要:本文主要横向对比深度学习和机器学习。

何为机器学习

“如果一个程序可以在任务 T 上,随着经验 E 的增加,效果 P 也可以随之增加,则我们称这个程序可以从经验中学习。” —— 摘自卡内梅隆大学的 Tom Michael Mitchell教授在1997年出版的书籍Machine Learning中有对机器学习进行非常专业的定义。

以垃圾邮件分类为例:

  • “一个程序”指的是需要用到的机器学习的算法,比如逻辑回归算法;
  • “任务T”是指区分垃圾邮件的任务;
  • “经验E”是已经区分过的历史邮件(对于机器而言,数据就是经验)
  • “效果P”为机器学习算法在区分垃圾邮件这一任务上的正确率

在使用逻辑回归算法解决垃圾邮件问题时,我们会先从每一封邮件中抽取对分类结果可能有影响的因素,比如发件地址,邮件标题,收件人的长度等。每个因素被称之为一个特征,逻辑回归算法可以从训练数据中计算出每个特征和预测结果的相关度。比如在这个 case 中,训练结果可能会告诉我们,如果一封邮件的收件人越多,他是一封垃圾邮件的概率也越大。

在特征提取得较为正确以及较为全面的前提下,在训练数据达到一定数量之前,越多的训练数据可以让逻辑回归的算法对未知邮件做出的判断越精准。

如果前期的特征没有被恰当选取出来,那么即使有再多的数据,逻辑回归算法也无法很好的利用。这是很多传统机器学习算法的一个共同的问题。

何为深度学习

如上文所述,对于许多传统的机器学习问题来说,特征的提取不是一件简单的事情。在一些复杂的问题上,要通过人工的方式设计有效的特征集合需要耗费大量的时间和精力。

深度学习解决的核心问题之一就是自动地将简单的特征组合成更加复杂的特征,并使用这些组合特征解决问题。深度学习是机器学习的一个分支,它除了可以学习特征和任务之间的关联以外,还能自动从简单特征中提取更加复杂的特征。

总的来说,人工智能、机器学习和深度学习是非常相关的几个领域。图3总结了它们之间的关系。人工智能是一类非常广泛的问题,机器学习是解决这类问题的一个重要手段,深度学习则是机器学习的一个分支。在很多人工智能问题上,深度学习的方法突破了传统机器学习方法的瓶颈,推动了人工智能领域的发展。

机器学习和深度学习的关系

学习流程对比

流程对比

包含关系

关系