定义：对于某类任务 T 和性能度量P，如果一个计算机程序在T 上以P 衡量的性能随着经验E 而自我完善，那么我们称这个计算机程序在从经验E 学习。
学习系统设计，包括：
1.要学习的知识的确切类型
2.对于这个目标知识的表示
3.一种学习机制
目标函数的选择是一个关键的设计问题。
机器学习的一些观点和问题：
在机器学习方面，一个有效的观点是机器学习问题经常归结于搜索问题，即对非常大的假设空间进行搜索，以确定最佳拟合观察到的数据和学习器已有知识的假设。例如，考虑一下上面的西洋跳棋学习程序输出的假设空间。这个假设空间包含所有可由权w0 到w6 的不同值的评估函数。于是学习器的任务就是搜索这个大的空间，寻找与训练数据最佳拟合的假设。针对拟合权值的LMS 算法通过迭代调整权值实现了这个目的，每当假设的评估函数预测出一个与训练数据有偏差的值时就对每个权值进行校正。当学习器考虑的假设表示定义了一个连续的参数化的潜在假设空间时，这个算法很有效。
机器学习方面普遍问题：
- 从特定的训练数据学习一般的目标函数存在什么样的算法？如果提供了充足的训练数据，什么样的条件下会使特定的算法收敛到期望的函数？那个算法对哪些问题和表述的性能最好？
- 多少训练数据是充足的？怎样找到学习到的假设的置信度与训练数据的数量及提供给学习器的假设空间特性之间的一般关系？
- 学习器拥有的先验知识是怎样引导从样例进行泛化的过程的？当先验知识仅仅是近似正确时，它们会有帮助吗？
- 对于选择有用的后续训练经验，什么样的策略最好？这个策略的选择会怎样影响学习问题的复杂性？
- 怎样把学习任务简化为一个或多个函数逼近问题？换一种方式，系统该试图学习哪些函数？这个过程本身能自动化吗？
- 学习器怎样自动地改变表示法来提高表示和学习目标函数的能力？