第1章 引言
深度学习概念
深度学习：让计算机从经验中学习，并根据层次化的概念体系来理解世界，每个概念则通过与某些相对简单的概念之间的关系来定义 是一种将世界表示为嵌套的层次概念体系的特定类型的机器学习
理解视角1：深度是学习器学习数据的正确表示的过程 表示学习：借助算法让学习器自动学习数据的隐式特征，使数据输入到学习器之中
类似于传统机器学习中的特征工程环节 典型算法：自编码器
- 编码器函数-解码器函数
深度学习利用简单概念构建复杂概念
理解视角2：深度是促使计算机学习一个多步骤的计算机程序
- 比较相邻像素亮度识别边缘
- 描述角和轮廓的图像
- 找到角和轮廓的特定集合检测特定对象的整个部分
- 根据图像描述中包含的对象部分，识别图像中存在的对象
度量模型深度
- 基于评估架构所需执行的顺序指令的数目 将流程图的最长路径视为模型的深度 （流程图中视作元素的单位影响深度的度量结果）
- 深度概率模型中，描述概念关联图的深度
架构的深度不存在单一的正确值 数值本身并不重要
深度学习的历史
控制论（20c40s~20c60s) 感知机；实现单个神经元的训练
联结主义（1980-1995） 神经网络 联结主义：当网络将大量简单的计算单元连接在一起时可以实现智能行为 分布式表示：系统的每一个输入都应该由多个特征表示，并且每个特征都应该参与到多个可能输入的表示 反向传播算法
深度学习（2006-） 贪婪逐层预训练