新版深度学习.pdf.pdf

第一章深度学习概念 1.1 机器学习的定义（machine Learning ML） ：机器学习是涉及多门复杂理论的学科， 包括了概率统计、数值分析、算法复杂理论等多门学科。是专门研究计算机怎样模拟人类行 为，以人类行为研究来赋予机器独自拥有自主学习和思考的技术方法，使机器拥有自己组织 已有的知识架构，使自身性能不断完善的技术理论。 1.2 深度学习：源于人工神经网络的研究，含多隐层的多层感知就是一种深度学习的结 构，深度学习通过组合底层特征形成的更加抽象的高层属性类别或特征，一发现数据分布式 特征表示。 1.4 深度学习、机器学习、AI 之间的关系 如右图示1-1 所示。 1.5 一个事实和一个道理： 事实：这几年深度学习的发展并不完 全得益于机器学习理论研究的新突破，主要 是因为支撑理论的外部条件有了很大的提升。 道理： 机器学习理论十年没有本质的变化，从某种意义上来说是一种好事，说明这个思维框 架经得住时间的考验，也就是说他有被学习的价值。 1.6 描述意见事物可以多角度，是一对多的映射过程，机器学习得懂如何去观察一个对 机器 深度学习 AI 图示1-1 象的特征，懂得不同角度对同一事物做不同的描述（看事物的方法千千万，就看你是从那个 角度去看待这个问题）。 1.7 被计算机使用的描述信息，这个信息在机器学习中一般被称作特征（Feature ） 。 1.8 特征描述举例中文词语的编码（One Hot编码） One Hot Endcoding：假设有N 个词语待编码 方法： 1、建立N 维空间；2、确定词语之间的距离；（有排列组合相关知识知道， N 个不同的词语间有N N 种组合方式，即可以映射到N 维空间中去，在 N 维空间中的每个单 元存放1 和 0 两种状态，和真假对应） 1.9 同一件事物可以从不同的细致程度被描述。 1.10 机器模型雏形： 【注：其中模型相当于数学中的函数；】 绝大多数的机器学习都遵循这个模式，拥有输入和输出，剩下的工作就是确定这个中间 的映射，也就是这个模型。 1.11 机器学习的三种模式，监督学习、非监督学习、增强学习 1 监督学习：类似于”做题看答案改错再做题” 获得特征 模型期望结果 2 非监督学习：利用现有的知识和现有的经验解决问题，并利用一些间接的方法去评价 模型病给出结果。 3 增强学习：改变了周围的环境，让行动者看到了结果的好与坏，从而揭示了行为的正 误程度。 注意在监督学习中，部分模型输入和对应的理想输出是已知的；在非监督学习中通常标 准输出是未知的，我们不能判断模型的输出是否完全正确，只能通过其他的方法辅助判断结 果的正确程度；增强学习，当模型的制定的输入返回结果，一个外部的环境会对模型返回结 果做出响应并返回两个结果。 1.12 机器学习的一大难点就是把所有问题用机器可以理解的形式表述出来（映射 =模型， 并未完善） 1.13 支持向量机（support vector machine） 1.14 大数据做支撑，于是对事物的描述特征就开始爆发性的增长。特征工程是通过一 些操作将原始的特征转换成更容易被转移被处理的特征。 1.15 数据和特征决定了机器学习的上限，而模型和算法知识逼近这个上限。 1.16 机器学习的方法是通过研究人类自身的学习方法来对机器进行建模二学习的。 1.17 深层模型曾有两个难以攻克的难题，一个是计算的问题，另一个是模型复杂成倍 增长，导致模型在训练过程中变得不可控。 1.18 深层模型到目前为止，仍然不够完善。 1.19 深层模型和浅层模型的区别。 对人类大脑而言，浅层模型可以处理图像中局部信息，而深层模型可以处理图像中 大片区域的信息。 机器的深层模型和人类大脑的层析结构更为接近，从这个角度来看，也确实具有更 大的潜力，同时深层模型更能体现机器学习，尤其是统计机器学习的精髓-让数据说话。 1.20 深度学习舍弃了特征工程的步骤，让模型更好地更具数据的状态学习成长。因此 更容易学到数据中有价值的信息。（目前数据已不是瓶颈） 深度学习：对深层模型的研究，通过大量数据，学到数据中的价值信息。 1.21 深度模型在视觉领域的应用 关键词：卷积神经网络（CNN-NET） 、Visual Geometry Group（ VGG-NET） 、深 度残差网络（Deep Residual NetWork） 、 DNN 、 GoogleNet。 1.22 在图像领域，最基本的概念是深度卷积神经网络，他由两个最主要的组成部分： 经典的全连接层和卷积层 第二章数学与机器学习基础 2.1 线性代数在深度学习中的作用，在确定模型的过程中参与的运算，使用线性代数相关的 知识，将会大大减小数据的计算量，简化计算的步骤。 2.2 线性代数是一门与机器学习紧密相关的数学课程，其中的很多定理、性质和方法论在机 器学习中起到了关键性的作用。 2.3 矩阵的两种运算，乘法运算和除法运算。并不是每一个矩阵都可以被除，一个矩阵可以 被除的充分条件是这个矩阵是可逆得。 2.4 线性代数中最经典的一类计算，矩阵和向量的乘法。A 的作用相当于一个映射，将不同 维度的向量关联起来，（如图表2-1 所示）而他们之间是线性计算的关系。因此这种计算也 可以被认为线性变换。 2.5 在线性变换的运算中，A 的每一行可以想象成x 中每一个元素的权重，他们计算的结果 汇总成一个数，相当于对x 的元素做加权求和，得到的结果代表了对x 数据的汇总，如图表 2-2 所示。 11m nnmAxb 相当于模型映射 系统产生的数据矩 系统产生的数据矩 图表2- 1 矩阵与向量的乘法 2.6 注意矩阵和向量的运算和向量和向量的运算，两向量做运算是内积运算，如下公式表示 a b = |a|b|cos m nA 1mb 1nx 图表 2- 2 线性变换的一种运算方式