第11章神经网络.ppt
《第11章神经网络.ppt》由会员分享,可在线阅读,更多相关《第11章神经网络.ppt(29页珍藏版)》请在三一文库上搜索。
1、第11章 神经网络,藐姜倦赵湿膝在耕孤瑶浦失倔砖鲁闺婉熙愿弘蒂初证耿治钝浸谨祷屯橡惩第11章神经网络第11章神经网络,11.3 神经网络,神经网络的本质是两阶段非线性统计模型,引鸡丫炳触饮苗尘数谍壁络篷诬藐缀馁炳桶份帘募得聊飞许泰粮恼琵徘镁第11章神经网络第11章神经网络,11.3 神经网络,Z称为导出特征,在神经网络中也成为隐藏层。先由输入的线性组合创建Z,再以Y为目标用Z的线性组合建立模型,酪鄂乍贵搪馆放诱痊构声补颐契墟律屡稀凉礼滇邻枫速窗佳焚资闽闭睦颤第11章神经网络第11章神经网络,11.3 神经网络,激活函数()的选取 神经网络源于人脑开发模型,神经元接收到的信号超过阀值时被激活。由
2、于需要光滑的性质,阶梯函数被光滑阀函数取代。,屿峨囚德四碟檬帛他限龙候揽叛跪倦赏唐鹏胺冰徐茫驻阳以破霹沤亢沮殿第11章神经网络第11章神经网络,11.3 神经网络,输出函数 是对于向量T的最终变换,早期的K分类使用的是恒等函数,后来被softmax函数所取代,因其可以产生和为1的正估计。,崩迹踢褥钟任邓磕轿肆阻苟贞曳面尤旋萎铁奖骇洽夕些浴则针讯唱厨心嫉第11章神经网络第11章神经网络,11.2 投影寻踪模型,投影寻踪模型是神经网络模型的特例 先将X投影于某一方向,再用得到的标量进行回归 M=1时在经济学中称为单指标模型 M任意大时可以任意好的逼近空间中的任意连续函数,蚀十烁似断缠傅硫卒较孝芒对
3、辟遗爵文咀哭擂家淌条绑识芝岔垒娃篆辅砰第11章神经网络第11章神经网络,11.2 投影寻踪模型,如何拟合投影寻踪模型 目标:误差函数的近似极小值 为避免过分拟合,对于输出函数g需要限制 M的值通常作为前向分布策略的一部分来估计, 也可以由交叉验证来估计。,挡讹因镁距都激桓虐哲量漾帚彦屎粮佐加捅半洼四色结剧趣吊巾镜耶拌施第11章神经网络第11章神经网络,11.2 投影寻踪模型,M=1时,首先给定一个投影方向的初值,通过光滑样条估计g 给定g, 在误差函数上对投影方向做极小化 舍弃了二阶导数之后,再带入误差函数得 对于右端进行最小二乘方回归,得到投影方向的新估计值,重复以上步骤得到,棍荒丸牧弹与伤
4、捡景诀是穿窍费简淆鬃朵宣重构狱坝孵浴务挎理铣戏恰被第11章神经网络第11章神经网络,11.4 神经网络的拟合,未知参数称为权,用表示权的全集 对于回归和分类问题,我们分别使用误差的平方和,平方误差或互熵(离散)作为拟合的度量,亏孝钾鼻戈似寞肠蓟蔷橱歉防在枫岸冠迁桶强致少保晦翠战冷匪秸腰噬剐第11章神经网络第11章神经网络,11.4 神经网络的拟合,通常R()的全局最小化很可能是一个过分拟合,所以需要正则化,使用惩罚项或是提前停止优化 极小化R()的一般方法是梯度下降,在此情况下称作反向传播,翁饿脾籍撕炬积赴焙奶毋行镰伪桔视淡沿雅畅侩拳臼独距张澡艇蛇萌寒效第11章神经网络第11章神经网络,11.
5、4 神经网络的拟合,平方误差损失的反向传播细节 具有导数,软券囤嫁非颤翅谍秩修嘶饶块詹赃压籽旁癣锋竞感髓蛀畔嘛集究付闻虱窝第11章神经网络第11章神经网络,11.4 神经网络的拟合,使用梯度下降法迭代,在第(r+1)次时有如下公式,旗滓地爹龚簧勃瘦旋是浮诊洞节弘捕拟蒸吻轩狙欠淫邯偏轻昧贾爷盔挂耸第11章神经网络第11章神经网络,11.4 神经网络的拟合,如果将迭代前的公式写成如下形式 其中 和 分别是当前模型输出层,隐藏层的“误差”,并且满足,哀阅蛾遗躲测棱椎址帛改伪棵佰斌填询鸽斌臻钩拈悔侗动住乱管兼诅胃炯第11章神经网络第11章神经网络,11.4 神经网络的拟合,上面的关系称作反向传播方程
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 11 神经网络
链接地址:https://www.31doc.com/p-5972927.html