人工智能深度报告 人工智能的又一次革命热潮.pptx

,,,,,,,,,人工智能深度报告,新高度人工智能的又一次革命热潮,目录 旗帜篇人工智能领域的“春天” 机器学习神经网络的催化 云计算和大数据的加速 深度学习诞生像人脑一样思考 深度学习最新进展 资本投入持续增加催生产品化进程与产业链的构建 产业篇细分领域及最新进展 语音识别 图像识别 智能驾驶 文学娱乐 医疗领域 机器人 未来篇深度学习的崭新前景 深度学习存在的问题 深度前景展望 类脑人工智能的新机遇,清华大学自动化 ● Tsinghua University,2,旗帜篇 人工智能领域的“春天”,机器学习技术的进步带来人工智能领域的革命,,,,计算智能,,,,,感知 智能,,,,,认知 智能,,,,,,,,,,人工智能,,,,,机器学习,,,,深度学习,能推会想,能听会说 能看会认,,能算会数,机器学习是一门让计算机在非精确编程下进行活动的科学。在过去十年，机器 学习促成了无人驾驶车、高效语音识别、精确网络搜索及人类基因组认知的大 力发展。,神经网络,人工神经网络是受到生物神经网络的启发 每一个神经元都可以处理一定信息并传递给下一个神经元 人工神经网络中，每一个“运算单元”代表一个“神经元” 运算单元之间的交叉形成了神经网络,,生物神经,人工神经,深度神经网络,深度神经网络相比于浅层神经网络的最大区别在于数据从输入端到输出端过程 中，节点数量和拓扑结构的不同。 目前没有统一标准来评判模型的深浅，但普遍意义上讲，深度学习模型将包含 多层非线性模型（CAP2），而超深度学习特指CAP大于10的神经网络模型。,权重分配路径（Credit Assignment Path）是指从输入端到输出端的距离。对于简单神经网络，CAP等于其 神经网络的层数。对于递归神经网络，数据可能多次通过同一层神经节点，因此CAP可能接近无穷大。,,,计算和数据成本的下降为人工智能应用的实现提供了条件,摩尔定律计算机运算速度每18个月提升一倍，价格每18个月下降一半。,,,“云计算 – 大数据 – 人工智能”将成为IT革命的主线,深度学习的诞生像人脑一样思考,深度学习的概念源于人工神经网络的研究。深度学习通过组合低层特征形成更加抽象的高 层表示属性类别或特征，以发现数据的分布式特征表示。 他探索了神经网络的概率空间，是传统的机器学习做不到的。 不同于线性或内核模型的元算法，深度学习没有任何损失函数的特性，而且不受特定的公式限制，有更大的灵活性。,网络结构,数字识别网络图,2016-2017 深度学习最新进展,,理论进展,,主要体现在3方面 非监督学习 强化学习 其他新型网络,,硬件制作,,以Intel和NVIDIA为核心的两大巨头占据深度学习的市场，各自开放的加速计算工具为深度学习提供了极大的便利。,,AI社区,,深度学习的时代已经来临，各大公司和科技界先后开放学习平台，将促进该领域的百家争鸣的良好研究态势,GAN包含一个生成模型和一个判别模型。,非监督学习,现实世界中，无标签数据更加广泛，非监督学习的发展尤为必要。 2016年，在非监督学习上取得了巨大的突破。这主要得益于Ian Goodfellow提出的对抗式网络（GAN）。,,用来生成自然真实和原始数据相似的图像，是造假的数据。,,生成模型,,判别模型是一个二分类器，判别输入是真实数据还是造假的数据。,,判别模型,两个网络进行交叉训练,目标达到真实数据和假数据无法区分的点,深度学习之父 Yann LeCun说“ GANs are the most important idea in Machine Learning in the last 20 years”,Generative Adversarial Networks GANs应用,Text to image（文字到图像）,image to image（图像到图像）,非监督学习,主要包括 InfoGan 以无监督的方式来表示关于数据的信息。 Conditional Gan考虑外部信息（文本图像等）生成样本，强制G生成特定类型的输出。,深度强化学习 AIRLDL,作为三大机器学习算法之一的强化学习，可实现多场景的决策，与DL可实现通用智能。,场景应用广泛,玩游戏Atari，poker，棋类. 探索环境3D世界，迷宫. 物理控制走路，游泳,谷歌DeepMind公司的AlphaGo无疑是深度强化学习的代表之作,RL是一个可进行多场景决策的网络框架 RL是一个可以对环境产生动作的智能体 每一个动作的环境反馈都会对智能体产生影响 正确的动作给予奖励 目标总的奖励分数最大。 形象的概况吃一堑，长一智,智能体有两个神经网络模块 行动网络根据当前的状态而决定下一个时刻施加到环境上去的最好动作。 评估网络对行动网络进行遗传操作，评估动作的奖励度。,典型代表Memory Network（记忆网络）,,其他新型网络,其他网络 ByteNet, WaveNet, PixelRNN ，PixelCNN等其他有意思的网络。,长期记忆在QA问题是很重要的，相当于知识库，根据长期记忆来回答问题。 Memory Network是一个通用的框架。模块有输入映射I、更新记忆映射G、输出映射O、响应映射R。 本质上是一种新型的RNN网络，关键在于G模块更新记忆内存和O模块遍历问题的相关记忆区。,应用“微软的’小娜‘,苹果的 Siri, 等都采用了该种网络进行人机交互。,深度学习技术对于运算速度和数据量提出了新要求,AlexNet,,该模型是2012年ILSVRC（世界图像识别挑战赛）的冠军， 错误率仅为15.3，训练时间是在两台GTX 580 3GB GPUs上进行了5-6天的训练，其中用到了Hinton的改进方法（在全连接层加入ReLUDropout）。,,网络结构示意图,识别猫及结构,VGGNet,该网络是2014年ILSVRC（世界图像识别挑战赛）的冠军，错误率仅为7.3，在其训练的时候，运用了4块GPU,花费长达2到3周的时间,输入 网络 输出,猫,深度学习硬件发展,最新进展----从软件转向硬件的过渡 1 FPGA虽单个性能弱于GPU,但节能指标是GPU的10倍，是一种使硬件变软的方式，目前研究是以Intel为核心的。 2 深度学习芯片具有体积小，处理速度高，可移植的优点引起了科技公司的重视，目前各大公司开发火热。,,,目前深度学习普遍采用GPU加速,存在训练时间长，功耗大，体积大，平台单一等缺点。,2016年3月，中国科学院计算技术研究所发布全球首个能够“深度学习”的“神经网络”处理器芯片，名为“寒武纪”。 2016年4月，英伟达CEO在GPU技术大会上发布了一款支持深度学习的新型芯片Tesla P100。 2016年5月，谷歌在“ I/O开发者大会”上公布了打败九段棋手李世石的秘密武器TPU。TPU是一款为机器学习而定制的芯片。 2016年6月，英特尔以167亿美元收购FPGA制造商Altera，以加强专用芯片制造能力； 2016年，高通公司在人工智能方面投资Clarifai公司和中国“专注于物联网人工智能服务”的云知声。 Facebook、微软以及Twitter都在通过设计新的芯片加强人工智能研发。 .,深度学习硬件发展,良好的社区,一些公司和企业家创造了非盈利性和合作伙伴关系来讨论机器学习的未来，并确保这些技术被正确地利用于社会。,,,OpenAI免费向社会公布成果，如InfoGan 亚马逊 微软 谷歌 DeepMind,Arxiv Gitxiv .,公司平台的开发性,研究界的开放性,最受欢迎开源工具一览,Google--TensorFlow FrancoisChollet--Keras 微软--CNTK 机器学习社区--MXNET 蒙特利尔大学--Theano,Ronan Collobert人--Torch， Koray Kavukcuoglu， Facebook--Clement Farabet. Caffe ,,,,一级市场融资活跃，IT巨头纷纷卡位,,人工智能一级市场融资规模,IT巨头人工智能并购一览,2014年人工智能市场融资轮次,IT巨头人工智能专利数量,IT巨头纷纷引入人工智能领域专家，进行技术储备,Geoffrey Hinton, ,深度学习（Deep Learning）学派的开山祖师爷 成立DNNResearch公司，公布猫咪识别算法 2013年加入Google 构建1.6万块CPU构建全球最大神经网络,,,,Yann LeCun, ,卷积神经网络（CNN技术的鼻祖 CNN使图像识别提升到了一个新高度 2014年加入Facebook，并成立AI实验室 发布人脸识别算法DeepFace，超越人类水平,Andrew Ng, ,递归神经网络（RNN）和机器视觉技术的先驱 在线教育平台Coursera的联合创始人 成立Google Brain项目 2014年离开谷歌加入百度成为首席科学家,,,,谷歌的AI战略从基础技术到产品的全产业链布局,,,,,,,,谷歌大脑 2014年，4亿美元收购DeepMind，成功发布围棋机器人Alpha Go 发明多种新型人工神经网络，如策略网络、价值网络等 谷歌提供开源TensorFlow系统，协助建构深度学习运算模型 观看了千万级YouTube图像，并自主辨识出了“猫” 智能硬件 2014年，32亿美元收购Nest，进入智能家居产业 2015年，Nest恒温器销售量达到1400万台，并完成营收35亿美元 Nest恒温器可以学习用户习惯模式，并智能节能 自动驾驶 2015年底，共有30辆原型车和23辆改装车已自动行驶220万公里 6年的实验中，总计发生过17起轻度事故，且均非自动驾驶汽车引起 预计2018年，谷歌将向Uber提供无人驾驶车队产品,,,AI-互联网产业的新革命,据预测，机器人和人工智能市场规模将在2020年达到1527亿美元。,前八大AI相关市场,人工智能技术 无人机 无人驾驶 金融领域 健康领域 工业机器人 服务机器人 农业和矿业机器人,,,,,,,,,,,,,,,,,,,,,1000 900 800 700 600 500 400 300 200 100 0,,,,,亿美元,AI各部分市场规模预计 预计2020年 预计2025年,预计2030年,机器人和人工智能对于传统经济带来的冲击将在2025年达到14-33万亿美元/年。,人工智能产业化时代已经开启,,人工智 能产业 化,,,,技术迭代 成熟,,,,计算效率 提升与数 据积累,,,,投入增加 促进产品 成型,产业篇 细分领域及最新进展,第二部分 人工智能细分领域与及最新进展,率先产业化的领域,语音识别 图像识别 语音识别 智能驾驶 医疗领域,,机器学习,语音识别,DTW步态识别 – HMM隐马模型– NN神经网络 – DNN/RNN 深度神经网络/卷积神经网络等,图像识别,LDA线性判别分析– ME最大熵回归 – KNN最近邻居 - SVM 支持向量机– NN神经网络等,用户画像,监督式学习-混合监督学习-非监督学习,人工 智能,,,,自然语 言处理,机器视 觉,机器学 习,语音识 别,性能优 化,计划规 划,机器人,问答系 统,2.1 语音识别领域的产业化机会,,技术端 集中在算法突破和模型建立领域,谷歌 微软 Nuance 科大讯飞 思必驰 云知声 图灵机器人,,产品端 集中在硬件和软件端,智能玩具图灵机器人 车载语音系统车萝卜 服务机器人小智机器人 语言教育科大讯飞 智能客服智臻智能 手机助手谷歌、科大讯飞 陪护机器人等,现状 全行业均达到95识别率 技术差距缩小，行业平均水平已过产品化门槛 大数据的积累将提升识别率 语义理解仍无法突破，数据库积累将完善客户体验,应用,语言翻译,科大讯飞实时翻译,语音合成,Google 合成语音接近与真人,2.2 图像识别的产品化机会,,技术端 集中在算法突破和模型建立领域,谷歌 Facebook 旷视科技（Face） Deepglint（格灵深瞳） SenseTime（商汤科技）,,产品端 集中在服务应用端,安保领域东方网力 手写输入汉王科技 金融领域佳都科技 网络安全长高集团 辅助驾驶MobileEye,72，2010 74，2011 85，2012 89，2013 90，2014 91，2015 92，2016,,目标分类准确率,现状 各大企业技术差距较大，团队研发能力决定企业未来 金融与安防等特定领域对技术要求较高 数据仍然处在积累过程，数据集不够完善。,应用,深度学习技术目标识别,深度学习技术目标识别,2.4 无人驾驶汽车可以移动的人工智能,,世界无车车龙头企业,Google无人车,向挑战更复杂的环境挑战,2017年2月15日，Drive.ai展示了公司所基于无人车的深度学习技术。 内容雨夜中无人车自动驾驶在山景城的街道上，其中还有一段时间面临了倾盆大雨。,科学杂志封面刊登了一篇重磅研究人工智能终于能像人类一样学习写字，并通过了图灵测试。这是由纽约大学，多伦多大学和MIT合作完成的。 整体思想是用一个贝叶斯模型模拟人写字的过程，整个过程分为两大步 step1生成一个字的结构type 笔画集合、笔画间的关系。 step2生成一个字的形象token 按概率采样每个笔画的初始点以及轨迹生成最后的图像。,写字,,,,,,,2015年其名为AlphaGo的人工智能系统，以5比0完胜欧洲围棋冠军。 2016年谷歌人工智能AlphaGo战胜顶尖棋手李世石。 2017年初，Master以60局不败的战绩完胜世界顶尖选手，包括棋圣柯杰。,下棋,谷歌该人工智能软件通过深度学习构建“有监督策略网络”和“价值网络”，采用蒙特卡洛树搜索法。,2017年1月30日，卡耐基梅隆大学的人工智能系统Libratus战胜四位德州扑克顶级 选手，获得最终胜利。 Libratus有三组不同人工智能系统，采用深度增强学习方式，运用反向遗憾最小化智能算法，策略转换和分析出牌情形系统辅佐决策人工智能系统。,围棋后AI新突破Libratus战胜顶级德州扑克选手,玩游戏,星际争霸,依然采用深度神经网络进行训练，主要需要攻克策略选择、及时性等难点,Flappy Bird,超级玛丽,创造音乐,利用深度学习的LSTM模型，利用100个小时的流行歌曲的mini格式的tag进行训练。这里比较有意思的地方是这个模型里面整合了一些音乐相关的general knowledge。,合成动态内容,通过时空生成ConvNet神经网络模型，合成动态纹理和声音。,创造唐诗,百度与科大合作完成唐诗生成,创造唐诗,一个例子,千秋明月照幽窗，一夜西风满院凉。山寺钟鸣惊宿鸟，水边芳草自生香。 一枕相思夜未休，春山秋雨惹离愁。凭栏望断江南月，花落无声水自流。 春到江南草更青，胭脂粉黛玉为屏。无端一夜西窗雨，吹落梨花满地庭。 百万兵戈战阵前，楚歌声里起狼烟。旌旗蔽日烽连塞，鼓角惊城血染关。 一夜秋风扫叶开，云边雁阵向南来。清霜渐染梧桐树，满地黄花坡上栽。 梨花落尽柳絮飞，雨打芭蕉入翠微。夜静更深人不寐，江头月下泪沾衣。 雨打芭蕉滴泪痕，残灯孤影对黄昏。夜来无寐听窗外，数声鸡鸣过晓村。 孤舟一叶泊江头，雁去无声送客愁。莫道春来芳草绿，人间万里尽风流。 客梦初醒惊夜雨，西窗帘外月如钩。梧桐落叶知秋意，一任相思到白头。 秋深更觉少人行，雁去无声月满庭。兄弟别离肠断处，江南烟雨总关情。 明月当窗照夜空，桂花香透小楼东。金风玉露三更后，雪落梅梢一点红。 琴静云水清， 夕阳照天明。 一曲相思调， 肠断心不宁。 楼头一夜风， 烟雨锁朦胧。 江上千帆过， 枝头黄叶红。,人工智能家居的发展,人工智能家居的发展则是来源于亚马逊公司的贡献。 Echo的智能音响亮点是将智能语音交互技术植入到传统音箱中，从而赋予了音箱人工智能的属性，以此来对其所连接的各种设备进行有效的控制，发布适宜的指令，如定外卖，叫车，网购等服务。,IBM公司的沃森超级计算机系统，可提供完备的“健康认知”计划，分析基因组成。 它是一个集高级自然语言处理、信息检索、知识表示、自动推理、机器学习等开放式问答技术的应用 2016年8月，Watson只用10分钟诊断了一位罕见的白血病患者。 谷歌公司最近宣布了一种新视网膜分析的算法，可有效检测导致人类失明的糖尿病视网膜病变。 2017年2月6号，斯坦福大学研究人员运用机器学习诊断皮肤疾病，可与皮肤科医生媲美。,医疗方面,专能力向全能力的过渡,,金融领域,,Watson的帮助花旗银 行分析客户的需求、 处理财务、经济和客 户数据，从而打造个 性化的电子银行。 Watson可以在3秒内 阅读和理解2亿张数 据，帮助金融公司识 别行内专家们可能忽 视的风险、回报和客 户需求。,,医疗领域,,美国和加拿大的14家 肿瘤中心将部署 Watson机器人，根据 患者的肿瘤基因选择 适当的治疗方案。通 过Watson计算系统， 几分钟就可以处理完 毕通常一个专家团队 通常需要几个小时或 几天来处理的数据。,,数字营销,,Watson Analytics作为 一项新业务，旨在帮 助企业用户从不同的 部门收集各种各样的 数据，帮助企业用户 更好地预测业绩，以 帮助企业用户决策。,IBM Watson多应用场景,机器人---语音识别，图像识别，自动推理的集合体,Nano机器人“闻鸡起舞”,机器人发展特点 横向上应用面越来越宽。由95的工业应用扩展到更多领域的非工业应用。像做手术、侦查、空间机器人、潜海机器人等。 纵向上机器人的种类会越来越多，像进入人体的微型机器人，已成为一个新方向，可以小到像一个米粒般大小；机器人智能化得到加强，机器人会更加聪明。 全球2015年全球工业机器人销量248000台，同比增长12，亚洲市场增速最快，其中，中国市场增长17，韩国增长50，日本增长20。,无人机---运用深度学习自动避障，图像识别等,2016年1月中国亿航智能技术有限公司发布了首款可载人无人机，时速100公里，可用于中短途交通运输等领域。 2016年3月，DJI大疆创新在其深圳欢乐海岸旗舰店举行精灵Phantom4媒体体验会。具有如“智能跟随”、“障碍感知”、“指点飞行”等。 今年2月，InnoCorp的公司发布“水下无人机”，可以飞行或者潜入水游泳。,无人机,2016年4月10日，全球首款产品化氢燃料电池多旋翼无人机在深圳发布。这款号称世上最小的高清VR无人机机身规格仅为4.3x4.3x2.5厘米，最远飞行距离可以达到30米，能进行360度旋转。 2016年7月，Teal无人机发布，这是世界上最快的成品无人机，最高速度超过每小时70英里。,2017年Intel 无人机配合LADY GAGA 表演,未来篇 深度学习的崭新前景,深度学习存在的问题,模型需要大量人为设计 目前深度学习网络的效果严重依赖网络结构的设计以及网络参数的调整。 缺乏推理能力 深度学习缺乏表达因果关系的手段。 缺乏记忆能力 无法分析输入和信息之间的逻辑关系，这在自然语言处理方面很必要的。 需要大量样本数据 在深度学习网络中，需要大量有标签样本数据，然而对于实际问题中的海量数据，无法逐一添加标签。 计算耗能高 网络模型越大，对计算机设备的要求越高，训练时间越长。 只能解决单一问题 目前的深度网络高度专业化的、目的单一的机器，无法达到通用人工智能的要求。,深度学习未来展望,与概率图模型方法融合,将深度网络的层数和连接作为优化的目标，减少人为设计的工作量。,网络结构学习,概率图模型是用图来表示变量概率依赖关系的理论。可以利用概率图模型增强深度网络表达变量因果关系的能力。,为深度学习增加记忆模块,通过引入记忆模块单元， 增加深度网络的中长时间的记忆能力。 例如LSTM，Neural Turing Machines （NTM）,NTM的核心元素记忆单元与记忆控制器,例如深度学习网络条件随机场用于图像语义理解 深度学习网络马尔可夫随机场用于图像生成,deep learningCRF,深度学习未来展望,小样本学习,类脑研究更强人工智能的突破点 借鉴大脑的生理基础，研究智能计算系统如何解决通用人工智能问题。,“小样本学习”，是利用参数的先验分布，由小样本信息来求解总体信息。其中之一的核心技术是贝叶斯规划学习Bayesian Program Learning，BPL。,例如science封面文章利用BPL方法从少量案例（一个字母）中学习到新概念，写出字符可以通过图灵测试,深度学习网络专用芯片 研究集合深度学习处理器指令集的处理器，开发更加专业化，微型化以及针对深度学习网络更加高效化的专用芯片。,举一反三,类脑究竟是何方神圣,,“类脑计算”是指仿真、模拟和借鉴大脑神经系统结构和信息处理过程的装置、模型和方法。 类脑的两个层次结构层次的仿真和功能层次的模拟。 类脑计算机的“类”是从结构层次仿真入手，即采用光电微纳器件模拟生物神经元，这是更为困难的科学问题，通过结构仿真等工程技术手段间接达到功能模拟目的。,起点,生物结构--芯片,终点,,,类脑的研究技术路线,结构层次模仿脑,器件层次逼近脑,在有限的物理空间和功耗条件下构造出人脑规模的神经网络系统,智能层次超越脑,将大脑作为一个物质和生理对象进行解析，获得基本单元各类神经元和神经突触等的功能及其连接关系网络结构,2016年6月，中科院绘制全新人类脑图谱246个精细亚区。 2016年7月，华盛顿大学圣路易斯分校的研究人员结合机器学习系统制作精确大脑图谱，将大脑皮层拆分成了180个皮层区。,2015年3月，IBM在一个8英寸硅片上集成了20万神经元和5000万突触，并成功运行。,2014年 Neurogrid 采用16块Neurocore芯片，能够模拟100万个神经元细胞以及数十亿个突触连接。,指通过对类脑计算机进行信息刺激、训练和学习，使其产生与人脑类似的智能甚至涌现出自主意识，实现智能培育和进化。,,,,The Blue Brain Project,蓝脑计划所做的就是通过在神经元的层次上模拟大脑的行为，对脑实施逆向工程。研究人员计划创建一个模型工具，可以让其他的神经科学家当在其上做各种实验，验证各种假设，分析药物的功效时比在真正的大脑上取得更高的效率。这个项目的初始目标是对构成老鼠新大脑皮层单元皮层的主要构成模块的1万个神经元及3千万个突触连结进行模拟。,脑计划蓝脑计划,老鼠大脑皮层仿真图,,,包含4096个内核，100万个“神经元”、2.56亿个“突触”，速度是服务器的100倍,,Neurogrid（Stanford）,模拟人脑中的100万个神经元和数十亿个突触连接，运算速度已经是现有普通电脑的9000倍,设计思路是对神经元生理过程的直接硬件模拟，连接采用网络通信模式，计算采用传统神经网络方法,SpiNNAker（ARM）,TrueNorth（IBM）,,类脑芯片,IBMTrueNorth 该芯片具有4096个内核，100万个“神经元”、2.56亿个“突触”集成在直径只有几厘米的方寸之间，而芯片功耗为70毫瓦。它能够实时识别出用30帧每秒的正常速度拍摄自斯坦福大学胡佛塔的十字路口视频中的人、自行车、公交车、卡车等，准确率达到了80。相比之下，一台笔记本编程完成同样的任务用时要慢100倍，能耗却是IBM芯片的1万倍。,类脑芯片,三星利用人脑芯片实现手势识别,,全球类脑研究战略及发展,2005年5月，瑞士科学家设想复制人类大脑的计划，称为“蓝脑计划”。 2012年10月，Google X实验室”成立谷歌大脑，并作为主要研究项目。 2013年1月， 百度正式成立百度深度研究院，并将百度大脑作为主要研究方向。 2013年1月，欧盟投入10亿欧元，启动“人类大脑计划”。 2014年4月，美国投入38亿美元，美国成立“大脑活动图谱计划”。 2014年1月，中国科学院脑科学卓越创新中心正式挂牌成立。 2014年10月，日本“脑计划”启动，主要专注于大脑疾病。 2014年8月，IBM已经开发出一款微芯片，可在进行计算时模仿大脑功能 2015年4月，清华大学跨学院正式成立类脑计算研究中心。 2016年3月，将中国脑计划列为“十三五”规划纲要。,总结--展望,人工智能的最大意义在于彻底解放人类，代替人的脑力劳动，带来前所未有的产业革命。 要注意到，发展中的人工智能可能是要超过人脑的，因为人工智能没有生物因素的限制，功耗可以很高，有强大的数据处理能力。 但是我们也要意识到人工智能的发展，没有想象的那么快，毕竟很多核心问题还没有解决。 同时，人工智能的发展也存在一些风险，我们必须在不可逾越的一些规则加以强硬的限制，保证人类世界的有序发展。,共同期待人工智能的明天更加辉煌,深度人工智能报告,谢谢,