人工智能深度报告 人工智能的又一次革命热潮.pptx

,,,,,,,,,人工智能深度报告,新高度人工智能的又一次革命热潮,目录 旗帜篇人工智能领域的“春天” 机器学习神经网络的催化 云计算和大数据的加速 深度学习诞生像人脑一样思考 深度学习最新进展 资本投入持续增加催生产品化进程与产业链的构建 产业篇细分领域及最新进展 语音识别 图像识别 智能驾驶 文学娱乐 医疗领域 机器人 未来篇深度学习的崭新前景 深度学习存在的问题 深度前景展望 类脑人工智能的新机遇,清华大学自动化 ● Tsinghua University,2,旗帜篇 人工智能领域的“春天”,机器学习技术的进步带来人工智能领域的革命,,,,计算智能,,,,,感知 智能,,,,,认知 智能,,,,,,,,,,人工智能,,,,,机器学习,,,,深度学习,能推会想,能听会说 能看会认,,能算会数,机器学习是一门让计算机在非精确编程下进行活动的科学。在过去十年，机器 学习促成了无人驾驶车、高效语音识别、精确网络搜索及人类基因组认知的大 力发展。,神经网络,人工神经网络是受到生物神经网络的启发 每一个神经元都可以处理一定信息并传递给下一个神经元 人工神经网络中，每一个“运算单元”代表一个“神经元” 运算单元之间的交叉形成了神经网络,,生物神经,人工神经,深度神经网络,深度神经网络相比于浅层神经网络的最大区别在于数据从输入端到输出端过程 中，节点数量和拓扑结构的不同。 目前没有统一标准来评判模型的深浅，但普遍意义上讲，深度学习模型将包含 多层非线性模型（CAP2），而超深度学习特指CAP大于10的神经网络模型。,权重分配路径（Credit Assignment Path）是指从输入端到输出端的距离。对于简单神经网络，CAP等于其 神经网络的层数。对于递归神经网络，数据可能多次通过同一层神经节点，因此CAP可能接近无穷大。,,,计算和数据成本的下降为人工智能应用的实现提供了条件,摩尔定律计算机运算速度每18个月提升一倍，价格每18个月下降一半。,,,“云计算 – 大数据 – 人工智能”将成为IT革命的主线,深度学习的诞生像人脑一样思考,深度学习的概念源于人工神经网络的研究。深度学习通过组合低层特征形成更加抽象的高 层表示属性类别或特征，以发现数据的分布式特征表示。 他探索了神经网络的概率空间，是传统的机器学习做不到的。 不同于线性或内核模型的元算法，深度学习没有任何损失函数的特性，而且不受特定的公式限制，有更大的灵活性。,网络结构,数字识别网络图,2016-2017 深度学习最新进展,,理论进展,,主要体现在3方面 非监督学习 强化学习 其他新型网络,,硬件制作,,以Intel和NVIDIA为核心的两大巨头占据深度学习的市场，各自开放的加速计算工具为深度学习提供了极大的便利。,,AI社区,,深度学习的时代已经来临，各大公司和科技界先后开放学习平台，将促进该领域的百家争鸣的良好研究态势,GAN包含一个生成模型和一个判别模型。,非监督学习,现实世界中，无标签数据更加广泛，非监督学习的发展尤为必要。 2016年，在非监督学习上取得了巨大的突破。这主要得益于Ian Goodfellow提出的对抗式网络（GAN）。,,用来生成自然真实和原始数据相似的图像，是造假的数据。,,生成模型,,判别模型是一个二分类器，判别输入是真实数据还是造假的数据。,,判别模型,两个网络进行交叉训练,目标达到真实数据和假数据无法区分的点,深度学习之父 Yann LeCun说“ GANs are the most important idea in Machine Learning in the last 20 years”,Generative Adversarial Networks GANs应用,Text to image（文字到图像）,image to image（图像到图像）,非监督学习,主要包括 InfoGan 以无监督的方式来表示关于数据的信息。 Conditional Gan考虑外部信息（文本图像等）生成样本，强制G生成特定类型的输出。,深度强化学习 AIRLDL,作为三大机器学习算法之一的强化学习，可实现多场景的决策，与DL可实现通用智能。,场景应用广泛,玩游戏Atari，poker，棋类. 探索环境3D世界，迷宫. 物理控制走路，游泳,谷歌DeepMind公司的AlphaGo无疑是深度强化学习的代表之作,RL是一个可进行多场景决策的网络框架 RL是一个可以对环境产生动作的智能体 每一个动作的环境反馈都会对智能体产生影响 正确的动作给予奖励 目标总的奖励分数最大。 形象的概况吃一堑，长一智,智能体有两个神经网络模块 行动网络根据当前的状态而决定下一个时刻施加到环境上去的最好动作。 评估网络对行动网络进行遗传操作，评估动作的奖励度。,典型代表Memory Network（记忆网络）,,其他新型网络,其他网络 ByteNet, WaveNet, PixelRNN ，PixelCNN等其他有意思的网络。,长期记忆在QA问题是很重要的，相当于知识库，根据长期记忆来回答问题。 Memory Network是一个通用的框架。模块有输入映射I、更新记忆映射G、输出映射O、响应映射R。 本质上是一种新型的RNN网络，关键在于G模块更新记忆内存和O模块遍历问题的相关记忆区。,应用“微软的’小娜‘,苹果的 Siri, 等都采用了该种网络进行人机交互。,深度学习技术对于运算速度和数据量提出了新要求,AlexNet,,该模型是2012年ILSVRC（世界图像识别挑战赛）的冠军， 错误率仅为15.3，训练时间是在两台GTX 580 3GB GPUs上进行了5-6天的训练，其中用到了Hinton的改进方法（在全连接层加入ReLUDropout）。,,网络结构示意图,识别猫及结构,VGGNet,该网络是2014年ILSVRC（世界图像识别挑战赛）的冠军，错误率仅为7.3，在其训练的时候，运用了4