第 3 课,共 28 课 · AI 基础
什么是深度学习?
深度学习是机器学习的一种,它使用多层神经网络,直接从像素、声波或文本等原始数据中学习。每一层学到的特征都比上一层更抽象一些。语音识别、图像识别、机器翻译,以及聊天助手背后的大语言模型,都以深度学习为基础。
“深度”指的是什么
“深度”指的是网络的层数,而不是理解得有多深。神经网络让数据依次穿过一层层结构,每一层都会先对收到的内容进行转换,再传给下一层。层数多了,网络就能从简单的概念逐步构建出复杂的概念。
可以把它想象成一条流水线:前面的工位处理原材料,中间的工位制作零件,最后的工位组装成品。在图像模型中,前几层识别边缘和色块,中间几层把它们组合成形状和纹理,后面几层则能认出人脸、汽车这样的完整物体。
深度学习与传统机器学习的区别
在传统机器学习中,通常要由人来决定模型应该关注哪些特征,比如房屋的面积和地段,或者某些词在邮件中出现的频率。深度学习基本省去了这一步:只要有原始数据和足够多的例子,网络就能自己学出特征。这也是它特别擅长处理照片、音频和自由文本这类“杂乱”输入的原因。
代价是成本。深度学习通常需要多得多的数据和算力。训练一般在 GPU(图形处理器)上进行,这种芯片最初为电子游戏设计,能同时完成海量的简单计算。
- 传统机器学习:特征由人挑选,数据量较小也能用,结果更容易解释。
- 深度学习:从原始数据中自行学习特征,需要更多数据和算力,结果更难解释。
深度学习为什么会兴起
神经网络并不是新事物,相关思想已有几十年历史。真正的变化在于三件事同时到位:来自互联网的海量数据、价格可承受的 GPU,以及更好的训练技术。2010 年代初,深度网络在图像和语音识别上开始超越旧方法;Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton 2015 年在《自然》(Nature)上发表的综述总结了其中的原因。
2017 年,研究人员提出了 Transformer,这是一种特别擅长处理长文本序列的深度学习架构,后来成为大语言模型的基础。所以,你用过的每一个聊天助手,本质上都是深度学习系统。
深度学习不是什么
深度学习不是人脑的复制品。神经网络虽然在一定程度上受到脑细胞的启发,但它们是数学模型,工作方式与大脑截然不同。它们也很难解释:涉及的数字动辄数百万甚至数十亿,很难说清网络为什么做出某个判断,因此常被称为“黑箱”。
深度学习也并非总是正确的选择。对于规模小、结构清晰的数据,比如一份只有几千名客户的表格,更简单的机器学习方法往往效果相当、成本低得多,也更容易向监管机构或客户解释。
你会在哪里遇到深度学习
人脸解锁、语音输入、相册搜索、实时字幕、翻译应用、Midjourney 等图像生成工具,以及 ChatGPT 等聊天助手,都运行在深度学习之上。在企业工具中,它支撑着语音转写、文档识别、以图搜货,以及日常软件里新增的大部分 AI 功能。
示例
深度网络如何认出一只猫
演示示例输入:一张照片,以数字网格的形式存储(每个像素的亮度和颜色) 第 1 层 → 找出边缘和色块 第 2 层 → 把边缘组合成拐角、曲线和毛发之类的纹理 第 3 层 → 再组合成部件:耳朵、眼睛、胡须 输出 → 综合各部件给出判断:“猫 0.97 · 狗 0.02 · 其他 0.01”
这些层并不是人手写出来的,而是在用大量带标签的照片训练时自然形成的。真实的网络很少这么整齐,研究人员至今仍在研究各层究竟对什么作出反应。
要点
- 深度学习就是使用多层神经网络的机器学习。
- “深度”指的是层数多,而不是理解得深。
- 它能从原始数据中自己学出有用的特征,不依赖人工挑选。
- 它需要大量数据和算力,通常在 GPU 上运行。
- 语音识别、图像工具和大语言模型都离不开它。
在 Mindber 上试试
相关术语
相关主题
常见问题
深度学习和机器学习有什么区别?
深度学习是机器学习的一个子集。传统机器学习通常依赖人选定的特征,比如房屋的面积和地段;深度学习则用多层神经网络从原始数据中自行学习特征,因此更擅长处理图像、音频和文本,但需要更多的数据和算力。
深度学习为什么需要 GPU?
训练深度网络需要重复进行海量的简单乘法运算。GPU(图形处理器)原本就是为电子游戏同时处理大量此类计算而设计的,因此在这类工作上比普通处理器快得多。各种专用 AI 芯片也是沿用同样的思路。
ChatGPT 属于深度学习吗?
是的。ChatGPT 运行在大语言模型之上,而大语言模型正是基于 Transformer 架构、用海量文本训练出来的深度神经网络。深度学习是技术,ChatGPT 是用这项技术打造的产品。
来源
- Deep learning. LeCun, Bengio and Hinton, Nature, 2015年5月
- Deep Learning. Goodfellow, Bengio and Courville, MIT Press, 2016
- Attention Is All You Need. Vaswani et al., arXiv, 2017年6月
最后更新