生成式人工智能导论

0课程说明

课程定位：学习生成式人工智能的原理。

上课引用论文多来自arXiv。https://arxiv.org/abs/2205.10643 （22表示年份，05表示5月）

作业会训练70亿个参数的模型（模型训练参数越多，可以认为模型越厉害，70亿个参数的模型在现在其实挺小的）。

作业目标：体验生产式AI。1.体验用生成式AI打造应用2.体验训练自己的生成式AI模型。

作业的负面体验：1.训练模型很花时间2.训练结果难以控制……（负面体验像是副作用很小的疫苗，将帮助我在未来面对更大的挑战）

这门课训练模型都是用Colab或Kaggle，我什么都不用准备。

这门课可以用ChatGPT写作业

1什么是生成式人工智能

人工智能这个词没有一个标准的定义，人工智能是我们想要达到的目标。

什么是生成式人工智能？ 是要机器产生复杂而有结构的物件。比如文章（由文字构成），影像（由像素构成），语音（由取样点构成）。复杂指的是几乎无法穷举的问题，比如写一篇一百字的文章，中文有1000个常用字，AI就需要从\(10^{300}\)中找出合适的组合。像分类，检测垃圾邮件，让AI从有限的选项中选择，这就不是生成式人工智能。

生成式人工智能是一个目标，是要机器产生复杂而有结构的物件。生成式人工智能是人工智能的一种，人工智能是一个虚无缥缈的目标，每个人的想象都不太一样，而生成式人工智能是人工智能众多可能的目标之一，让机器可以产生复杂有结构的物件。生成式人工智能并不是一个技术。

什么是机器学习？ 是让机器可以自动从资料里面找出一个函式。 比如y=f(x)=ax+b.输入几组x，y可以找出a与b。a，b在机器学习中称为参数。机器学习是让机器自动找出参数的方法，在一些函数中，可能会有上万个参数，显然不可能用人工解决，所以需要机器学习。有上万个参数的函数，可以称为模型。模型是带有大量未知参数的函数。

机器学习这种技术，在给定输入输出的条件下，可以帮助我们把上万个参数找出来，学习就是把上万个参数找出来的过程。帮助我们找出上个参数的输入输出的限制，就叫做训练资料。找出参数以后把参数代入模型，就可以知道函数长什么样，再输入新的数据期待机器可以给出正确的输出，这个过程叫测试或者推论。

机器学习领域如何表示有上万个参数的函数？ 今天往往被表示为一个类神经网络。类神经网络是一个有非常大量参数的函数，它由很多层组成，每一层都有很多神经元，每个神经元都有很多参数。把神经网络里大量的参数解出来的技术，就叫做深度学习（deep learning）。深度学习是机器学习的一种，描述函数的方法有很多，用类神经网络描述时，做的事情就是深度学习

机器学习与生成式人工智能的关系：机器学习是一种手段，生成式人工智能是一种目标。生成式人工智能可以用机器学习来解，也可以用非机器学习的方法来解。机器学习不是只能解生成式人工智能，也可以解其他的问题，比如分类问题。而深度学习是机器学习的一种。（今天，生成式人工智能通常都是以深度学习技术来达成，所以网络上有些文章说生成式人工智能是深度学习的一种也可以接受）

chatgpt也可以想象成一个函数，函数的输入是一段文字，输出是gpt给我的回复。ChatGPT非常复杂，模型里面可能有上亿个，或数十亿个参数。有上亿个参数的模型今天有一个特殊的名字叫作transformer。

机器需要能够产生在训练时从来没有看过的东西，也就是需要创造力。

chatgpt的核心精神是文字接龙，在gpt当中生成一个答案被拆解成一连串的文字接龙。做文字接龙的模型就叫做语言模型。把生成完整答案这件事改成一系列文字接龙，就是将无穷无尽可能的答案改成有限的答案，做文字接龙时机器要做的就是从中文常用的几千个字中猜出下一个字接什么。所以生成式AI的问题变成文字接龙以后就变成了一系列分类的问题，机器回到从有限的选项中选出答案的问题。语言模型并不是人工智能的全部，只是生成式人工智能的其中一个技术。

生成不一定要用文字接龙的方式，生成可以有不同的策略。文字接龙可以解生成文章的问题，像素接龙也可以解生成图片的问题（虽然像素接龙生成图片的方式并没有火起来）。这种把复杂物件拆解成较小单位，再按照某种固定的顺序把这些较小的单位生成出来的策略，就叫做Autoregressive Generation。GPT就采用了Autoregressive Generation。

生成式人工智能很早以前就有人研究，当时中文翻译还没统一，2015年的“机器学习及其深层与结构化”深层学习就是今天的深度学习，结构化学习就是今天的生成式AI。过去的结构化学习与今天的生成式AI背后的技术没什么一样的地方，技术变化非常快。生成式AI的概念也很早就有了，比如谷歌翻译（2006年上线），翻译就是生成式AI的一个应用，因为机器需要产生一段文字。

编辑于2025年8月20日