快速浏览头条新闻似乎让人觉得生成式人工智能如今无处不在。实际上，其中一些头条新闻可能实际上是由生成式人工智能编写的，比如OpenAI的ChatGPT，这是一个聊天机器人，展示了一种令人难以置信的能力，能够产生看起来像是由人类编写的文本。
但是，当人们说“生成式人工智能”时，他们真正的意思是什么呢？
在过去几年的生成式人工智能繁荣之前，当人们谈论人工智能时，通常是指可以根据数据进行预测的机器学习模型。例如，这些模型通过使用数百万个示例进行训练，以预测某个X射线是否显示出肿瘤迹象，或者某个借款人是否有可能违约。
生成式人工智能可以被视为一种机器学习模型，它被训练用于创建新数据，而不是对特定数据集进行预测。生成式人工智能系统是一种学习生成更多与其训练数据相似的对象的系统。
麻省理工学院电气工程与计算机科学副教授、计算机科学与人工智能实验室（CSAIL）成员菲利普·伊索拉表示：“当涉及到生成式人工智能和其他类型的人工智能的实际机制时，界限可能有点模糊。通常情况下，相同的算法可以同时用于两者。”
尽管ChatGPT及其类似系统发布时带来了很多炒作，但这项技术本身并不是全新的。这些强大的机器学习模型借鉴了50多年来的研究和计算进展。
复杂性的增加
生成式人工智能的一个早期例子是一个更简单的模型，称为马尔可夫链。这种技术以安德烈·马尔可夫（Andrey Markov）命名，他是一位俄罗斯数学家，于1906年引入了这种统计方法来模拟随机过程的行为。在机器学习中，马尔可夫模型长期以来一直被用于下一个单词预测任务，例如电子邮件程序中的自动完成功能。
在文本预测中，马尔可夫模型通过查看前一个单词或几个前一个单词来生成句子中的下一个单词。但是，由于这些简单模型只能回溯到那么远，它们在生成可信文本方面表现不佳，麻省理工学院电气工程与计算机科学Thomas Siebel教授Tommi Jaakkola说，他也是CSAIL和数据、系统与社会研究所（IDSS）的成员。
他解释说：“我们在过去十年之前就已经开始生成东西了，但主要区别在于我们现在能够生成的对象的复杂性以及我们能够训练这些模型的规模。”
就在几年前，研究人员倾向于寻找一种能够最好地利用特定数据集的机器学习算法。但现在的焦点有所转变，许多研究人员现在使用更大的数据集，可能包含数亿甚至数十亿个数据点，来训练能够取得令人印象深刻结果的模型。
ChatGPT及其类似系统的基本模型的工作方式与马尔可夫模型非常相似。但一个重大区别是，ChatGPT更大更复杂，具有数十亿个参数。而且它已经在大量数据上进行了训练，这里的数据是互联网上公开可用的大部分文本。
在这个庞大的文本语料库中，单词和句子以某些依赖关系的序列出现。这种重复有助于模型理解如何将文本切分为具有一定可预测性的统计块。它学习这些文本块的模式，并利用这些知识提出可能出现的下一个内容。
更强大的架构
尽管更大的数据集是导致生成式人工智能繁荣的一个催化剂，但各种重大研究进展也导致了更复杂的深度学习架构。
2014年，蒙特利尔大学的研究人员提出了一种称为生成对抗网络（GAN）的机器学习架构。GAN使用两个模型协同工作：一个学习生成目标输出（如图像），另一个学习区分真实数据和生成器输出的数据。生成器试图欺骗鉴别器，并在此过程中学会生成更逼真的输出。图像生成器StyleGAN就是基于这些模型的。
一年后，斯坦福大学和加州大学伯克利分校的研究人员引入了扩散模型。通过迭代改进其输出，这些模型学会生成类似于训练数据集中的样本的新数据样本，并被用于创建逼真的图像。扩散模型是文本到图像生成系统Stable Diffusion的核心。
2017年，谷歌的研究人员引入了变压器架构，该架构已被用于开发大型语言模型，如驱动ChatGPT的模型。在自然语言处理中，变压器将文本语料库中的每个单词编码为一个标记，然后生成一个注意力图，该图捕捉每个标记与所有其他标记的关系。这个注意力图帮助变压器在生成新文本时理解上下文。
这只是许多可用于生成式人工智能的方法之一。
广泛的应用
所有这些方法的共同之处在于它们将输入转换为一组标记，这些标记是数据块的数值表示。只要您的数据可以转换为这种标准的标记格式，理论上您可以应用这些方法来生成看起来相似的新数据。
伊索拉说：“根据您的数据有多嘈杂以及信号有多难以提取，您的结果可能会有所不同，但它确实越来越接近通用CPU可以接收任何类型数据并以统一方式开始处理的方式。”
这为生成式人工智能开辟了广泛的应用领域。
例如，伊索拉的团队正在使用生成式人工智能创建合成图像数据，这些数据可以用于训练另一个智能系统，例如教会计算机视觉模型如何识别物体。
Jaakkola的团队正在使用生成式人工智能设计新颖的蛋白质结构或有效的晶体结构，以指定新材料。他解释说，生成模型学习语言的依赖关系的方式，如果它展示的是晶体结构，它可以学习使结构稳定和可实现的关系。
但是，尽管生成模型可以取得令人难以置信的结果，但它们并不适用于所有类型的数据。对于涉及对结构化数据进行预测的任务，例如电子表格中的表格数据，生成式人工智能模型往往不如传统的机器学习方法表现出色，麻省理工学院电气工程与计算机科学Andrew和Erna Viterbi教授Devavrat Shah说，他是IDSS和信息与决策系统实验室的成员。
Shah说：“在我看来，它们最有价值的地方是成为与人类友好的机器的出色接口。以前，人们不得不用机器的语言与机器交流以实现事物。现在，这个接口已经找到了如何与人类和机器交流的方法。”
引发警示
生成式人工智能聊天机器人现在正在被用于呼叫中心，以回答人类客户的问题，但这种应用凸显了实施这些模型的一个潜在问题——工人被取代。
此外，生成式人工智能可能会继承和传播训练数据中存在的偏见，或者放大仇恨言论和虚假陈述。这些模型有能力抄袭，并且可以生成看起来像是由特定人类创作者创作的内容，从而引发潜在的版权问题。
另一方面，Shah提出，生成式人工智能可以赋予艺术家权力，他们可以使用生成工具来帮助他们制作他们可能无法以其他方式制作的创意内容。
他认为，未来生成式人工智能将改变许多学科的经济学。
Isola认为，生成式人工智能的一个有前途的未来方向是在制造领域的应用。例如，不仅仅是让模型生成一张椅子的图像，也许它可以生成一张可以制造的椅子的计划。
他还认为，生成式人工智能系统在开发更智能的人工智能代理程序方面也有未来的用途。
Isola说：“这些模型的工作方式和我们认为人脑工作的方式存在差异，但我认为也存在相似之处。我们有能力在脑海中思考和梦想，提出有趣的想法或计划，我认为生成式人工智能是将赋予代理程序这种能力的工具之一。”
