文档介绍：文章回顾了近几年NLP 的升级历程，从三个阶段的发展带我们梳理了 NLP
演进的脉络。
自然语言处理（NLP ）技术正在生活的方方面面改变着我们的生活。客厅
的智能音箱在跟你每天的对话中飞速进步，甚至开始跟你 “插科打诨 ”来适应你 作 ” ， GPT-2 “刻意制造假新闻 ”的实力确实
惊艳到了业内众人。各位吃瓜群众一边实力吐槽，一边又迫不及待想探究GPT-
2 的强大生成能力。
经过将近一年时间，GPT-2在谨慎开源和开发者的 尝鲜”参与中，进行着 眼花缭乱的更新演进。
伴随争议和开发者高涨的呼声， OpenAI 仍然出于谨慎考虑，选择了分阶段
开源。 8月以后，它分阶段发布了 “小型的 ” （有500MB 在磁盘
上），中型的" （）， （有 3GB 在磁盘上 ）。
直到 11 月 6 日，它正式放出 GPT-2 最后一个部分的包含 15亿参数的最大
版本的完整代码。一直到完整版本公布， OpenAI 并未发现任何明确的代码、文
档或者其他滥用实证，也就是说一直担心的“GPTZ遭到滥用”的结果并没有发
生，但 OpenAI 仍然认为，全面版本发布同时也会让恶意人士有机会进一步提
高检测逃避能力。
所以，彳^随着GPT-2不同版本的陆续公布，OpenAI自身与多家复现GPT-2 模型的团队进行交流，验证GPT-2 的使用效果，同时也在避免滥用语言模型的
风险，完善检测文本生成的检测器。
同时， OpenAI 也还在与多家研究机构合作，比如对人类对语言模型产生的
数字信息的敏感性的研究，对恶意利用 GPT-2 的可能性的研究，对GPT-2 生成
文本的统计可检测性的研究。无论OpenAI 出于怎样的谨慎，随着不同容量参
数模型的发布，外界开发人员已经迫不及待进行各种方向的探索了。
2019年4月，Buzzfeed数据科学家 Max 亿超参数的 较小”版本的OpenAI GPT-2文本生成模型进行微调和生成脚本，开 源了一个“GP-T2 精简版” ，从而更好地帮助人们生成一段文本，里面可以给出
很多出人意料的内容。
在 OpenAI 逐步开源的过程里，来自布朗大学的两位研究生就率先自己动
手复制出一个15亿参数量的GPT-2,并将其命名为OpenGPT-2过程中，他
们使用自己的代码从零开始训练GPT-2 模型大约只花费了 5 万美元。所用的数
据集也尽可能参照 OpenAI 论文里公开的方法。
有很多热心网友的测试后表示，OpenGPT-2 的输出文本效果优于OpenAI
的GPT-2 。当然,也有人认为，并没有比GPT-2模型生成的文
本效果更好。
同时在国内，一个位于南京名叫“Zeyao Du的开发者，在GitHub上开源了
的GPT-2 Chinese,可以用来写诗、新闻、小说和剧本，或是训练通用语言模 型。这一能够实现逆天效果 GPT-2模型，用到了 15亿个参数。目前他开源了 预训练结果与Colab Demo演示，只需要单击三次，人们就可以生成定制的中文 故事。
GPT-2模型还有更多尝试。一个新加坡高中生Rishabh Anand开源