2020年5月28日，美国OpenAI公司开发出一种面向自然语言处理的强大深度学习模型GPT-3，具有1750亿个参数，参数量比GPT-2版本高100多倍，比以往最大深度学习模型高10倍，不仅可以很好地执行答题、翻译、写文章任务，还带有一定的数学计算能力。GPT-3模型使用自我监督学习方法在大型文本语料库上进行了近5000亿个单词的预训练，在不对预训练模型进行微调（fine-tuning）的情况下便可在多个自然语言处理基准上达到最先进的性能，实现了问题解答任务的最高性能，为针对叙述文本段落的语言建模任务创造了新记录。在GPT-3模型预训练过程中，OpenAI公司研究人员采用了由Common Crawl、WebText、英文维基百科和两个书库组成的数据集，并对Common Crawl数据集进行了冗余过滤操作，以进一步提高训练数据的质量。