GPT是「生成式预训练Transformer」的缩写,是能够理解并生成自然语言文本的大型语言模型家族。GPT代表Generative(生成式)、Pre-trained(预训练)、Transformer(转换器),这三个词描述了GPT的核心功能和工作方式。

GPT-1是OpenAI语言模型的第一个版本,遵循Google 2017年发布的《Attention is All You Need》论文,引入了首个通用Transformer模型,成为后来所有大型语言模型的基础架构,包括Google Search、Google Translate和ChatGPT。
GPT-2是第二个基于Transformer的语言模型,开源且无监督训练,拥有超过15亿参数,专为预测和生成后续文本序列而设计。GPT-3在参数规模上有大幅提升,达到1750亿参数,并开始能生成计算机代码,在讲故事的创意内容生成方面表现出色。
GPT-4是一个大型多模态模型,能解析图像输入以及文本,在各种专业和学术基准测试中表现出人类水平。GPT-3.5在模拟律师考试中排名倒数10%,而GPT-4则排名前10%,展示了惊人的能力跃升。

最新的迭代包括GPT-4 Turbo、GPT-4o mini、GPT-4o,以及GPT-4.1系列。OpenAI还发布了GPT-5的研究预览,ChatGPT是目前基于GPT-5模型的AI聊天机器人应用。
大语言模型是设计用于自然语言处理相关任务的大型语言模型,GPT模型是其中的一个子类。GPT模型是通用目的语言预测模型,能分析、提取、总结信息并生成内容。
随着这些模型的发展,AI正从简单的聊天机器人演变为能够独立完成复杂任务的专业助手。大语言模型的能力持续提升,正在重塑人机交互的方式和各行业的应用场景,未来有望在更多领域实现突破。

OpenClaw—AI研究