新 AI 模型

GPT-4

GPT-4 是 OpenAI 于 2023 年 3 月 14 日发布的大型多模态模型，接受图像与文本输入、输出文本，常识广度与推理能力较 GPT-3.5 显著增强。官方发布页显示，它在统一律师资格考试中达到第 90 百分位（前 10%），带视觉版在生物学奥赛中达到第 99 百分位。经过 6 个月安全对齐工作，其回应违规请求的概率降低 82%，产出事实性回答的概率提高 40%；API 版本提供 8192 token 上下文窗口。适合专业与学术场景以及复杂指令任务，曾通过 ChatGPT Plus 与 API 提供。

Eleven English v1

Eleven English v1 是 ElevenLabs 最早的英语单语 TTS 模型，官方也称 Eleven Monolingual v1（API id 为 eleven_monolingual_v1）。据官方博客介绍，该模型能根据上下文调整语音表达，并高度真实地传递意图与情绪，被官方描述为一款出色的讲故事工具，可与平台的 instant voice cloning（即时语音克隆）工作流配合使用。它也是 Eleven Multilingual v1 的研究基础，后者于 2023 年 4 月在保留这些能力的同时将语音合成扩展到七种新语言。典型场景包括英语有声书、旁白与配音。目前 v1 系列已被官方弃用，changelog 显示其于 2026 年 7 月 9 日从 API 移除，官方建议迁移到 Eleven Multilingual v2 等新一代模型。

Point-E

Point-E 是 OpenAI 于 2022 年 12 月发布的 text-to-3D 研究系统，可根据复杂文本提示生成 3D point cloud。它采用两阶段 pipeline：先由 text-to-image diffusion 模型生成单个合成视角，再由以该图像为条件的第二个 diffusion 模型生成点云。官方论文显示，它在单张 GPU 上仅需 1-2 分钟即可产出一个 3D 模型，采样速度比此前需多个 GPU 小时的 state-of-the-art 方法快一到两个数量级，代价是样本质量略有不及。预训练点云 diffusion 模型与评估代码已在 GitHub 开源，适合快速 text-to-3D 原型验证、创意工具与 3D 生成研究等场景。

ChatGPT

ChatGPT 是 OpenAI 于 2022 年 11 月 30 日发布的 conversational 对话式 AI 助手，以免费 research preview 形式开放。它作为 InstructGPT 的姊妹模型，从 GPT-3.5 系列模型经 RLHF（人类反馈强化学习）微调而来，能够回答追问、承认错误、质疑错误前提并拒绝不当请求。适用于写作草稿、头脑风暴、编程辅助和学习答疑，OpenAI 同时提示它仍可能给出看似合理却不正确的答案。

Whisper

Whisper 是 OpenAI 于 2022 年 9 月发布并以 MIT 许可证开源的通用语音识别（ASR）模型，训练数据为从网络收集的 68 万小时多语言多任务监督音频。它采用简单的端到端编码器-解码器 Transformer 架构，将 30 秒音频片段转为 log-Mel 频谱图，通过特殊 token 让单一模型完成语种识别、短语级时间戳、多语言语音转录和翻译成英语的语音翻译。官方称其在口音、背景噪音和专业术语场景下表现稳健，跨数据集零样本评估中错误率比 LibriSpeech 专用模型少 50%，CoVoST2 零样本翻译优于监督 SOTA。模型提供 tiny 到 large 多档规格（39M 至 1550M 参数，另有更快的 turbo 版本），适用于会议记录、字幕生成、播客索引和多语言语音交互等场景。

GPT-3

GPT-3 是 OpenAI 于 2020 年 5 月随官方论文 Language Models are Few-Shot Learners 发布的自回归大语言模型，参数量 175B，后续通过 OpenAI API 以 davinci 系列型号（如 text-davinci-002）对外开放。官方论文指出，它无需梯度更新或 fine-tuning，仅凭 prompt 中以文本形式给出的示例与指令即可完成任务，即 in-context learning 与 few-shot learning；在翻译、问答、cloze 等任务上表现出色，有时可媲美需要 fine-tuning 的已有 state-of-the-art 系统，也能完成 3-digit arithmetic 这类即时推理。2022 年 3 月起新增 edit 与 insert 能力，可修订已有文本或代码、在文档中间插入内容，适用于文本撰写与改写、代码补全、摘要与问答等场景。

Codex

Codex 是 OpenAI 于 2021 年 8 月发布的代码生成模型，由 GPT-3 在公开 GitHub 代码上 fine-tune 而来。它擅长把 natural language 转成可运行代码，Python 能力最强，也熟悉 JavaScript、Go、Ruby、Swift、TypeScript 等十余种语言；官方论文显示其在 HumanEval benchmark 上 pass@1 达 28.8%（每题采样 100 次可解决 70.2%），其独立的生产版本驱动 GitHub Copilot，适用于代码补全、重构、转译和代码解释等场景，早期通过 API 私测提供。

CLIP

CLIP（Contrastive Language-Image Pre-training）是 OpenAI 于 2021 年 1 月 5 日发布的图文对齐神经网络，从自然语言监督中高效学习视觉概念。它在从互联网收集的 4 亿图文对上用 contrastive objective 联合预训练 image encoder 与 text encoder，只要把类别名写成文本，就能对几乎任意视觉分类任务做 zero-shot 推理，思路类似 GPT-2、GPT-3 的 zero-shot 能力。官方称其在 ImageNet zero-shot 上比肩原版 ResNet-50（未使用那 128 万条标注样本），robustness gap 最高缩小 75%，线性探针评估下在 26 个迁移数据集中的 20 个上超过当时公开最强的 ImageNet 模型。适用于 zero-shot 图像分类、图文跨模态检索与语义理解，也常作为多模态研究的视觉表征骨干。

DALL·E

DALL·E 是 OpenAI 于 2021 年 1 月 5 日发布的初代 text-to-image 模型，本质是 GPT-3 的 12B 参数版本：与 GPT-3 一样采用 decoder-only transformer 架构，把文本和图像拼成最多 1280 个 token（256 个文本 token 加 1024 个图像 token）的单一序列，以极大似然目标自回归生成。它能按自然语言描述生成多种风格的图像，可合理组合不相关概念（如牛油果椅子），控制对象属性与空间关系、调整视角和 3D 渲染风格、在图中渲染文字，常能补全描述中未明说的细节，并支持 zero-shot 的 image-to-image 转换；生成时还会用 CLIP 从 512 个候选样本中重排挑出最优结果。官方将其定位为面向创意与设计探索的工具，从时尚到室内设计皆可应用。

Image GPT

Image GPT（iGPT）是 OpenAI 于 2020 年 6 月 17 日发布的像素级 autoregressive 图像生成与表征模型：把图像展开为像素序列，用与 GPT-2 相同的 transformer 架构在 ImageNet 上做 next-pixel prediction，并以 9-bit 调色板在 32x32 至 64x64 分辨率训练，iGPT-S/M/L 分别有 76M、455M、1.4B 参数，另有在 ImageNet 与网络图像上训练的 6.8B iGPT-XL。它能生成连贯的图像样本，也能对给定的半张图做补全（inpainting 式 completion）；网络中层特征可直接用于分类，linear probe 在 CIFAR-10 达 96.3%、STL-10 达 95.5%，iGPT-XL 在 ImageNet 达 72.0% top-1，iGPT-L fine-tune 后在 CIFAR-10 达 99.0%。适用于无监督表征学习、生成式序列建模与图像补全等研究场景。

Jukebox

Jukebox 是 OpenAI 于 2020 年 4 月 30 日发布的音乐生成神经网络，能根据 genre、artist 风格和歌词直接生成带人声的原始音频歌曲。它采用多尺度 VQ-VAE 把 44.1 kHz 音频压缩为离散编码，再用 autoregressive sparse transformer 建模，训练数据为约 120 万首带歌词和元数据的歌曲，可生成连贯数分钟、风格多样的高保真曲目；采样较慢，渲染 1 分钟音频约需 9 小时。适用于音乐生成研究、artist 与 genre 风格探索以及创意音频实验。

GPT-2 1.5B

GPT-2 1.5B 是 OpenAI 于 2019 年 11 月 5 日放出的 GPT-2 语言模型最终完整版，参数量 1.5B（15 亿），随代码与模型权重一并开放，也是其分阶段发布计划的收官版本。其 text generation 能力较强：在康奈尔大学开展的调研中，人类读者对其输出的可信度评分为 6.91（满分 10），高于 774M 版的 6.72；配套发布的检测模型对 1.5B 版文本的检出率约 95%，但检测难度随模型规模上升。适用于 text generation 研究、语言模型行为与偏见分析、合成文本检测等场景。

GPT-2 774 million parameter

GPT-2 774 million parameter 是 OpenAI 分阶段放开 GPT-2 语言模型计划中的中间版本，于 2019 年 8 月 20 日发布，此前已依次开放 small 124M 与 medium 355M 版本。作为规模更大的自回归语言模型，它能完成 prompt 续写与多段落文本生成，可用于对话、代码补全等应用探索以及滥用检测研究。OpenAI 在与四所高校合作开展滥用风险评估后放出该版本，并同步发布技术报告与开源法律协议；官方页面引用的 Cornell 研究显示，一组受访者中 72% 认为 GPT-2 生成的文章可信，真实《纽约时报》文章则为 83%。更大的 1558M 完整版稍后开放。

MuseNet

MuseNet 是 OpenAI 推出的深度神经网络音乐生成模型，采用与 GPT-2 相同的无监督 next-token 预测方法，从数十万份 MIDI 文件中学习和声、节奏与风格规律。模型基于 Sparse Transformer 架构（72 层网络、24 个注意力头、4096 token 全注意力上下文），能生成 4 分钟、最多 10 种乐器的乐曲，并可将 country、莫扎特、披头士等不同 genre 与作曲家风格加以融合。通过 composer 和 instrumentation token 可引导模型按指定风格生成，适用于旋律构思、风格混搭实验与音乐创作辅助。

Sparse Transformer

Sparse Transformer 是 OpenAI 于 2019 年 4 月发布的稀疏注意力架构，将 self-attention 的复杂度从 O(N^2) 降到 O(N sqrt N)，可用数百层网络对上万元素的 long sequences 建模，处理长度达到此前的 30 倍。它在 CIFAR-10、Enwik8 和 Imagenet 64 的 density estimation 上取得当时最优成绩，能补全 64x64 ImageNet 图像、生成长度 65,000 的原始音频波形，并开源了配套的 block-sparse GPU kernels，为文本、图像、音频的 long sequences 建模提供了实用的稀疏注意力方案。

Glow

Glow 是 OpenAI 发布的可逆图像生成模型，属于 normalizing flow 家族：它以可学习的 invertible 1x1 卷积扩展并简化了 NICE 与 RealNVP，支持精确的隐变量推断与 log-likelihood 评估，采样可高效并行，在 NVIDIA 1080 Ti 上生成一张 256x256 样本约需 130ms。其隐空间支持人脸之间的 interpolation 与属性操纵（官方示例包括发色、年龄、胡须密度），训练时无需属性标签。官方基准显示其在 ImageNet 32x32、ImageNet 64x64 与 LSUN 上的 bits per dimension 优于 RealNVP。代码已在 GitHub 开源并提供在线演示，适合生成建模研究、图像编辑与表示学习等场景。

OpenAI Five

OpenAI Five 是 OpenAI 于 2018 年 6 月 25 日公布的 Dota 2 电竞 AI 智能体团队，由五个神经网络组成。系统完全通过 reinforcement learning 和 self-play 训练，基于大规模扩展的 Proximal Policy Optimization，在 256 块 GPU 和 128,000 个 CPU 核心上运行，每天积累约 180 年的游戏对局经验，每个英雄使用独立的 LSTM，不使用任何人类数据。2018 年 6 月它已能击败最高 99 百分位水平的业余与半职业战队，2019 年 4 月成为首个在电竞比赛中战胜 Dota 2 世界冠军队 OG 的 AI。该项目常被用作长时序规划、团队协作与大规模深度强化学习研究的基准。

A2C

A2C（Advantage Actor-Critic）是 OpenAI 于 2017 年 8 月 18 日随 OpenAI Baselines 发布的强化学习算法，属于异步 A3C 的同步确定性变体：多个并行 actor 各自采集固定长度的经验片段，汇总平均后统一更新策略与价值函数，从而更充分地利用擅长大批量计算的 GPU。官方博文指出，该同步实现的效果优于其异步 A3C 实现，在单 GPU 机器上比 A3C 更具性价比，并附带在 Atari 基准上训练前馈卷积网络和 LSTM 的代码，是 actor-critic 策略学习的基础算法之一。

ACKTR

ACKTR 全称 Actor Critic using Kronecker-factored Trust Region，发音同单词 actor，是 2017 年 8 月 18 日发布在 OpenAI Baselines 上的强化学习算法，由多伦多大学与纽约大学的研究者和 OpenAI 合作推出。它将 actor-critic 方法、trust region 优化和 Kronecker 因子化的自然梯度更新（K-FAC）结合在一起，样本效率优于 TRPO 和 A2C，而每次更新只比标准梯度步多花 10% 到 25% 的计算量；其曲率估计随 batch size 扩展良好，适合大规模分布式训练。官方在 49 个 Atari 游戏上给出了与 A2C、PPO、ACER 对比的 benchmark，算法还能直接从低分辨率像素输入学习模拟机器人控制策略，适合样本成本高的控制和游戏训练场景。