新 AI 模型

Phi-3.5-MoE-instruct

Phi-3.5-MoE-instruct 是 Microsoft 于 2024 年 8 月发布的开源（MIT 许可）混合专家（MoE）语言模型，总参数 16x3.8B，每个 token 仅路由到 2 个专家、激活约 6.6B 参数，采用 GRIN（GRadient INformed MoE）训练方法实现专家专业化。模型支持 128K token 上下文，主打多语言、数学、推理与代码生成，官方称其表现超过同算力档的 Mistral-Nemo-12B、Llama-3.1-8B、Gemma-2-9B，并在多项评测中与 Gemini-1.5-Flash 相当。可通过 Azure AI Studio 与 GitHub 的 Serverless API 调用，适合需要以低激活参数量获得较强推理与多语言能力的应用场景。

Phi-3.5-vision-instruct

Phi-3.5-vision-instruct 是 Microsoft Phi-3.5 家族中的视觉成员，2024 年 8 月以 MIT 协议开源，参数量 4.2B，由图像编码器、connector、projector 与 Phi-3 Mini 语言模型组成，支持 128K token 上下文。它面向通用图像理解、OCR、表格与图表理解、多图比较以及 multi-frame 视频或幻灯片摘要等任务，适合内存与延迟受限的环境。官方 benchmark 显示其较上一代 Phi-3-vision 有提升：MMMU 43.0、MMBench 81.9、TextVQA 72.0，BLINK 总分 57.0、Video-MME 50.8。该模型主要针对英文训练，未经进一步微调不建议用于多语言场景。

2.0

Ideogram 2.0 是 Ideogram 于 2024 年 8 月 21 日发布的文生图模型，从零开始训练，官方定位为在真实感图像、平面设计、排版和 text rendering 方面具备行业领先能力的模型。它提供 Realistic、Design、3D、Anime 等风格，支持 3:1 至 1:3 的任意画幅，并新增 color palette 控制以统一视觉色调。发布时同步推出 iOS App 与 beta 版 API。官方人类评估显示其在图文一致性、主观偏好和文字渲染准确度上优于 Flux Pro 与 DALL·E 3。适合海报、print-on-demand、营销素材等需要图内文字可靠呈现的场景。

V6.1

V6.1 是 Midjourney 于 2024 年 7 月 30 日发布的图像生成模型，并随本次发布成为全平台默认版本。相比 V6，它让手臂、腿部、手部与身体结构更连贯，减少像素瑕疵并增强纹理与皮肤质感，眼睛、小脸、远处的手等细节更精准；同时引入全新的 2x upscaler、更准确的 prompt 引号文字绘制，以及支持版本化 code 的新 personalization 模型。标准任务速度提升约 25%，可选的高纹理质量模式会多花 25% 时间换取更多细节，但连贯性略有下降。适合艺术创作、概念设计与插画等依赖 prompt 审美的图像生成场景；局部编辑类操作仍回退到 V6.0 模型。

Mistral Large 2

Mistral Large 2 是 Mistral AI 于 2024 年 7 月发布的旗舰级开源权重 LLM，为 1230 亿参数的 dense 模型，面向单节点推理设计，具备 128k token 上下文窗口。它支持数十种语言（含中文、英文、法语、德语、日语、韩语、阿拉伯语等），并覆盖 80 多种编程语言（Python、Java、C++、JavaScript、Bash 等）。官方评测显示其预训练版本在 MMLU 上达到 84.0%，在代码生成与推理 benchmark 上与 GPT-4o、Claude 3 Opus、Llama 3 405B 相当，同时强化了并行与串行 function calling，降低幻觉倾向并保持简洁输出。模型以 Mistral Research License 在 Hugging Face 开放权重（API 名 mistral-large-2407），适合长上下文、multilingual 与代码密集型应用，商业自部署需购买 Mistral Commercial License。

Llama 3.1 405B Instruct

Llama 3.1 405B Instruct 是 Meta 于 2024 年 7 月 23 日发布的开源旗舰指令模型，为 Llama 3.1 系列（8B、70B、405B）中参数量最大的版本。它基于优化 transformer 架构并采用 Grouped-Query Attention，使用超过 15 万亿 token 的公开数据预训练，支持 128K 上下文窗口，官方支持 8 种语言（英语、德语、法语、意大利语、葡萄牙语、西班牙语、印地语、泰语）。官方 benchmark 显示 405B Instruct 版本达到 MMLU 87.3、HumanEval 89.0、GSM-8K 96.8、MATH 73.8、多语言 MGSM 91.6，tool calling 方面 API-Bank 为 92.0、BFCL 为 88.5；Meta 表示该系列表现优于许多现有开源与闭源对话模型。其许可允许商业与研究使用，包括合成数据生成与模型蒸馏，适合需要长上下文推理、编码、数学和多语言能力的 assistant-like 对话与开放权重部署场景。

Llama 3.1 70B Instruct

Llama 3.1 70B Instruct 是 Meta 于 2024 年 7 月 23 日发布的开源 Llama 3.1 系列中 70B 参数的指令微调模型，采用 SFT 与 RLHF 对齐，并用 Grouped-Query Attention（GQA）提升推理扩展性，支持 128K 上下文窗口和 8 种语言（英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语）。除多语言对话与助手场景外，它还覆盖通用知识、推理、代码、数学与 tool calling；官方 benchmark 成绩包括 MMLU（CoT）86.0、MMLU-Pro 66.4、IFEval 87.5、HumanEval 80.5、GSM-8K 95.1、MATH 68.0 以及 tool use 相关的 BFCL 84.8。适合构建多语言对话助手、agent 工作流，以及在质量和推理成本之间寻求平衡的自托管部署。

Llama 3.1 8B Instruct

Llama 3.1 8B Instruct 是 Meta 于 2024 年 7 月 23 日发布的 Llama 3.1 开源系列中最小的指令微调模型，采用 Llama 3.1 Community License。它有 8B 参数、128K token 上下文窗口，官方支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语 8 种语言，并支持 tool calling。模型基于约 15 万亿 token 的公开数据预训练，经 SFT 与 RLHF 对齐（含超过 2500 万合成样本），具备多语言、代码、数学和长上下文能力。官方 Model Card 报告 MMLU 69.4、HumanEval 72.6、GSM-8K (CoT) 84.5、IFEval 80.4、BFCL 76.1 等成绩，适合单卡部署的对话助手、代码辅助和 agent 工作流等对成本敏感的场景。

Mistral NeMo Instruct

Mistral NeMo Instruct 是 Mistral AI 与 NVIDIA 于 2024-07-18 联合发布的 12B 开源模型 Mistral NeMo 的 instruction-tuned 版本，采用 Apache 2.0 许可证。它支持 128k token 上下文窗口，训练中包含 function calling、多语言与代码数据，在英、法、德、西、意、葡、中、日、韩、阿拉伯语和印地语上表现突出。其 Tekken tokenizer 基于 Tiktoken、覆盖 100 多种语言，对源代码和多种主流语言的压缩效率比此前的 SentencePiece tokenizer 高约 30%，并在约 85% 的语言上优于 Llama 3 tokenizer。模型以量化感知方式训练，可无损运行 FP8 inference，并可作为 Mistral 7B 的直接替代。官方模型卡显示 MMLU（5-shot）68.0%、HellaSwag（0-shot）83.5%、Winogrande（0-shot）76.8%。适合多语言对话、代码辅助、长文档处理和依赖 function calling 的应用场景。

GPT-4o mini

GPT-4o mini 是 OpenAI 于 2024 年 7 月 18 日发布的高性价比小型 multimodal 模型，用来替代 GPT-3.5 Turbo。它支持文本与图像输入，提供 128K token 上下文窗口、单次最多 16K 输出 token，并沿用 GPT-4o 的改进 tokenizer，处理非英文文本成本更低。官方 benchmark 中其 MMLU 得分 82.0%，MGSM 得分 87.0%，HumanEval 得分 87.2%，MMMU 得分 59.4%，并在 LMSYS 竞技场聊天偏好上超过 GPT-4 Turbo 01-25；video 与 audio 输入输出稍后开放。价格为每 100 万 input token 0.15 美元、每 100 万 output token 0.60 美元，适合多模型调用链、长上下文任务、function calling 和实时客服聊天机器人等大规模高频场景。

Eleven Flash v2.5

Eleven Flash v2.5（模型 ID：eleven_flash_v2_5）是 ElevenLabs 旗下速度最快的 text-to-speech（TTS）模型，专为实时场景设计。官方文档标注其延迟约 75ms（不含应用与网络耗时），支持 32 种语言，在 Multilingual v2 语言集合基础上新增匈牙利语、挪威语和越南语。单次请求最多 40,000 字符，API 生成的每字符价格低 50%。官方称该模型在速度与音质之间取得平衡，保持自然听感和跨语言一致的音色，推荐用于实时语音 agent、聊天机器人、游戏等交互式应用以及大批量 TTS 生成；文档同时指出 Flash 系列平均延迟低于 Turbo 系列，所有场景下均建议优先选用 Flash。

Eleven Turbo v2.5

Eleven Turbo v2.5 是 ElevenLabs 于 2024 年 7 月发布的低 latency 文本转语音（TTS）模型，是 Turbo 档的升级版本。官方发布文称其支持 32 种语言，印地语、法语、西班牙语、普通话等 27 种以上语言推理速度提升 3 倍，英语提速 25%，并首次新增越南语、匈牙利语和挪威语。该模型面向对话式 AI、实时语音应用等对低 latency 要求较高的场景，官方称其高质量低延迟语音可覆盖全球近 80% 人口。

kling-v1-5

kling-v1-5 是可灵 AI 开放平台的早期视频生成模型，通过 /v1/videos/image2video 接口提供 image-to-video 能力：标准模式（std）输出 720P 视频，高品质模式（pro）输出 1080P 视频。官方更新公告显示，该模型仅开放图生视频、不支持文生视频，后续陆续加入首尾帧、仅尾帧、运动笔刷、运镜控制、对口型以及约 4 到 5 秒的视频延长能力，并可通过 prompt 与 negative_prompt 控制生成效果。适合将参考图像转化为短视频并进行续写延长的开发场景；目前属于旧版本，定位在 Kling 1.6 与 2.x、3.x 系列之下，官方文档已标注建议迁移至主力模型。

CriticGPT

CriticGPT 是 OpenAI 于 2024 年 6 月 27 日发布的研究模型，基于 GPT-4 训练，专门为 ChatGPT 生成的代码撰写 critique（逐条点评）以暴露其中的错误。它同样采用 RLHF 训练，训练数据由人类标注员在 ChatGPT 代码中故意植入 bug 后撰写对应反馈而成。官方实验显示：有 CriticGPT 辅助的评审人员在 60% 的对比中胜过无辅助评审；在自然发生的 bug 上，其 critique 在 63% 的案例中被认为优于 ChatGPT 自评，且更少出现 nitpick（无意义小抱怨）和幻觉问题。OpenAI 计划将此类模型接入 RLHF 标注流程，适用于模型输出的人工评估、代码错误发现等场景，但对长回答、分散错误与残余幻觉仍有局限。

Claude 3.5 Sonnet

Claude 3.5 Sonnet 是 Anthropic 于 2024 年 6 月 21 日发布的 Claude 3.5 家族首款模型，官方称其在多项评测中超越上一代旗舰 Claude 3 Opus，速度却是 Opus 的两倍，同时保持中档定价：每百万输入 token 3 美元、输出 15 美元，上下文窗口 200K token。它在研究生级推理 GPQA、本科知识 MMLU 和编码 HumanEval 上创下当时行业纪录，内部 agentic coding 评测解题率 64%，高于 Claude 3 Opus 的 38%，视觉能力也是当时 Anthropic 最强。同日上线的 Artifacts 预览功能可在 Claude.ai 聊天旁的独立窗口中实时查看和编辑生成的代码、文档与网页设计。该模型适合复杂编码、数据分析、图表理解和通用企业场景，可通过 Claude.ai、iOS 应用、Anthropic API、Amazon Bedrock 与 Google Cloud Vertex AI 使用，Claude 3.5 Haiku 和 Opus 官方预告当年稍后推出。

kling-v1

kling-v1 是快手可灵（Kling）平台的首代视频生成模型（可灵 1.0），2024 年 6 月上线。根据官方可灵 1.0 API 文档，kling-v1 是默认的 model_name，支持 text-to-video 与 image-to-video 两种生成方式，并提供视频延长能力。文生视频 prompt 最长 2500 字符，支持 negative prompt、cfg_scale 以及 pan、tilt、roll、zoom 等镜头运动控制；图生视频可将参考图生成动态视频，并支持首帧加尾帧（start frame 与 end frame）控制。输出分 std（720P）与 pro（1080P）两种模式，画面比例支持 16:9、9:16 与 1:1，发布时官方以最长约 2 分钟的 1080p 视频作为主打能力。适合短视频创作、营销素材制作以及让静态图片动起来；官方文档注明该模型将于 2026-09-15 从 API 下线。

Codestral-22B

Codestral-22B 是 Mistral AI 发布的首个代码模型，一个 22B 参数的开放权重生成式模型，专为代码生成任务设计。训练数据覆盖 80 多种编程语言，包括 Python、Java、C、C++、JavaScript 和 Bash 等，通过统一的 instruct 与补全 API 端点提供函数补全、测试编写以及基于 fill-in-the-middle（FIM）机制的部分代码填充能力。凭借 32k 上下文窗口，官方报告其在 RepoBench 长程仓库级补全评测中领先其他模型，并在 HumanEval、MBPP、CruxEval、Spider 及 FIM 相关 benchmark 上与 DeepSeek Coder 33B 等代码模型做了对比。模型采用 MNPL（Mistral AI Non-Production License）许可，可用于研究与测试，商用需另行授权，适合 IDE 代码补全、编程助手和代码生成类应用，已集成到 LlamaIndex、LangChain、Continue.dev 和 Tabnine。

Golden Gate Claude

Golden Gate Claude 是 Anthropic 发布的 interpretability 研究演示模型，并非正式产品模型。它基于 Claude 3 Sonnet，借助 sparse autoencoder 研究定位到金门大桥对应的 feature，并将其激活值 clamp 到约 10 倍最大激活，这是对模型内部激活的精确修改，而非提示词调整或 fine-tuning。由此模型几乎在所有回答中都会联想到金门大桥，例如建议开车过桥、写一篇以大桥为主题的爱情故事。该模型于 2024 年 5 月在 claude.ai 上线约 24 小时，用于向公众展示 feature 级别的可解释性研究，以及这类技术在引导模型行为、提升安全性方面的潜在价值。

GPT-4o

GPT-4o 是 OpenAI 于 2024 年 5 月 13 日发布的原生多模态旗舰模型，o 代表 omni。它由单一神经网络端到端统一处理文本、音频、图像与视频的任意组合输入，可输出文本、音频或图像；语音响应最快 232 毫秒、平均 320 毫秒，接近人类对话节奏。官方评估显示其文本、推理与编码能力达到 GPT-4 Turbo 水平，在多语言、音频与视觉理解上更胜一筹，新 tokenizer 对多种非英语语言的 token 压缩显著提升。API 速度比 GPT-4 Turbo 快一倍、价格便宜一半、rate limit 高 5 倍，并向 ChatGPT 免费用户开放，适合实时语音助手、图像理解与多语言对话场景。

DeepSeek-V2.5

DeepSeek-V2.5 是 DeepSeek 在 V2 系列架构（236B 总参数、每 token 激活 21B 的 MoE 模型，上下文长度 128K，采用 MLA 与 DeepSeekMoE 以实现高效推理）基础上，合并 DeepSeek V2 Chat 与 DeepSeek Coder V2 得到的升级版本。官方发布说明称其在通用能力与代码能力上均明显超越前代，写作与指令遵循等人类偏好对齐也有所加强：ArenaHard 胜率由 68.3% 提升至 76.3%，MT-Bench 由 8.84 提升至 9.02，HumanEval 达 89%，LiveCodeBench（1 至 9 月）达 41%。API 侧通过 deepseek-chat 或 deepseek-coder 均可调用，保持向后兼容。适合通用对话、编程辅助与推理类任务。