新 AI 模型

Qwen-Audio-3.1-Realtime-Plus

Qwen-Audio-3.1-Realtime-Plus 是阿里云通义千问的端到端实时语音对话大模型，支持低延迟双工语音交互，提供流式音频输入与流式语音、文本输出。它沿用 3.0 Plus 接入协议，可通过 WebSocket、AOQ 与 WebRTC 接入，保留原有音色并新增 8 个系统音色，上下文长度 262,144 token，支持 Function Calling、联网搜索与声音复刻（联网搜索与 Function Calling 不可同时启用）。其 smart_turn 模式结合声学感知与语义理解判断轮次边界，嗯、啊等附和声不会打断对话，并支持 11 种语言及约 21 种中文方言。模型适用于语音助手、智能客服、AI 伴侣等场景。

Qwen-Image-2.1-PE-I2I

Qwen-Image-2.1-PE-I2I 是面向 Qwen-Image-2.1 的图像编辑提示词改写模型，由 Qwen3.5-VL 9B 微调而来，与面向文生图的 PE-T2I 相对应，专注于图生图（image-to-image）编辑链路。它接收模糊的编辑指令和一张或多张输入图像，将其改写成精确、可执行的编辑提示词，并以 JSON 输出 rewritten_prompt，附带目标宽高比（wh_ratio）或沿用输入比例的标记（ratio_follow）二者之一。改写结果可直接接入 Diffusers 的 QwenImage21Pipeline，适合搭建稳定的自动化图像编辑流程。模型以 Qwen Research License 协议发布。

Qwen-Image-2.1-PE-T2I

Qwen-Image-2.1-PE-T2I 是 Qwen-Image-2.1 文生图系统的提示词改写辅助模型，基于 Qwen3.5-VL 9B 微调而来。它将任意语言的简短图像需求改写为详细的英文提示词，并以 JSON 形式输出 rewritten_prompt 与推荐宽高比 wh_ratio，可直接接入 diffusers 的 QwenImage21Pipeline。模型在 thinking 模式下运行，采用 Qwen Research License 协议发布。

Grok Voice Transcribe 2.0

Grok Voice Transcribe 2.0 是基于 Grok Voice 背后音频基础模型的语音转文本（STT）模型，训练数据覆盖真实嘈杂环境中的多语种实时音频，面向电话线、多人重叠说话、地方口音等困难场景。官方称其准确率较 Transcribe 1.0 翻倍且价格不变，在 Artificial Analysis 榜单 32 个 streaming 模型中准确率第一，短多语种指令集的 word error rate 从 20.6% 降至 6.8%。支持 batch 与 streaming 转录、word-level timestamps、speaker diarization、最多 8 通道与 key term biasing，batch 定价每小时 $0.10、streaming 每小时 $0.20。适用于客服电话、语音代理与大规模视频转录。

HappyOyster-1.0-Acting

HappyOyster-1.0-Acting 是阿里云百炼 HappyOyster 实时交互世界模型系列的角色演绎档位。输入设定角色人设的自然语言 Prompt 与一张首帧图（缺省 9:16 竖屏，可选 16:9），即可将角色与场景实时渲染为视频流；通过实时文本指令驱动角色行为与互动，支持暂停与恢复，适合视频通话形态的 AI 陪伴等竖屏角色互动场景。

HappyOyster-1.0-Adventure

HappyOyster-1.0-Adventure 是阿里 Qwen 团队推出的实时交互、可探索的开放式世界模型。它基于文本或图像输入生成世界场景，支持实时交互、移动与镜头控制，可在生成的世界中沉浸式无边探索。画面以视频形式输出，适合打造可自由漫游的交互式世界体验与世界构建类内容创作。

HappyOyster-1.0-Directing

HappyOyster-1.0-Directing 是阿里云 Model Studio 的 HappyOyster 世界模型线中的执导档（与 Adventure、Acting 并列），是一个实时交互、可沉浸演绎的开放式世界模型。它基于文本、图像等多模态输入生成世界场景，并支持在任意时刻通过文本驱动整个世界实时演绎生成。适用于交互式叙事、开放世界创作与沉浸式可玩体验等场景。

Qwen3.8-Omni-Flash

Qwen3.8-Omni-Flash 是阿里云百炼上的原生全模态模型，支持文本、图片、音频、视频输入与文本输出。模型提供最高 1M token 上下文，可经多通道开关输入双声道立体声与四声道 FOA 空间音频，并支持可调节的思考与非思考模式、Function Calling 及联网搜索。适用于音视频理解、会议纪要、内容分析等场景，实时交互需求由同族 Realtime 版本承担。

Qwen-MT-Uni

Qwen-MT-Uni 是 Qwen 团队推出、经阿里云百炼提供的全模态翻译模型，一次调用即可完成文本、文档（PDF/Word/PPT/Excel/HTML/Markdown/TXT）、图片与音频的翻译。服务端自动识别输入模态，依次执行格式识别、智能路由、内容抽取、跨模态翻译与原格式重构，音频翻译支持语音克隆，译文可还原原始版面。模型支持同步与异步调用，单文件上限 100 MB（文档最多 200 页，音频 3 秒到 60 分钟），输出译文文本或文件下载链接，适合大规模跨模态翻译场景。

Seed 2.1 Lite

豆包 Seed 2.1 Lite 是字节跳动 Seed 2.1 系列的轻量档位，新一代全模态深度思考模型。它原生统一理解文本、视觉与音频，具备 1M token 超长上下文窗口。官方称其多模态综合能力优秀，在 Coding 与 Agent 场景下的任务完成能力提升显著，适合需要全模态理解、长上下文与 agentic 工作流的高频应用场景。

Seedream 5.0 Flash

豆包 Seedream 5.0 Flash 是字节跳动在火山方舟发布的快速低价生图模型，能力与 Seedream 5.0 Pro 完全一致，适合对时延和成本敏感的业务。它支持文生图、单图与多参考图生图，可通过坐标、框选、箭头等交互编辑方式做局部替换与区域生成，并能将单张图片拆分为 1 张底图加最多 16 个带透明通道的独立图层，便于二次编辑。此外支持俄语、阿拉伯语、法语、日语等 14 种语言的原生文字生成。

Gemini 3.8 Live

Gemini 3.8 Live（gemini-3.8-live）是 Google 通过 Live API 提供的音频转音频实时对话模型，官方将其定位为大多数低延迟 voice agent 与实时对话场景的默认选项，推理不引入额外延迟。该版本以规模与成本效率为卖点，将对话智能与流畅对话、视觉接地结合：支持近实时视觉输入理解、对话中途在 97 种支持语言间自动切换，并可在对话持续进行时于后台执行工具与 API 调用。区别于主打高复杂度多步推理的 Gemini 3.8 Live Extended Thinking，本版本侧重即时响应的对话体验，已上线 Gemini API、Google AI Studio、Gemini 应用与 Search Live，生成音频带 SynthID 水印。

Gemini 3.8 Live Extended Thinking

Gemini 3.8 Live Extended Thinking 是 Google Gemini 3.8 Live 同族中面向高复杂度任务的深度思考变体，主打边推理边说话的实时语音对话。它可在后台并行执行工具与 API 调用并同步播报进展，支持 97 种语言的近实时视觉理解。官方称其在 Artificial Analysis 语音到语音质量指数以 82.6 分居首，并在 tau-Voice（68.6%）等 agentic 语音基准上领先。该模型已通过 Gemini API、AI Studio 与 Gemini app 提供，生成音频均带 SynthID 水印。

Vidu S2-Avatar

Vidu S2-Avatar 是生数科技 Vidu S2 系列中的实时交互数字人视频生成模型，可实时输出 720p、25 到 42 FPS 的视频。它支持更强的指令跟随（如跳舞等大幅肢体动作），并可在流式生成过程中随时加入新的参考图，适用于直播数字人、实时互动陪伴等场景，已在 vidu.com 开放在线体验。

Vidu S2-Editing

Vidu S2-Editing 是 Vidu 面向企业客户提供的实时视频流编辑模型：持续接收用户推入的视频流，边流式边编辑并实时输出结果，通过 HTTP、WebSocket 与 WebRTC（AliRTC）API 集成。它支持四种编辑能力，配合可选参考图实现风格迁移、虚拟试穿、角色替换与背景替换，同时保留源视频的动作、表情与镜头运动。直播过程中可随时更换参考图或切换编辑场景而不中断视频流，适合风格化直播、虚拟试穿展示与互动角色扮演等场景。

Music v2.5

Music v2.5（model_id music_v2_5）是 ElevenLabs 官方所称最先进的音乐生成模型，可从文本 prompt、composition plans 或已有曲目生成录音棚品质的歌曲。官方文档称其在 music_v2 基础上改进了音质与 prompt adherence，旋律更饱满、编曲更厚重、配器层次更丰富，并沿用 composition plans、audio reference、inpainting 等既有工作流。人声支持英语、西班牙语、德语、日语等多种语言，典型场景包括游戏配乐、播客背景与营销内容。模型已接入各音乐 API 端点与 SDK，composition plan 生成片段最长可达 6,132 字符。

Qwen-Image-2.1

Qwen-Image-2.1 是千问系列开源的文生图与图像编辑统一模型，视觉生成部分为 7B 参数、32 层 Single-Stream DiT，通过混合粒度注意力与前缀 KV Cache 复用在生成质量和推理成本之间取得平衡。模型原生支持 RGBA 透明图像的生成、图层编辑与照片主体抠图，最多接受 10 张参考图输入并保持人像与商品一致性，还能通过圈选、涂抹或独立掩码指定局部编辑，原生输出 2K 分辨率。文字排版、人物光影与细节表现均有提升，适用于设计、电商与视觉叙事等场景，diffusers、ComfyUI、vLLM-Omni、SGLang 均提供 Day-0 支持。

Scribe v2 Medical

Scribe v2 Medical 是 ElevenLabs 面向医疗与临床音频的批量语音识别模型，现已 GA，通过 model_id=scribe_v2_medical 在与 Scribe v2 相同的 Speech to Text API 上调用。它基于 Scribe v2 微调，改进了药名、解剖、病理与临床听写类术语的识别，官方称在孤立医疗术语上比 Scribe v2 减少 15% 错误，日常语音准确率持平。它沿用与 Scribe v2 相同的请求参数：最多 1000 个 keyterm 提示、含 PHI 类别的实体检测、说话人分离、non-verbatim 模式与词级时间戳，覆盖 90+ 种语言，计价与 Scribe v2 持平。适用于环境化临床记录、医疗听写、患者接入电话与 HIPAA 合规场景，可经销售签署 BAA。

DeepSeek-V4.1-Flash

DeepSeek-V4.1-Flash 是 DeepSeek 新 CED（Causal Encoder-Decoder）架构家族中的最小模型，552B 参数 MoE，原生支持视觉理解，输入每 token 激活 8B 参数、输出激活 16B。它支持 1M token 上下文，FP4 KV 缓存只需上一代约 1/4 的 HBM 与 1/8 的 SSD 存储。官方评测给出 GPQA Diamond 90.9、HLE 36.8、Codeforces 3471、Terminal-Bench 2.1 90.6、DeepSWE v1.1 74.2，多项超过自家旗舰 DeepSeek-V4-Pro。API 名为 deepseek-flash 并同步下调价格，接替退役的 V4-Flash 与 V4-Flash-Vision-Exp（旧名临时路由），MIT 协议开源权重适合高吞吐的多模态、代码与 agentic 场景。

GPT-Live-1

GPT-Live-1 是 OpenAI 的全双工实时语音模型，此前已随 ChatGPT 上线，本次正式进入 API。单一模型同时完成听与说，对输入和输出音频统一推理，避免了 STT-LLM-TTS 级联链路的延迟与脆弱衔接，并能将深度推理与工具调用委托给 GPT-6 Astra 等后端模型。官方数据显示其 Full Duplex Bench 较 GPT-Realtime-2.1 提升 30 个百分点，搭配 GPT-6 Astra 时在 Tau3 语音智能体评测中排名第一，同时支持电话线路部署、原生输出 ASR 转写并改进了打断处理。定价为前端语音层每分钟 0.05 美元，适合构建客服、预订等电话与应用内实时语音智能体。