版本更新
0.22.1
原生HTTP API的OpenAPI补齐健康、就绪、活动profile和作业响应类型,以及202受理、含Retry-After的 队列拒绝、易失历史、错误和二进制/Range潜变量下载。保留原响应字段与执行器扩展,不改变推理算法、 模型、注意力默认或数值输出。HTTP合同由受控执行器验证,未运行GPU推理。 见HTTP合同。已发布0.18.0容器保持原schema,新声明通过0.22.1 server包提供。
0.22.0
新增ReferenceAVRuntime,在完整96 GiB SM120显卡执行原始FL/Larry分段流水线。 默认前4步Larry、后6步原始视觉,采用Veda44/6;随后以12步Larry生成H3原生声音,保留完整视频。 整合提示编码复用、空间视频KV、QKV融合及与官方解码的有界重叠。
范围:精确画布首图、5秒、至多2×1024²像素、最长边2048;显式加载固定上游源码、原始行FP8矩阵、 时间表及Larry资产。不会自动回退到完整Sage;原有hybrid档位和已受理请求保持既有合同。 见资产、执行和质量范围。
应用执行入口在400W PRO6000 Blackwell Server(95.59GiB)交付两条5秒视频:1024×1024对白 101.770秒,1920×1080动作228.338秒。包括条件、两个采样阶段、官方解码、编码及精确画布交付; 两次独立进程初始化17.09/16.17秒,采购、资产传输与上传另计。两条均为120帧、32kHz双声道, 核验全部注意力调用和声音阶段画面潜变量保持。这是交付验收,不新增完整Sage对比或同卡四步速度结论。
0.21.0
单SM89/SM120的Veda混合路径支持一份视频与一至三张有序外观图组合。 官方图中先图像、后视频,提示保留独立的<Picture N>和<Video 1>标签。 图像沿目标面积match尺寸,视频沿官方CFR24几何;schema 6绑定两种条件并校验组合前缀,schema 1–5保持原合同。 参考缓存加入有序图像身份与目标画布,使同一动作导引搭配不同外观时保持正确的条件归属。
默认完整空间视频。显式reference_video_profile="spatial-half"只池化最后一份视频latent空间网格, 此前外观图latent与全部已编码视频时间位置保持;完整缓存继续用于后续full请求。 输出保持五秒、最多1,048,576像素。用法见组合参考。
首批证据是一张外观图和五秒CPU双人物递交道具预演,交付960×544/120帧,四步采样、Veda 44/6、 原生联合音频与web-v1交付:
| GPU与执行方式 | 完整参考调用 | 视频空间半采样调用 | 半采样编码/去噪/媒体 |
|---|---|---|---|
| RTX 4090 48 GiB,BF16环、Torch密集注意力 | 280.706秒 | 168.883秒 | 59.060/90.092/18.383秒 |
| RTX PRO 6000 Blackwell Server,常驻FP8、SageAttention2 | 110.342秒 | 79.395秒 | 35.187/31.809/11.410秒 |
完整调用另计会话初始化和应用传输;SM120两次使用不同缓存宿主与冷编码状态,初始化33.843/19.981秒。 SM89完整/半采样初始化90.879/94.774秒。条件前缀32,766→8,574行;SM89完整参考去噪分配峰值14.99GB, 整个窗口的NVML采样峰值17,159MiB。使用Torch 2.11/CUDA 13与固定官方条件编码器。
完整画面采样与接触序列保留人物外观并完成交接。当前属于单场景的近似动作控制证据, 其他动作、风格和三图负载继续分别确认。简洁/细化I2VA提示也完成了这个简单动作,按具体控制需要使用动作参考。 现有音频优化默认与资格范围保持。
0.20.0
AudioRefinementRequest新增显式weight_cache_bytes预算。BF16双槽环在音频阶段将选定权重保留在显存中, 保持原计算槽地址,退出时恢复全部绑定。默认预算为零,常驻主干保持已有执行方式;作用域为上下文与重叠解码预留20 GiB。
单卡RTX 4090 48 GiB,BF16、Veda 44/6与Torch密集注意力,十二步音频、0.25MP音频上下文, 隐藏状态复用及视频解码重叠:
| 五秒I2VA | 暖态完整调用 | 20 GiB预算 | 节省 |
|---|---|---|---|
| 960×544鼓声 | 102.644秒 | 93.252秒 | 9.392秒 |
| 960×544笑声 | 103.964秒 | 94.095秒 | 9.870秒 |
| 1024²鼓声 | 158.456秒 | 149.528秒 | 8.928秒 |
| 960×544对话 | 81.360秒 | 70.296秒 | 11.063秒 |
完整MP4调用包含缓存准备;模型初始化、应用排队和传输单列。首条冷调用为110.150秒。 实际缓存27/50层、21.01 GB;循环H2D由466.96 GB降至214.80 GB,另有一次21.01 GB准备复制。 缓存组显存峰值33.07—35.70 GiB,Torch 2.11/CUDA 13。
四组全部120帧及双声道PCM样本与各自对照一致。整理后的原生模块另完成四条完整调用, 两组缓存输出也与原型的完整解码媒体一致。这是既有音频方案内的权重放置等价性证据; 声音验收和原方案的瞬态范围继续沿原记录,其他时长、显存容量与内存布局采用独立资格。
0.19.0
新增匹配的十二步(denoise=0.9)和二十步(denoise=0.95)音频阶段、原片编码条件音频接口及紧凑音频参数表。 引擎保持显式启用音频补采,由应用选择部署方案。主视频仍为四步联合音画生成;额外音频阶段固定最终视频latent。 隐藏/K/V复用及视频解码重叠分别显式选择。
单卡、五秒I2VA、每行输入匹配,以下为完整MP4调用:
| 设备/任务 | 六步缓存+重叠 | 十二步缓存+重叠 | 二十步缓存+重叠 | 二十步完整上下文计算+重叠 |
|---|---|---|---|---|
| RTX 4090 48 GiB,BF16双槽环,960×544鼓声 | 86.34秒 | 102.71秒 | 128.66秒 | 176.00秒 |
| RTX 4090 48 GiB,BF16环,1024²鼓声 | 143.45秒 | 155.19秒 | 179.28秒 | — |
| RTX PRO 6000 Blackwell Server,常驻FP8,512²拍手 | 12.81秒 | 12.88秒 | 13.33秒 | 34.18秒 |
| RTX PRO 6000 Blackwell Server,常驻FP8,1344×768吉他 | — | 44.09秒 | 43.25秒 | 66.31秒 |
模型初始化、网络回传、应用排队及首帧准备单列。本地使用隐藏复用与Torch密集注意力;远端使用K/V复用与SageAttention2。 两者均为Veda 44/6、0.25MP音频上下文、Torch 2.11/CUDA 13。首调用预热与以上暖态行分开。 44/6属于应用显式选择,引擎原40/10默认保持。
完整串行方式下,本地960×544十秒视频的六/十二/二十步为178.84/228.36/295.43秒; 远端2048²五秒的六/二十步为243.79/270.55秒。缓存及重叠继续沿设备显存余量和既有资格范围启用。
十二/二十步同时改变评估次数和重采样强度。原片条件语音的人工反馈偏好二十步的自然度;人群瞬态仍有残留音质问题。 缓存和完整重算保持画面,音轨可能存在差异。实测覆盖语音、鼓声、笑声/掌声、原声音乐和环境声。 上述数据支持执行与耗时范围,声音验收继续依据各自描述和实际试听。
紧凑参数表对完全相同的整行去重,保留全部原始BF16位。二十步存储由611.00 MB降至400.92 MB; 51个完整重建表已逐位确认一致。原格式、源文件和推理张量布局保持。
0.18.0
新增单 SM89/SM120 混合模型视频参考、自有 128 MiB CPU VAE 缓存、显式空间半采样、 常驻 SM120 音频 K/V 复用,以及画面解码/六步音频重叠。 完整指南定义输入与生命周期。 引擎音频补采保持显式启用,应用自行选择默认并提供匹配调制表。
以下为五秒完整 MP4 调用,单列模型加载和服务传输之外的执行耗时:
| 场景 | RTX4090 48 GiB、BF16 双槽、44/6 Torch | RTX PRO6000 Server 96 GiB、常驻 FP8、44/6 Sage |
|---|---|---|
| 512² 瞬态声音,串行 → 所选重叠方案 | 65.41 → 60.69秒(均用隐藏缓存) | 20.12 → 14.03秒(全音频上下文 → K/V+重叠) |
| 1344×768 音乐,串行 → 所选重叠方案 | 148.08 → 142.63秒 | 49.91 → 42.55秒 |
| 512² 身份参考,完整冷编码 → 半空间缓存 | 125.02 → 61.32秒 | 47.10 → 20.84秒 |
| 1344×768 镜头参考,完整冷编码 → 半空间缓存 | 356.63 → 178.04秒 | 134.74 → 63.25秒 |
参考行同时包含 VAE 缓存与空间压缩收益。另一个完整参考 4090 对照中,VAE 从 22.62秒降至0.0034秒, 120帧解码画面相同。十组音画重叠对照的全部120帧保持一致;九组PCM逐采样相同,首条4090对白 PCM差异RMS为0.001864,对白转写一致。质量采用各场景原始要求、多时点画面与独立音频观察。 空间压缩改变脸部细节与构图,因此默认完整参考。 最终应用worker使用公共自有实现,在同一PRO6000完成三条补采I2VA和一条完整视频参考。 CPU检查覆盖生命周期清理、准入和隔离。
0.17.2
管道MP4交付增加120秒停滞时限,并保留600秒总时限。RGB块写入完成或编码文件增长时, 停滞计时重新开始。两类时限均回收自有编码进程并清理临时文件,成功媒体沿原合同发布。 编码参数与输入张量保持原有行为;CPU检查覆盖阻塞子进程、真实FFmpeg输出和文件/管道成片等价性。
0.17.1
对齐SM120混合流水线的常驻准入,覆盖I2VA、L2VA、FL2VA和图像Ref。 沿用原像素帧上限及多参考960×544/5秒范围;SM90保持既有I2VA范围。 本次修复推理开始前的模式拒绝,权重、注意力和去噪计算保持原版本。CPU合同检查已通过。 RTX PRO 6000 SM120常驻实卡已完成FL2VA 1440×1440/10秒、L2VA 1344×768/15秒, 以及960×544/5秒的2图与9图Ref;I2VA同时完成2048×2048/5秒。上述证据覆盖列明输入的 实际执行和输出交付;画面质量依具体场景,按各自原始要求评估。
0.17.0
veda_dense_edge_layers=4选择第0–3与46–49层为密集层,其余42层采用Veda。 两个CLI入口与完整pipeline接受3、4、5;默认5保持40/10。可选音频上下文阶段保留显式44/6或42/8。 SM120的Sage保持密集与稀疏INT8 QK / FP8 PV;FROST采用密集BF16、稀疏INT8 QK / FP16 PV。
同一物理RTX PRO 6000、常驻FP8权重、四步,每行固定参考图、提示与种子;表中为完整引擎秒数, 模型加载与网络交付另外记录:
| 五秒I2VA输入 | Sage 44/6 | Sage 42/8 | FROST 44/6 | FROST 42/8 |
|---|---|---|---|---|
| 1344×768 | 46.2 | 47.0 | 47.5 | 47.0 |
| 544×960,附加六步音频 | 31.3 | 31.5 | 31.4 | 31.2 |
| 2720×1536 | 222.9 | 225.2 | 244.9 | 257.5 |
范围为三个输入场景,每配置各一次计时。原生局部显示表情、动作相位与局部细节变化, 质量按实际参考及动作要求逐场景判断;更多场景覆盖单独记录。0.16.0的四组规格对照来自两个场景族, 其闪烁/清晰度统计对应那批样本。
本版包含0.16.1的显存门槛显式设置。已发布的native与pipeline镜像在非特权用户下报告0.17.0; 摘要和不可变依赖底图见docker/images.json。选择Sage时单独安装该扩展。
0.16.1
VFLASH_SM120_RESIDENT_GIB可调低SM120常驻权重的显存门槛(默认90,可取24–90)。只服务实测峰值能放进 较小显卡的规格的部署(例如由调度限定为1MP五秒请求的32 GiB RTX 5090)设为30;更大的规格会以CUDA OOM 失败,而不是静默回退。SM90仍为75 GiB,其他均不变。
0.16.0
SM120上的veda_dense_backend="sageattention2"成为一个整体INT8 Q·K / FP8 P·V策略:除密集边缘层 (SageAttention 2.2.0 CUDA)外,Veda稀疏层的P·V也改用FP8。遍历、掩码、块选择与INT8 Q·K不变;V按头×通道 量化为e4m3,FP32累加。启动自检限定稀疏内核相对Veda原内核的误差(<5%),不做静默回退;回执新增 sparse_precision。其他后端、默认值与档案均不变。
同一RTX PRO 6000 Server、常驻FP8权重、Veda 44/6、同种子,以FROST BF16密集+FP16稀疏P·V为基线:
| 请求 | 基线去噪 | 0.16策略去噪 | 完整请求 |
|---|---|---|---|
| 2720×1536 五秒 | 211.1秒 | 182.3秒 | 276.2 → 237.8秒 |
| 1344×768 十五秒 | 110.6秒 | 96.8秒 | 149.7 → 135.3秒 |
| 1MP对白 五秒 | 28.4秒 | 26.2秒 | 43.1 → 40.4秒 |
| 0.5MP对白 五秒,0.25MP音频阶段 | 22.1秒 | 20.7秒 | 31.1 → 29.3秒 |
基线臂先运行,其第一条请求含部分去噪以外的预热。精度会改变采样轨迹;无参考指标下,四组对照的细节 亮度带逐帧变化为基线的0.97–1.02,拉普拉斯清晰度为0.96–1.01。这是有界对照,不是等价结论。
0.15.1
为六步音频阶段的视频上下文新增经验证的0.25MP空间预算:在默认500,000之外支持 AudioRefinementRequest(..., context_pixels=250_000)。仍是相同的均匀token抽样、原RoPE、全部时间步与 冻结的视频latent;其他数值路径、调度与默认值均未改变。
以发行代码(在0.15.0上放宽守卫)实测完整I2VA请求的音频阶段耗时,0.25MP对比0.5MP:
| GPU与执行方式 | 请求 | 0.25MP | 0.5MP |
|---|---|---|---|
| RTX 4090 48 GB,BF16块环 | 八个五秒画布,0.45–1.06 MP(中位数) | 34.1秒 | 50.6秒 |
| 2720×1536五秒 | 42.2秒 | 65.4秒 | |
| 1920×1088十秒 | 56.0秒 | 107.4秒 | |
| 1344×768十五秒 | 75.2秒 | 160.1秒 | |
| ≤1.4 MP五秒对白(三条,中位数) | 33.6秒 | 52.2秒 | |
| RTX PRO 6000 96 GB,常驻FP8 | 2720×1536五秒 | 11.9秒 | 19.9秒 |
| 1920×1088十秒 | 16.8秒 | 32.4秒 | |
| 1344×768十五秒 | 23.5秒 | 49.2秒 | |
| 1 MP五秒对白(三条,中位数) | 7.5秒 | 14.4秒 |
不同预算下交付画面逐帧一致。Whisper large-v3-turbo对两种GPU上各三条中英文对白在两种预算及不优化时转写完全相同。 20条音轨中,0.25MP相对0.5MP的语音频段包络延迟均为0,19条相关系数0.97–1.00,一条机械声4MP为0.77; 除该条外,0.25MP与0.5MP的距离都小于0.5MP与不优化音轨的距离。Audiobox Aesthetics分数变化不超过±0.3。 这是速度与客观指标验证,不代表听感结论。
0.15.0
单张96 GiB SM120上的常驻I2VA改用与原生高清相同的联合预算 宽×高×模型帧数 ≤ 2048²×124准入,不再固定为1536×864画布。因此可覆盖1536×864十五秒、 1920×1088十秒以及2720×1536等真4MP五秒请求。SM90保持已实测的1536×864范围;块环仍是默认与 回滚方案。数值路径、调度与默认值均未改变。
在一张RTX PRO 6000 Blackwell(96 GiB)上以常驻FP8主干、Veda 44/6、两步人脸修复和六步音频修复 完成完整I2VA请求:1920×1088五秒163秒、2720×1536五秒261秒、1920×1088十秒245秒,三条请求的 显存峰值为42.1 GiB。每条视频开头、中段、结尾画面及4MP原生分辨率裁切均连贯、无平铺。这是容量与 画面资格,不代表音质结论。
0.14.0
图像条件原生高清的最长边合格范围放宽到2720像素。2048²总像素上限、1:4–4:1比例范围以及 宽×高×模型帧数 ≤ 2048²×124的联合预算均不变,因此2720×1536(16:9)、1536×2720(9:16)、 2368×1760(4:3)等真4MP画布为五秒请求。请求契约与首帧条件bundle共用 NATIVE_HD_MAX_LONG_EDGE;更长的边仍在模型激活前拒绝。数值路径、调度与默认值均未改变。
同一张RTX 4090(报告显存48 GiB)以BF16混合Veda 44/6完成五条完整I2VA请求,120帧画面连贯, 无平铺或重复结构:2720×1536城市与街景(672.0、658.9秒)、含人物的1536×2720(669.6秒)、 2368×1760(663.5秒)和2720×1152(462.5秒)。后三条使用未修改的发布契约。这是画面资格, 不代表音质或其他GPU结论;更长的4MP请求仍超出联合预算。
0.13.0
新增六步音频的显式、自有请求隐藏上下文复用: AudioRefinementRequest(..., reuse_hidden_context=True)保持六次音频评估和视频latent, 近似复用首次非音频隐藏状态,默认仍完整重算。双槽按逻辑层持有缓存;常驻接口具有 CPU覆盖。GPU试听/速度证据限两组512²/5秒RTX4090,音频阶段约少34%。显存边界、 异常恢复和未测范围见完整流水线。
0.12.0
新增原生双槽BF16 SM89权重环的显式六步音频,保持Veda 44/6与约0.5MP空间条件。 全部CPU调制表、GPU拷贝计划、临时Turbo残差关闭及注意力绑定均在成功/失败后恢复; 既有常驻执行和默认行为保持。
RTX4090上两组五秒对照(1024²音频单独、512²应用人脸联合)各保持120帧解码画面。 音频阶段55.12/33.98秒;初始化、冷暖和质量边界见完整流水线文档。 不据此资格更大/更长SM89音频请求,不声称达到15%附加耗时或普遍改善音质, 既有几何与容量限制保持。
0.11.0
新增可选的仅音频六步修复,以约0.5MP空间条件保留原视频和全部时间位置,使用匹配调制表与解码余量保护。 要求显式选择单卡常驻hybrid I2VA、Veda 44/6;进度区分四步主生成和额外六步,默认行为不变。 独立的原生/文本FP8工厂与完整上下文按行分块减少集成方重复实现,不下载权重或扩大准入。
两组独立高清场景通过新音频接口及公共FP8工厂复现全部画面与交付PCM;另两组较小画布的 人脸/音频联合请求保持此前最佳人脸画面,并在人脸拼接中保留已修复音轨。 这是限定RTX PRO 6000 Server集成证据,私有扩展容量、应用资产和生产采用另验。 可选源场景条件复用仍保留明确的实验资格边界,不随包提供模型权重。
0.10.0
新增显式batch2-fp16-norm-reuse-untiled人脸编码配置,支持512方形、124帧输入。 移除重叠空间编码块,保留时间块复用,成功或失败均恢复模型状态;普通编码及MP4/RGB默认保持。
约48GiB的RTX4090上三个集成场景均减少完整人脸阶段耗时。精确公开配置另在一个场景中复现 私有原型全部120帧最终RGB;这仅证明与该原型一致,并不等同此前分块编码器。 空间上下文、归一化和部分细节改变,显存增加,计时与质量边界见完整流水线文档。 不新增修复模型、权重或应用调度。wheel、源码包和两类镜像已发布,接入应用仍需显式选择; 发行不会自动更改其已部署配置。
更早版本
每个早期版本的完整说明、证据与限制保留在本页的 0.15.0 版本 和各源码标签中。要点:
| 版本 | 要点 |
|---|---|
| 0.9.0 | H3Pipeline.generate_rgb:uint8 RGB 数组输出,可只解码选定帧 |
| 0.8.0 | VideoRepaintRequest:两步或四步低噪声重绘,音频冻结 |
| 0.7.0 | 整合 0.6 系列的完整流水线、重绘组件与注意力控制 |
| 0.6.24–0.6.36 | Veda 内的稠密后端(SM90 cute-flash/fa3-flash,SM120 frost-flash)、稠密边缘宽度、内存条件交接、CPU 准入与有界媒体交付、FP8 线性原语、缓冲权重读取、加载器钩子、纯视频输出、音频解码余量、人脸编码器与原生人脸重绘 |
| 0.6.15–0.6.23 | SM120 常驻主干(≥90 GiB)、SM120 混合 FFN/QKV 融合与缓冲复用、更轻的 RGB 量化、checkpoint 溯源、实验性 Sage 路径 |
| 0.6.13 | SM90/SM103/SM120 配置、分区感知设备发现、可移植资源、CPU 预备混合调制表 |
| 0.6.12 | 混合/Veda 在联合预算内支持最长 15 秒与九张参考图 |
| 0.6.11 | 原生高清最高 2048²、五秒 |
| 0.6.10 | SM89 上 LightX v0.1 的 Veda 稀疏注意力 |
| 0.6.9 | 可选 FlashVSR v1.1 超分 |
| 0.6.8 | HybridModel:在 FL 主干上使用官方 Ref 第 25–49 块调制 |
| 0.6.6 | 原始 LightX v0.1 四步 I2VA/FL2VA 配置 |
| 0.6.0–0.6.7 | VDN8 社区关键帧流水线(SelfLift、学习式 latent 提升)、同请求条件复用、544p Turbo8 关键帧 |
| 0.5.x | 完整流水线注意力适配、空间 VAE 组合、FP32 注意力 LoRA、画质增强、精确文本编码前缀、单 SM89 默认 Sol |
| 0.4.0 | Base16 关键帧与 Sol-Engine 对齐实测 |
| 0.3.x | 参考视频生成、更低的 4090 QKV 显存、宽张量偏移、双 SM86 T2VA |
| 0.2.x | 完整文字生成视频、双 3080 完整视频、更低的 4090 FFN 显存 |
| 0.1.x | 多参考图视频、提示词加图片生成 MP4、显式显存布局与资源归属 |
能力状态
当前支持的输入模式、精度选择与联合容量限制,以配置与硬件说明 和完整链路合同为准。镜像清单 标识已发布的原生与完整管线镜像。上方历史记录中的包和镜像可用性只描述各自发布时刻, 不覆盖当前支持表。模型权重需单独获取并遵守其许可。
新增硬件、模式与修复功能须分别完成实际执行和完整媒体验证。 源码选项不会自动升级已部署的服务。