跳到正文

Veda注意力(显式SM89选项) ​

attention_backend="veda-sm89"为单SM89、原始LightX v0.1四步关键帧模型启用学习型视频稀疏注意力, 也接受显式FL/Ref HybridModel。这些模型的auto仍为dense,其他模型及双卡不接受此组合。

安装pipeline依赖后执行python -m vflash.install_veda,取得固定Veda修订 fd59c7277ccc37ebf1a8f6823474b8c2ef2e33a0的独立核心,保留MIT及SageAttention 1.0.6 BSD许可。 不安装ComfyUI或自动下载权重。H3预测器 另行按MiniMax H3社区许可提供,实测修订为76f202874608115408d73280be9531c4ab888242。

Python向H3Pipeline传入该后端和veda_predictor=Path("models/veda-predictor.safetensors")。 generate/denoise使用--attention-backend veda-sm89 --veda-predictor FILE;原生HTTP设置 VFLASH_ATTENTION_BACKEND=veda-sm89及VFLASH_VEDA_PREDICTOR。依赖版本、权重或GPU自检失败即停止, 没有静默dense fallback。预测器由会话持有,请求间重置几何和统计,关闭会话时释放。

0–4/45–49层保持Torch Flash,其余40层实用triton-int8、生成保留预算0.1。 条件/文本/音频连接保持密集,但这些层的INT8算术仍近似,不能宣称保护行数值精确。 四步每请求应有160次稀疏/40次密集调用;回执记录实际后端、网格、训练计划匹配及稀疏层工作量。 8NFE训练的预测器不等于四步组合与dense数值等价。

探索性同卡同实际噪声控制:单RTX 4090 48 GB,1536×640、五秒、四步,BF16主干及运行时LoRA、 两槽block-ring、Torch2.11/CUDA13.0,冻结干净条件、共用官方解码。 Hybrid去噪102.928→72.867秒;去噪加媒体124.408→94.063秒。另一卡同期运行, 不是独占全请求或同质量保证。八时点及原尺寸脸/衣料未见新增大范围崩坏,运动改变,共有柔化尚在; 未审听音频语义。独立完整pipeline资格验证单独记录。

另完成六条实际Python全pipeline请求,重新执行官方编码和解码:两种来源,I2/L2配对、 一个较大I2画布及单图hybrid Ref。同卡896×512/五秒,I2去噪37.507→34.196秒, L2去噪36.582→34.372秒,配对热态L2全请求64.733→61.608秒(减少4.83%)。 冷态I2总计165.293/171.789秒,分别包含94.647/101.967秒初始化及首次使用成本,不能宣称冷启动变快。 Veda I2 1344×768热态118.634秒(去噪74.010),单图Ref热态59.002秒。 不同画布不能共用一个加速倍率。大画布原尺寸脸部细节更多但成本增加,原有物体接触错误仍在; 注意力改变表情和反射。音频语义等价及普遍质量改善未建立。

显式42/8层分工 ​

0.17增加--veda-dense-edge-layers 4:第0–3、46–49层采用所选密集后端, 其余42层采用Veda。选项3(44/6)和5(40/10)沿用已有行为,默认值保持5。 四层边缘配置在可选音频上下文阶段保持同一层分工。

SM120上sageattention2在各层数配置中保持密集与稀疏INT8 QK / FP8 PV; frost-flash采用密集BF16、稀疏INT8 QK / FP16 PV。层数和精度分别选择, 用于同输入对照。结合原始创作要求观察原生主体细节、物体结构和时间连续性, 同时记录完整成片耗时。此前四组规格对照涵盖两个独立场景,清晰度/闪烁统计描述这些样本。

RTX PRO 6000上的42/8 Sage策略已完成1344×768、544×960及2720×1536五秒视频。 四步回执记录168次稀疏、32次密集调用;竖屏案例的六步音频上下文同样保留8个密集层。 该执行范围支持显式配置,跨场景质量与整片速度由对应的配对结果决定。

SM120显式密集层加速 ​

2026-10-10质量复核: 已收到高清Sage成片时序不稳定的反馈。2048方形同输入对照的连续帧显示Flash/Veda与Sage/Veda均有细节波动,Sage一个局部区域变化更大,尚未隔离原因。此前五时间点抽帧和播放通过不能证明时序质量。该选项应视为实验能力,不能作为已获画质资格的生产推荐;密集层默认Flash保持,但关闭Sage不等于已经修复闪烁。 0.16.0在RTX PRO 6000 Server上复核四组同种子对照(2720×1536五秒、1344×768十五秒、两段对白),无参考指标:细节亮度带的逐帧变化为FROST基线的0.97–1.02,拉普拉斯清晰度0.96–1.01。这限定了这些案例相对基线的闪烁,不是普遍画质结论。

在已做执行测试的单卡RTX PRO 6000或RTX 5090上,保留attention_backend="veda-triton", 为H3Pipeline显式指定veda_dense_backend="sageattention2";完整generate命令支持 --veda-dense-backend sageattention2。默认密集层仍为Torch Flash,扩展缺失或内核失败直接停止。

需独立安装针对实际Torch/CUDA和SM120编译的 SageAttention 2.2.0。 本次使用上述固定源码、Torch 2.11/CUDA 13.0;扩展遵循其Apache-2.0许可,本包不附带扩展或模型。 SM90专用wheel不能冒充SM120构建,CPU导入成功也不等于实际GPU资格。

仅0–4及45–49层改用INT8 QK / FP8 PV、per-warp量化、FP32+FP16累积、key smoothing, 不启用value smoothing。其余四十层Veda、保留预算、四步采样、条件和解码不变;回执记录实际 后端、密集层精度和调用数。这是显式近似算法,不承诺数值等价。

自0.16.0起该选项是一个整体精度策略:Veda稀疏层的P·V也改为FP8(V按头×通道量化为e4m3、FP32累加), 遍历、掩码、块选择与INT8 Q·K不变。启动时自检稀疏内核与Veda原内核的误差;回执新增sparse_precision。 在常驻FP8的RTX PRO 6000 Server、三层密集边缘上,以FROST BF16密集+FP16稀疏P·V为基线,去噪阶段 2720×1536五秒182.3对211.1秒、1344×768十五秒96.8对110.6秒、1MP对白五秒26.2对28.4秒。

同一PRO 6000 Server、BF16 hybrid/block-ring的完整暖态I2VA对照:1536×864十五秒 Flash/Sage为257.718/223.718秒(减少13.19%),2048²五秒314.753/302.123秒(减少4.01%); 均含条件、去噪、成片,但不含初始化和传输。1344×768五秒Flash/Sage/Flash为 49.683/49.775/52.914秒,未建立稳定短片收益。本批初始化1205.634秒,暖态收益不能代替冷启动或总费用收益。

八片全部AV解码和应用播放通过,每片五时间点及原像素细节裁剪未见新增明显结构失败;主体和建筑 结构保持,但动作轨迹改变。既有镜头遵循问题保留,音频语义未评估,不能据此宣称普遍等质。 H100和其他架构在独立资格前继续使用Flash密集层。

同一RTX 5090的1344×768五秒Flash/Sage/Flash为75.632/70.395/75.428秒; 1536×864十五秒为379.763/310.595秒(减少18.21%),修正性能分析生命周期后两者 去噪分配峰值均24.143GiB。长片已完整AV解码和应用播放,多时刻面部/服装/运动检查 保留上述已知质量限制。

同批5090另完成2048²五秒Sage368.807秒,去噪峰值26.982GiB,完整AV解码及应用播放通过;缺少本机Flash对照,因此仅确认容量和交付,不宣称4MP加速。

显式SM90 CuTe Flash密集层 ​

为H3Pipeline显式指定attention_backend="veda-triton"和 veda_dense_backend="cute-flash",或使用完整命令的 --veda-dense-backend cute-flash。单独安装固定的flash-attn-4==4.0.0b34; 实测环境为nvidia-cutlass-dsl==4.8.0、Torch2.11.0/CUDA13.0及Triton3.6.0。 实现来自官方FlashAttention CuTe, 本包不附带该扩展、私有模型或运行凭据。

当前只准入SM90。十层密集注意力仍为BF16 QKV、完整上下文、非因果和单split, 其余四十层Veda不变。架构/版本不符或内核失败直接报错,不自动切换;默认仍为 Torch Flash。不恢复Sage,不启用FP8注意力,不改变模型精度,也不扩大现有档案的 尺寸、时长或显存准入范围。

H100 SXM的六个实际核探针覆盖9,984–438,784长度,Torch Flash为 7.888–16,796.029毫秒,CuTe为4.292–8,383.208毫秒;两个实际CUDA内核均已执行。 这是密集层计时,不是整片加速。完整I2VA比较保持实验FP8 Linear/文本、hybrid四步 和Veda相同;下文单列完整耗时与有限质量观察,不声明普遍等质量,也不新增公开FP8服务能力。

尺寸与时长Torch整片秒CuTe整片秒
512×512 / 5s81.74477.015
768×768 / 10s41.03240.115
1024×1024 / 15s130.214114.534
1536×1344 / 10s207.546168.019
2048×2048 / 5s235.523195.820
2048×2048 / 15s1237.038891.409

同一物理H100 SXM依次完成六控制/六候选,每场景单seed。表格包含条件、去噪和媒体, 不含初始化/网络交付;含初始化的六例批次2068.473→1629.436秒。 初始准备131.435→138.192秒,未提速;首例有冷条件与首次实际布局编译, 不能从其整片差异推断短片密集内核收益。最大例密集阶段692.458→348.078秒, 整片1237.038→891.409秒(耗时减少27.94%)。嵌套阶段不可相加。

十二片全解码和应用播放通过。多时刻人物、物体和建筑结构保留,连续原生雨街/书架 裁剪未发现新的大结构破坏;原控制与候选都有图书馆开头重构镜头和动作不足。 这是有限观察,不是全面等质量认定,音频语义、其他模式与多seed未知。 单租顺序和缓存影响保留;阶段收益不等于首片完整冷启动改善。

显式 SM120 FROST 密集层 ​

选择H3Pipeline(..., attention_backend="veda-triton", veda_dense_backend="frost-flash") 或generate --veda-dense-backend frost-flash,另行安装固定可选 NVIDIA cuDNN frontend 1.31.0。 必须在进程启动前设置CUTE_DSL_ARCH=sm_120a;包装层不会自动修改全局编译目标。 实测环境为CUTLASS DSL4.8.0、Torch2.11.0和CUDA13.0。

只有十层密集计算使用FROST BF16完整上下文、非因果注意力,128×128分块、单split; 四十层Veda及keep预算不变。原生融合投影的V步长直接使用,不额外复制完整QKV。 有界计划缓存仅保存描述信息,每次调用传入当前张量与CUDA流;不支持的布局、架构、版本和 内核直接报错。Torch Flash默认保持,不恢复Sage,不扩大任何profile容量。

单张RTX PRO 6000 Blackwell Server96GB上的六组I2VA对照固定实验NVFP4 Linear与FP8文本编码。 结果证明该集成中的密集后端,不代表公开引擎已经提供私有量化runner,也不建立5090、SM89或H100资格。

画幅 / 时长CuTe128×64完整生成秒FROST128×128完整生成秒
512×512 / 5s69.92672.095
768×768 / 10s43.67340.588
1024×1024 / 15s139.261136.206
1536×1344 / 10s221.993215.276
2048×2048 / 5s259.359250.704
2048×2048 / 15s1324.8111232.634

每项包含条件、去噪与媒体,不含初始化、选核探针和网络交付。初始化为 52.650/53.620秒; 初始化与六例生成合计2111.672/2001.123秒。首小例含冷条件与编译;先控制后候选,保留顺序和缓存混杂。

十二片全部完整解码并在应用实播。有限时间线及原像素连续帧复核覆盖行走、街景细节与长图书馆片段; 既有镜头重构和动作遵循缺陷保留,已看区域未发现新增明显结构破坏,不构成普遍等质或时序质量保证。 音频语义、其他模式和多seed尚未评价。私有集成源码video-gen eec85fd7,公开仅保留汇总。

显式 SM90 FA3 密集层 ​

选择H3Pipeline(..., attention_backend="veda-triton", veda_dense_backend="fa3-flash") 或generate --veda-dense-backend fa3-flash。另行安装固定官方 FlashAttention-3 Hopper源码, 包版本flash-attn-3==3.0.0,CUTLASS子模块7127592069c2fe01b041e174ba4345ef9b279671。 实测编译为Torch2.11.0/CUDA13.0、SM90a、BF16、head128前向;在租GPU之前完成可选依赖构建。 本Python包不携带扩展或模型权重。

只替换十层密集注意力:BF16完整上下文、非因果、单split、不打包GQA或输出attention概率。 四十层Veda保持,直接传入融合投影的V视图,不作完整QKV复制。架构、精度、布局、版本或内核 不支持时直接失败;不新增回退或画布准入。Torch Flash默认不变,也不启用FP8注意力。 浮点累加顺序可以改变生成轨迹,不保证逐位/逐像素一致。

单张H100 SXM80GB先运行六控制再运行六候选;实验FP8 Linear/文本、stream文本驻留、内存条件交接、 预制官方VAE和CPU帧装配保持一致。该结果不代表新增公开量化API。

画幅 / 时长CuTe完整生成秒FA3完整生成秒
512×512 / 5s57.76013.829
768×768 / 10s39.67135.799
1024×1024 / 15s111.710106.385
1536×1344 / 10s166.739169.017
2048×2048 / 5s192.559191.791
2048×2048 / 15s882.097863.367

包含条件/去噪/媒体,不含初始化或交付。首例和初始化有显著顺序/共享缓存混杂,不能归为FA3冷启动收益。 后五例合计1392.776→1366.360秒(−1.90%);最大例整片快2.12%,密集CUDA计时346.348→322.647秒, 但媒体阶段反而变慢。1536×1344例慢1.37%,因此是显式选项,不是全场景赢家。

十二片全部完整解码并在应用实播。有限时间线和原图连续区域覆盖衣袖/手、植物、书架,已看区间未见 明显新增大结构破坏;两者均保留不期望的镜头移动/重构和动作遵循缺陷。其他时序区域、音频语义、 多seed及其他模式未评价,不构成普遍等质或其他H100型号资格。私有集成源码video-gen 6d9a2823。

Vflash · 原生 MiniMax H3 推理