Skip to content

Translation pending. This page is currently available in Chinese.

1.0:功能一致性与性能验收

本页规定 1.0 计划 的验收方法,适用于缺陷修复、实现选择和子系统功能补全。它是发布要求,不是已运行的测试报告;未采集的数据不得填作 PASS。

1. 比较参照

C0 是固定的已验收行为/性能参照,避免滚动参照掩盖累计回退;Cn 是用于定位本次变化的最近已验收版本。两者都可以由 C、Rust 或混合实现组成,不要求恢复已退役的 C 路径。对受影响的行为和热点指标使用合适参照;不要求每项功能都保留双实现。

只有具备必要日志、环境与重建输入的版本才可支持相应结论。10 月 13 日的分支验证 与 main 集成验证(该轮记录已删除)是可复用线索,不自动证明覆盖完整。后者明确包含工作区改动,且并未覆盖所有桌面/硬件/虚拟化生命周期。

进行实现对照时保持 ISA/板、CPU 数、内存、ABI、用户程序、数据、设备和服务配置相同,并记录实际工具链与构建开关。只在比较能解释本次行为或性能变化时使用 C/Rust 双实现;不为比较恢复已退役的旧 C 业务路径。单独改变 rootfs、JVM、驱动部署或硬件时另做对照,避免把环境变化收益误归给内核。磁盘从同一只读基镜像生成独立写层;测试不得共享可写镜像。

2. 功能判定

情况 判定依据
C0 已有正确能力 相同工作负载、相同输入及配置在候选上保持契约;能力与覆盖不得减少
C0 已知缺陷 使用规范、独立参照或明确的项目契约确认修正,并保留覆盖该缺陷的反向用例;不要求候选复现 bug
开发中子系统新增能力 对目标契约建立新用例,覆盖生命周期与失败路径;C0 不支持不代表候选可跳过
冻结前有意改变 Native 语义 登记旧/新行为、版本或迁移方式,更新 SDK 和调用者;必须区别于意外回归
退出的平台 LoongArch32/PPC64LE 不参加 1.0 运行对照;保留历史证据,并测试清理未伤及保留目标

比较返回值/错误、数据完整性、权限、事件与取消语义、对象存活、持久化和应用结果。 PID、时间戳、地址和合法并发次序允许按事先定义的规则归一化;不能用归一化隐藏丢事件、重复执行、漏唤醒或跨任务串线。Linux 对照还可使用固定版本 Linux;项目扩展以自身契约为准。

每个子系统按正式支持矩阵覆盖适用的正常使用、边界/无效输入、资源耗尽/分配失败、关闭/取消/退出竞态、单核/SMP、重启恢复和反复运行后的资源基线。CPU/板不支持的场景记 N/A 并说明原因; SKIP、TIMEOUT、崩溃、缺硬件及未执行均不计成功。已支持 SMP 的功能不得靠改单核通过。

复用现有测试的行为断言。绑定 C 函数名、字段名或源码形态的测试在迁移时改为验证等价契约,保留其异常路径覆盖;不能因为 Rust 没有旧符号就删除该风险的覆盖。必须检查完整日志与正常结束:PASS 后的 panic、fatal、锁停滞或异常退出同样判失败。

3. 必需功能与性能矩阵

下列现有入口只表示可复用起点,单一命令不等于覆盖整行。按 发布范围 §2.3 与 功能强化范围 §2.4 将现有工作负载映射到正式支持行,补齐关键路径;实验配置单列状态,不要求所有架构运行所有门禁或补全全部 Linux syscall。

工作包 功能与工作负载 性能/资源指标
CORE task/fork/exit/wait、锁竞争、futex、超时取消、RT 普通任务进展;smoke-sched-stress、smoke-futex-stress、preempt-lat 实例 吞吐、唤醒 p50/p95/p99、最长观测延迟、CPU 时间、争用/自旋、½/4/8 核扩展性(按平台适用性)
ABI/IPC 同负载 ABI=linux/both,Native 句柄/通道/共享环及现有 Linux ABI;smoke-native-suite、smoke-abi-linux syscall/IPC 延迟、批量吞吐、复制字节数、每次操作分配与引用开销
MM 映射/COW/保护/usercopy、pager、swap、DONTUNMAP、低内存回滚;smoke-mm-stress、smoke-swap 及 SMP 变体 fault/map/unmap 延迟、带宽、驻留/峰值内存、页表与元数据、回收暂停及释放后基线
FS/驱动 冷热缓存读写、元数据并发、fsync/断电恢复、DMA/IRQ/拔出、现有服务重启;smoke-vfs-stress、smoke-ext4-journal、smoke-native-fs-all IOPS/带宽、fsync 尾延迟、CPU/中断开销、队列深度、部署方式间开销、恢复耗时
NET 实际 netif 的入站/出站 TCP/UDP、双向 NAT 与回程、拥塞/耗尽;smoke-network-suite 及 netfilter/lane 专项 有效吞吐、p99 RTT、CPU/字节、丢包/重传/错误、lane 扩展性;不能仅测 socket 队列
CLUSTER/MCU 当前可执行矩阵按 QEMU 验收服务调用/去重/成员重启、同应用跨 CPU、设备 owner 故障、共享 RAM 契约、Java 负载与取消回收;检查物理驱动接口、寄存器/IRQ/DMA、发现/调用与布局契约相对 C0 的兼容性 QEMU 调用尾延迟/吞吐、故障恢复时间、应用完工时间、跨节点通信量、模拟 Flash/RAM/栈预算、最大在途量;实板时序、电气、总线一致性及 MCU 实际高水位标为未实机验证,接口兼容不得冒充硬件运行结果
HYP 同宿主多 VM/vCPU,创建/暂停/恢复/退出至少 100 个完整循环,低内存与故障隔离,真实 guest 磁盘/网络 创建/销毁与退出延迟、guest CPU/I/O 吞吐、宿主开销、资源回收;普通 host 负载同时检查
RUNTIME/DESKTOP 完整 libc、Java/JIT/GC、shell 工具、桌面/浏览器、Minecraft 实际交互及冷启动;按现有平台范围逐项验证 启动/任务完成时间、交互尾延迟、帧时间分布/卡顿、CPU/峰值内存;不能以平均 FPS 掩盖卡顿
DELIVERY/安全 安装启动、升级/恢复路径、权限拒绝、服务/进程崩溃隔离,保留平台矩阵 启动耗时、镜像/内核大小、空闲内存和后台 CPU;保持安全与持久化语义一致

MCU 各板的 Flash、RAM 和栈容量是硬上限,不能用服务器吞吐提升抵消固件超预算。低端设备和原有最小内存配置同样参加对照,不能通过提高 RAM、CPU 或改大缓冲区掩盖回归。当前发布矩阵以已声明的 QEMU 配置和物理驱动接口契约为准;已有笔记本等实机记录单独保留,新增整机认证按 §2.4 属于后续范围。缺少实机不单独阻止其他可执行的 1.0 工作;候选必须公开列明尚未验证的实板时序、电气、总线一致性和实际 MCU 资源行为,接口一致不等于实板运行保证。后续矩阵继续保留该类证据。QEMU 行为不能证明真实硬件时序;真实硬件性能不能用 TCG 数字宣称。TCG、KVM、实板分别标识并报告。

4. 性能测量与不回退判据

目标为保持或改善既有正确功能的性能。没有默认允许下降 5% 或 10% 的豁免,也不允许使用“Rust 更安全”作为已经确认的性能退化的通过理由。新增功能的绝对目标和资源预算在实现前登记;C0 不具备的功能不能伪造同比数据,仍须验证其对原有共存负载的影响。

  1. 先写协议再跑候选。 每个指标登记方向(高/低为优)、负载、样本单位、预热、冷热缓存、轮数、随机种子、汇总方法、置信区间、测量分辨率及板级硬预算。测量分辨率来自基线重复实验,不能看到候选变慢后扩大;若噪声大到遮蔽有意义的退化,先改善实验条件。
  2. 做适用的成对实验。 对受影响热点,在同一硬件/模拟配置交错或随机化运行可用参照与候选,记录频率/功耗模式、温度、宿主负载与亲和性。覆盖独立启动,不把同一次启动内的许多请求当成独立样本。先用预实验估计方差再确定轮数;单次最好值、单轮 smoke 和均值不能支持不回退结论。
  3. 检查工作量和正确性。 校验完成字节/操作/帧数、输出哈希、错误/重试/丢包及资源计数。少做校验、漏写盘、关闭安全开关或提前返回错误得到的加速无效;失败轮保留并另报失败率,不从结果中静默剔除。
  4. 逐项判定。 吞吐、尾延迟、内存、固件大小和恢复时间分别比较,不用总分抵消回退。对越低越好的指标使用候选/基线比值;越高越好的指标用基线/候选比值,均以 >1 表示变差。预先登记的方法计算置信区间;存在可重复、超出测量分辨率的变差则阻塞。“没有统计显著差异”不等于非劣:区间仍覆盖有意义的退化时,状态为证据不足,增加样本或改善测量。通过要求区间上界落在事先登记的非劣界内,且所有硬预算满足。
  5. 明确结论范围。 非劣界仅表达可分辨的测量精度,不是批准性能损失;缺失指标、缺硬件、无适用基线或只在 TCG 上测试时,不得给出全平台“性能无下降”结论。无法兼得的真实权衡必须回到范围/设计决策,不能在测试脚本中放宽阈值。

安全或正确性修复可能使旧版的错误快路径消失。这种情况先登记语义修正,在执行相同正确工作的已验收参照上比较,并公开与本次决策相关的差异;不能借此隐藏回退或把不同输入误作同一基线。

5. 证据与发布阻塞

每次验收记录需求 ID、基线/候选提交与补丁、完整构建/运行命令、工具链/依赖、硬件和虚拟化模式、ABI/CPU/内存/设备、镜像及输入哈希、原始日志、退出码、样本数据和统计脚本。记录 PASS/FAIL/SKIP/N/A/证据不足及原因,并分别保存单项与聚合结果;定向复跑成功不能改写之前失败的聚合命令。复验前保留失败产物,避免被增量构建覆盖。

临时目录或仅有日志哈希不足以长期复现。候选证据需归档到团队可访问且有保留期限的制品存储;Git 中保留索引、配置、脚本和哈希。默认不提交大型镜像/原始媒体,也不把凭据放进报告。

以下任何一项仍存在即阻塞 1.0:有效子系统需求未完成、既有正确行为回归、未登记的接口变化、安全/持久化/资源回收失败、已确认性能下降、必需指标证据不足、保留平台缺验收,或文档仍把实验结果写成稳定支持。性能改动后重跑受影响功能;底层重写后重跑依赖它的上层工作负载。

现有 testing-gates 提供已有门禁索引。成对比较协议见 comparison protocol。自动化测试套件持续运行;各子系统结果汇总与候选发布报告正按既定流程推进。完整发布交付仍需结合自动化校验与可复现的端到端验收。