网络后端对照方法¶
tools/bench/bench-net-kvm.py 使用同一个静态 Linux ELF 校验 TCP/UDP 请求与回显,记录吞吐、延迟分位数、QEMU 参数、镜像/ELF 哈希和完整失败样本。--a20-setup <脚本> 在测试前配置 A20OS,脚本副本与哈希随证据保存。--pcap 保存 QEMU Ethernet 抓包。有任一用例退出失败、缺少结果或未通过 payload 验证时,脚本最终非零退出。
CPU 成本以验证成功的请求加回显 payload 字节数为分母。宿主客户端使用进程及等待子进程的 user+system CPU;KVM 使用整个 QEMU 进程的 CPU,包括所有 vCPU/I/O 线程与 VMM,因此不是单独的 guest CPU。Linux /proc/<pid>/stat 的时钟粒度也记录在结果中。外部 echo 服务的父进程 CPU 单独保存,TCP fork worker 未计入,不应解释为完整 peer 成本。目前指标为 ns/字节,不是硬件 cycles/字节,且没有静默扣除 idle 成本。
性能比较要求后端使用相同 vCPU、affinity、virtio 特性、MTU、链路和外部 peer。 runner 现在显式关闭双方 virtio 的 checksum、TSO/GSO、UFO、ECN 卸载特性,避免 Linux 默认协商了 A20OS 尚未启用的能力。NIC 完整参数保存在 manifest;宿主回环仍只是参考。 SLIRP 与宿主回环的路径不同,只能作功能和回归比较,不能由此推断线速或硬件 NIC 性能。最终默认后端决策需要同一桥接/TAP 拓扑的 guest Linux 基线、连接规模与峰值/回收后内存;这些尚未由当前 microbenchmark 完整实现。FreeBSD 尚不可运行,不能排名。
抓包校验器独立重算 IPv4/TCP/UDP 校验和,明确统计跳过的分片和未启用校验的 UDP。它适用于完整的软件校验抓包;启用 TX checksum offload 时,抓取点可能在校验完成之前,不能直接将这些报文认定为线上损坏。A20OS 本次验证使用关闭 TX/RX checksum offload 的相同 virtio 配置。
本次修复后的初步 Linux 对照¶
证据目录 build/evidence/net-refactor-20261028/matched-linux-comparison/。同一冻结 ELF、2 vCPU/2 GiB、CPU4,6、相同 virtio/SLIRP,三轮交替顺序,每case至少 2秒;18个case全部通过payload校验。下表为每轮指标的中位数,p99也是各轮p99的中位数,并非合并延迟样本后的p99。A20OS使用4 lane,无NAT规则,默认后端未改变。
| 系统 | echo payload | 吞吐 MiB/s | p99 μs | CPU ns/双向payload字节 |
|---|---|---|---|---|
| 宿主 Linux 回环参考 | TCP 16 KiB | 412.974 | 54.616 | 0.65 |
| Linux KVM | TCP 16 KiB | 35.968 | 1094.583 | 20.02 |
| A20OS KVM | TCP 16 KiB | 14.484 | 5229.824 | 47.71 |
| 宿主 Linux 回环参考 | UDP 64 B | 2.791 | 30.870 | 68.97 |
| Linux KVM | UDP 64 B | 0.329 | 716.138 | 2323.12 |
| A20OS KVM | UDP 64 B | 0.291 | 303.116 | 2560.00 |
TCP路径仍有明显CPU/吞吐和尾延迟差距。这些结果不足以将成本归因于lwIP本体:收发复制、socket桥、调度/进展、锁、驱动和VMM都在测量范围内。短UDP的尾延迟比较也不能推广到其他负载。该矩阵是后续定位参照,尚缺连接规模、内存回收成本和可运行的BSD 后端,不能用它提前决定桌面/服务器默认栈。初步连接规模观测见下文。
连接规模与内存观测¶
tools/bench/net-microbench.c(及 tools/probes/net-connection-probe.c)编译成同一 Linux ELF,由tools/bench/bench-net-scale-kvm.py 在 Linux/A20OS KVM 上运行。每个规模重新启动2 vCPU/2GiB guest,相同 affinity、virtio 特性、SLIRP 与宿主事件循环 echo peer;没有每连接 fork。所有连接保持打开,每条在最终连接数下再次校验唯一 token。分别保存 baseline、held、 closed、closed_2s 的 guest内存和网络状态。--a20-setup 支持有副本/哈希的配置消融。未能保持指定规模时记录已建立数与 errno,整体非零退出,不把部分成功算成通过。
第一轮证据 build/evidence/net-refactor-20261028/connection-scale2-kvm/:
| 请求规模 | Linux KVM 校验连接数 | A20OS KVM 校验连接数 | Linux MemFree 减少 KiB | A20OS MemFree 减少 KiB |
|---|---|---|---|---|
| 64 | 64 | 64 | 296 | 2068 |
| 256 | 256 | 256 | 1192 | 8608 |
| 320 | 320 | 256,达到目标失败 | 1632 | 8640 |
这是单次全 guest 内存观测,含启动后台活动与缓存,不能直接除以连接数当作协议栈精确分配成本。Linux 个别样本关闭后 MemFree 超过 baseline,说明噪声不可忽略。 runner 后续默认增加3秒启动等待;上述首轮没有该等待,不将新方法倒写成旧结果。 2秒关闭观测包含 TIME_WAIT 和 slab 缓存,不能据此宣布泄漏或完全回收。
A20OS 默认配置在256处达到 conntrack 容量。重复样本connection-scale-ct-evidence-kvm 显示 ct_capacity=256、ct_tracked=256,第257个连接超时;无活跃条目驱逐。同一 ELF/内核/链路,仅 ctoff、不配置NAT的消融connection-scale-no-ct2-kvm 达到并校验320条,说明这个限制来自公共状态表配置,不能归因于 lwIP 的 TCP 最大能力。关闭 tracking 不可用作 NAT 软路由的解决方案。
持有256条时 lwIP heap约96KiB,但前端 net_socket_t 本身为30624字节,内含16个 1600字节的 BH inline payload 槽。32KiB级前端对象是需要继续改造的内存成本;切换原版 lwIP 不会自动消除它。未来应在明确有界所有权及释放上下文后拆出按需包存储,并复测复制成本与低内存背压,而不是为通过规模测试静默放大资源表。
规模失败还暴露出旧统计把 conntrack/NAT 丢包计为 accepted。统计逻辑已改为最终 verdict 确定后只计一次,并由生产 hook 的进出方向失败用例验证。上述冻结内核在修正前,其 accepted/drop 行不可用于推导最终报文损失;原始失败证据保留。
原版接入性能对照¶
证据根为 build/evidence/net-upstream-20261029/。matched-upstream3 与matched-legacy 使用同一 SHA256 9a2323f3f9e483a03b94618ad30949c128e7532f145e98acbc5b59af3480aedd的 Linux ELF、virtio NIC(卸载关闭)、SLIRP、2 vCPU/2 GiB 与 affinity 0,2。每项3次、每次2秒,所有样本 verified=1。下表分别取各指标的3次中位数;CPU 为整个 QEMU(guest+VMM,全线程)ns/双向已验证 payload 字节,不是纯内核 CPU 周期。宿主回环只有参考意义,不能与 SLIRP 当作相同链路排名。
| 系统/冻结版本 | TCP16KiB MiB/s | TCP p99 µs | TCP ns/B | UDP64B MiB/s | UDP p99 µs | UDP ns/B |
|---|---|---|---|---|---|---|
| Linux KVM | 22.367 | 1405.305 | 34.631 | 0.310909 | 716.997 | 2593.433 |
| A20OS 原版适配 | 17.850 | 3431.222 | 33.923 | 0.287948 | 314.059 | 2570.554 |
| A20OS 衍生实现(旧冻结内核) | 12.153 | 6141.358 | 52.853 | 0.274434 | 339.494 | 2683.937 |
| 宿主 Linux 回环参考 | 358.071 | 58.178 | 0.720 | 2.720980 | 32.057 | 69.572 |
这两组后端样本分组先后运行,没有交错随机顺序;SLIRP、宿主调度和短时请求/应答测试都会影响结果,不能用此表证明原版协议核心普遍更快或已解决吞吐瓶颈。冻结内核早于最后的 UNIX 选项空 attachment 防护、零 TTL 输入 guard 和选项重命名;准确源码/ELF 身份以各 manifest 为准。当前重命名后的双网卡正确性另有独立回归,不能冒称表中数据是最终构建性能。无 BSD 样本,不填估计数字。用户已决定去除独立旧分叉后端,该决定不以这张性能表为条件。
lwip-three-backends-services-kvm 和 native-three-backends-services-kvm 使用最后构建的 kernel-lwip.elf / kernel-native.elf,都通过真实三节点双网卡、IPv4/IPv6、 NAPT 源端口冲突、策略路由正负例、socket ABI 与 DHCP/DNS。原版 lane=1、native lane=4,两者 NR_CPUS=2;这是后端各自执行模型的正确性回归,不能冒称相同执行并发度的性能实验。
当前连接与内存瓶颈¶
lwip-three-scale2-kvm 使用同一静态 Linux connection-probe ELF,每个连接独立 token,连接群建立前后均核验数据,并记录 baseline/held/closed/closed_2s 内存。Linux KVM 的 64/256/320 均通过;A20OS 原版默认档64/256通过,320仅建立256条并返回失败。失败样本保留。默认 conntrack 上限256仍是硬限制;不能关闭跟踪来声称软路由容量已解决。
原版当前 frontend=1192 B、private=29304 B、combined=30496 B(LP64/default), INET attachment 仍有固定 BH payload ring 的成本。256连接实测持有时 lwIP heap 88736 B,关闭后仍88736 B(TIME_WAIT);frontend引用从live256回到0,allocs=frees=512, faults=0。整机 MemFree 的持有前后差约9600 KiB,关闭后恢复大部分;它包含分配器、页与系统活动,不能当作精确每连接成本或仅凭2秒窗口判定泄漏。Linux 同次测量还发生后台内存释放,必须结合原始 /proc 状态解释,不能简单比较 MemFree 差值。
应继续降低固定 socket attachment 成本、按场景给出跟踪容量与压力行为,再用直连受控链路测多连接吞吐与 CPU 归因。当前结果足以证明存在容量与内存成本问题,尚不足定位单一吞吐热点。
native-three-scale-kvm 在 native lane=4 的相同默认预算下也在64/256通过、320只建立256。这进一步表明该限制属于共有跟踪容量,不能归因于原版 lwIP 性能下降。
lwip-three-server-scale-kvm 在 NET_PROFILE=3、原版 lane=1、NR_CPUS=2 下,保持 conntrack 开启通过320连接(320/320,verified=1)。这证明提高资源档位可越过默认档上限,不等于已解决压力控制、动态容量规划或大规模服务器验收。
驱动桥解耦后的最终构建对照¶
matched-lwip-driver-bridge / matched-native-driver-bridge 对应已通过最新服务回归的冻结内核。仍使用同一个 Linux ELF、2 vCPU/2 GiB、virtio、卸载关闭、SLIRP、affinity 0,2,每项3次×2秒。原版 lane=1,native lane=4;分组先后运行,保留原始次序。 Linux host/KVM 与原版共18样本,native 6样本,全部 verified=1、invalid_samples=[]。协议核心和新驱动入口一起参与测量,不能把差异单独归因于驱动接口。
| 最终构建 | TCP16KiB MiB/s | TCP p99 µs | TCP ns/B | UDP64B MiB/s | UDP p99 µs | UDP ns/B |
|---|---|---|---|---|---|---|
| Linux KVM | 33.709 | 1052.346 | 22.207 | 0.349942 | 635.377 | 2370.934 |
| A20OS lwip | 21.494 | 3129.021 | 28.832 | 0.299974 | 257.651 | 2431.968 |
| A20OS native | 14.440 | 5955.064 | 48.029 | 0.305182 | 259.233 | 2517.550 |
| 宿主 Linux 回环参考 | 358.091 | 56.991 | 0.704 | 2.741840 | 30.870 | 69.079 |
数值口径同前表(各指标分别取中位数、CPU含整个QEMU、payload双向计数)。当前证据没有证明“原版一定不如魔改版”;也没有证明原版普遍更快。TCP 与 Linux KVM 仍有明显差距,UDP 小包受请求/应答链路影响很大,需要进一步使用受控直连、多流、批量和真正的 CPU 采样定位瓶颈;不以这个短测决定所有场景默认。
独立追踪轮位于 trace-lwip-driver-bridge / trace-native-driver-bridge,每项1次×2秒,不混入上表。四个样本均 verified=1,且每个 snapshot 的collection_enabled_before_snapshot=1,不把未启用的零计数当证据。TCP 样本中原版 BH events=35284、native=21980;二者 net_bh_overflow=0、net_alloc_fail=0。测试期间未观察到暂存溢出/分配失败,但仍需在长期高压环境下持续观测。锁探针有实际争用记录,但各后端工作量与覆盖点不同,不能仅用累计等待值判定锁是主导瓶颈;计数器不是完整 CPU 调用栈采样。原始 per-site 记录留在各 manifest 的 profile 字段。
TUN 解耦与 ICMP 改写性能对照¶
冻结内核对应 70f7534a,证据为build/evidence/net-router-completion-20261029/matched-lwip-completion/ 与matched-native-completion/。24个样本均 rc=0、verified=1,invalid_samples 为空。同一 Linux ELF SHA256 为9a2323f3f9e483a03b94618ad30949c128e7532f145e98acbc5b59af3480aedd, 2 vCPU/2 GiB,affinity0,2,virtio 卸载关闭、相同 SLIRP 与外部 peer,未启用追踪。每项3轮×2秒,各指标单独取中位数,p99没有合并样本。CPU 仍为整个 QEMU ns/双向已验证 payload 字节;宿主回环只作参考。
| 系统 | TCP16KiB MiB/s | TCP p99 µs | TCP ns/B | UDP64B MiB/s | UDP p99 µs | UDP ns/B |
|---|---|---|---|---|---|---|
| Linux KVM | 34.319 | 1063.535 | 20.702 | 0.331969 | 672.318 | 2340.102 |
| A20OS lwip | 23.578 | 3459.985 | 27.467 | 0.296779 | 308.901 | 2486.737 |
| A20OS native | 12.468 | 6914.284 | 53.499 | 0.301767 | 255.449 | 2613.848 |
| 宿主 Linux 回环参考 | 364.457 | 55.811 | 0.704 | 2.798728 | 30.873 | 67.899 |
原版单执行域、native4 lane,保留其当前执行配置;native 在原版组之后运行,未交错随机化。三节点正确性回归在其他 CPU 上有短时重叠,不能排除宿主共享资源干扰。这张表只说明当前完整系统在该短时负载下仍有 TCP 成本/吞吐及尾延迟差距,不能将差距全部归因于协议栈核心,也不能凭此决定桌面/服务器默认后端。BSD 端口处于非运行状态;当前未重测极限连接规模与内存占用曲线,默认 256 条 CT 容量等边界约束依然生效。
双网卡/TUN/ICMP 验收范围、复现命令及历史失败记录见router.md。