Translation pending. This page is currently available in Chinese.
网络 Lane 并发架构与数据通路 (Network Lanes)¶
A20OS 网络栈采用基于 Lane 的分片并发模型,用于在多核 SMP 环境下消除集中锁瓶颈。普通单播 TCP/UDP 热路径数据报由所属 Lane 锁并行处理;广播、组播、ARP、ND6、ICMP 与控制配置维护统一走全 Lane 控制屏障(Control Barrier)同步。连接跟踪(Conntrack)由独立 CT 锁同步。单 Lane 配置(CONFIG_NET_LANES=1)保留单锁与中断安全语义;多 Lane 配置(CONFIG_NET_LANES > 1)支持服务器工作负载下的高并发吞吐。
1. 核心架构与并发分层¶
+-------------------------------------------------------------+
| 用户态 Socket / 系统调用接口 |
| per-socket 锁 (net_socket_t.lock) |
+-------------------------------------------------------------+
|
v
+-------------------------------------------------------------+
| 网络协议分片数据面 (Lane 0 .. N-1) |
| PCB 分桶哈希 (4-tuple) / per-lane 接收队列 / 锁 |
+-------------------------------------------------------------+
| |
v v
+-----------------------+ +-----------------------+
| 全局共享控制面 | | 网络设备 Ingress |
| ARP / ND6 (seqlock) | | 网卡中断出入队列 |
| 路由表 (seqlock) | | Bottom-Half 调度 |
| Conntrack (独立 CT) | | Control Barrier |
+-----------------------+ +-----------------------+
系统在部署规模与资源占用上保持正交:
- 资源轴:由 kernel/include/net/profile.h 的三档(EMBEDDED / DEFAULT / SERVER)编译期常量决定。
- 并发轴:由 CONFIG_NET_LANES 常量指定 Lane 数量。
- 单 Lane 保持等价性:当 CONFIG_NET_LANES == 1 时,系统严格保持单 Lane 锁与 IRQ-save 兼容语义。
2. Lane 归属与哈希映射算法¶
2.1 4 元组哈希确定性¶
一条 TCP 连接的 PCB 从建立到关闭绑定在固定 Lane 上,归属由 (local_ip, local_port) 哈希决定(net_lane_hash()):
- 建连时:使用本地
(ip, port); - 收到包时:使用
(dst_ip, dst_port)。
哈希算法中端口在前、地址在后,仅凭线上报文头部字段在各 CPU 上计算出严格一致的结果。IPv6 取目的地址低 32 位参与哈希。非 IP 协议族(AF_UNIX / AF_PACKET / AF_NETLINK)保持创建时的临时归属。
2.2 通配监听(Wildcard Listener)哨兵桶¶
对于 bind(0.0.0.0) 的通配监听套接字,其本地 IP 在握手前未知,与入向报文的具体目的 IP 无法直接通过单次哈希匹配。系统采用哨兵桶设计:
#if CONFIG_NET_LANES > 1
#define NET_PCB_LANE_ANY CONFIG_NET_LANES /* 哨兵桶下标,不与真实 lane 冲突 */
#define NET_PCB_LANE_BUCKETS (CONFIG_NET_LANES + 1)
#else
#define NET_PCB_LANE_ANY 0
#define NET_PCB_LANE_BUCKETS 1
#endif
- 注册规则:
local_ip为全零时归入NET_PCB_LANE_ANY哨兵桶;指定具体 IP 时归入哈希桶; - 查找规则:先探测
hash(dst_ip, dst_port)对应桶,若未命中再探测NET_PCB_LANE_ANY哨兵桶; - 约束:单 Lane 配置下不编译哨兵桶分支;通配 PCB 严禁同时注册进两个桶,避免双重链表破坏。
2.3 IP 分片散列¶
对于分片报文(MF == 1 || frag_offset != 0),后续分片缺少传输层端口信息,散列算法统一退化为仅对源/目的 IP 进行哈希,保证同一数据报的所有分片被归集至同一 CPU/Lane 处理。
3. 数据通路与生命周期¶
3.1 IRQ 快速入队与上下文解耦¶
- 网卡中断处理(IRQ 侧):
a20_lwip_process_netif_irq_locked()(kernel/net/backends/lwip/lwip_stack.c)仅解析定 Lane 所需的报头,将帧快速写入对应 Lane 的接收队列并退出中断,由CONFIG_NET_RX_IRQ_BUDGET限制单次硬中断预算; - 进程上下文排空(Drain 侧):
a20_lwip_lane_drain_locked()通过原子net_lane_rx_claim()获取当前 Lane 独占消费权,逐帧调用协议栈输入; - 防死锁与调度轮询点:为避免阻塞读任务与下半部死锁,
kernel/core/progress.c在kernel_progress_run_bottom_halves()中设置无条件调度轮询点,在每次时钟 tick、调度决策和 idle pass 时主动执行 Lane 帧排空。
4. Per-Socket 锁模型与锁序规范¶
为消除同桶内数百个 Socket 共享桶锁造成的伪争用,系统采用针对单个 Socket 的细粒度锁(net_socket_t.lock):
4.1 锁层次结构(外到内)¶
- 桶锁绝不嵌套在 Socket 锁之内获取,消除反向死锁隐患;
- 双 Socket 加锁:跨套接字操作统一使用
net_sock_lock2(a, b),按套接字内存地址升序加锁; - 安全销毁两阶段:
- 第一阶段在
net_socket_t.lock内标记closed、摘除队列并收集唤醒任务; - 释放 Socket 锁后,在外部获取桶锁执行注销(
net_socket_unregister())并释放内存。
5. 全局共享状态¶
| 共享状态 | 同步机制 | 设计原因 |
|---|---|---|
| ARP / ND6 缓存 | seqlock |
读高频且无需持互斥锁,写低频 |
| 路由表 / netif 列表 | seqlock |
数据包转发只读查表,拓扑变更低频 |
| Socket 注册表 | 分片哈希 + 引用计数 | 冷路径由桶锁维护 slot 分配 |
连接跟踪表 (g_ct[]) |
独立全局 CT 锁 | 五元组 NAT 绑定属于端到端双向流,不能按 Lane 割裂 |
6. 观测接口¶
/proc/net/status 在多 Lane 开启时暴露每 Lane 活跃度与排队指标:
occupancy:报告各 Lane 承载的活跃 Socket 分布;staged:报告当前已入队但未排空的单调在途帧计数。
7. 验证门禁与基线规范¶
| 门禁目标 | 验证重点 |
|---|---|
make smoke-net-lanes |
验证多 Lane 配置下状态接口渲染与参数一致性 |
make smoke-net-lanes-n1 |
验证单 Lane 与多 Lane 构建下基准网络负载结果一致 |
make check-net-lane-ownership |
编译期断言哈希映射一致性 |
make smoke-network-suite |
完整端到端 TCP/UDP 压力套件 |
噪声带与基准纪律¶
在 QEMU TCG 仿真环境下,自旋锁累计计数量纲受多核时间片抖动影响较大(历史记录中存在 0–920024 的累计自旋噪声带)。门禁断言严格基于结构性行为(数据一致性、校验和、无故障退出),不依赖容易抖动的自旋计数值。