Skip to content

Translation update pending. The Chinese source has changed; the current Chinese version is shown below.

内核集群数据面实现

架构总览参见 集群架构总览,SSI 运行时规范参见 runtime-ssi.md。本文件描述当前内核实现,控制面和作业面不会因这里有内核调用测试就视为完成。

1. 文件职责

文件 职责
frame.c / frame.h 逐字段编解码、v0 严格对拍入口、v1 运行时入口、TTL/CRC 转发
transport.c / transport.h 适配器注册、RX 队列、独立轮询、链路事件及计数
route.c 不可变本机身份、有界路由表、哈希冲突拒绝、配置回滚
export.c 服务槽位、导出引用、FIFO 请求配对、撤销与替换
remote_ep.c 普通 channel 代理、发送线程、在途请求、有限重试与取消
reliable.c 接纳前缓存预留、会话事务去重、回复重放与完成收据
transaction.h MCU/主机共用的会话编码与序号窗口纯函数
operator.h MCU/主机共用的有符号 dot 算子
udp.c 独立于配置进程 fd 生命周期的 IPv4 socket 适配器
uart.c / uart.h UART 主节点状态机、串行 TX、有界 RX、共享字节编解码
kernel/mcu/leaf.c 静态内存叶子,使用相同会话、去重与算子逻辑
selftest.c / udp_selftest.c 引导参数门控的生产路径验收 fixture

2. 线程与进展

第一次集群操作执行惰性初始化。状态依次为未初始化、初始化中、已就绪或失败。并发初始化者在锁外等待;只有三个核心线程创建成功才发布就绪。初始化失败明确返回错误,不能发布一个缺少 RX 或轮询执行者的数据面。

  • clx-poll 推进有预算的 POLLING 适配器。空闲时等待 UDP socket 就绪,最迟 1 ms 后继续 UART 与链路控制;有数据可提前唤醒,驱动不能被服务队列等待拖住。
  • clx-rx 消费有界帧队列,验证格式/身份/TTL,再分发或转发。入队立即唤醒等待者;空闲超时为 10 ms,供单一 RX owner 清理重组。条件重查/登记在 RX 锁内,prepare/commit/finish 在锁外,防止入队与休眠交错丢失唤醒。
  • clx-hk 每 250 ms 扫描期限和有限重试。
  • 每个远程代理一个发送线程;每个导出一个回复线程。

发送/接收服务队列采用非阻塞注入。满队列、在途容量不足、超 MTU 和分配失败必须结束调用或回错误,不能丢掉已经消费的消息后让调用者永久等待。这些线程仍有每连接栈开销;大规模服务器的共享 worker 池是后续硬化项。

3. 引用与复用

远程代理的发送线程拥有代理端点引用。关闭先令代理失效、释放重试副本,再关闭两侧 channel,唤醒调用者和发送线程。槽位只有在旧线程退出并清除端点后才可复用;异步取消还检查 generation,防止命中新一代代理。

导出登记只增加自己的 peer 引用,绝不消费用户另一个 handle 的引用。用户成功导出服务端点后应关闭不再使用的配对端点;核心引用保持导出存活。内核 fixture 通过显式 a20_clx_export_register_owned 转移新建 pair 的未安装引用,该接口不能用于已有用户 handle 的 pair。

回复线程在创建时绑定 peer 引用。REPLACE 分配新 slot,旧线程不会取走新服务的请求配对。撤销/替换关闭旧 peer,并向尚未回复的调用发送错误。服务退出会撤销登记,槽位计数和引用随之释放。

4. 锁与资源

g_clx_lock 保护身份、路由、导出、代理和回复缓存元数据。 RX ring、链路统计、UDP 及 UART 队列分别有锁。适配器发送、socket I/O、UART 字节 I/O、channel 注入和线程等待都在注册表锁之外进行。

UART 轮询者拥有状态机和字节流;发送者只入有界队列。状态/会话/计数通过锁内快照发布,注册与注销不能和同一链路的活动泵并发修改驱动对象。路由配置串行化,竞争配置返回 BUSY;失败安装回收无路由引用的 UDP peer。

预算 MCU 资源档 DEFAULT SERVER
路由 4 256 4096
服务槽 4 64 256
代理 2 128 1024
每代理在途 1 64 512
回复/发送重试各自字节预算 静态叶子缓冲 256 KiB 4 MiB

主机回复缓存最多 64 项;每个导出 pending FIFO 为 8 项;RX ring 为 64 个槽(环形空槽约定下可排队 63 帧)。DEFAULT 单个缓存帧最多 4096 B,SERVER 最多 65536 B,同时仍受下一跳 MTU 限制。帧分片/重组尚未接入。

5. 当前失败语义及限制

可靠调用保留请求并最多重试 8 次。ACK 仅标记接纳,仍会重试到业务回复或期限/次数耗尽。服务侧先预留回复存储,再提交序号窗口并执行;重复请求重放缓存,收到会话绑定的完成收据后允许复用缓存。被淘汰的旧序号不会再次执行。

现有 channel API 无每次调用的精确远程错误槽,远程错误、断链、撤销、资源耗尽与期限到期均以 peer-closed/CANCELED 唤醒。进程服务当前必须按 FIFO 回复;任意乱序业务完成需要后续显式事务接口。

可靠直连已经可用。跨网关目的节点的会话发现、服务器分片、控制面快照和进程级 Native agent 已实现预配置清单任务、期限终止与重启恢复;clusterd 与 jobd 的服务契约参见 05-userspace.md 与 cluster-apps.md。

6. 可复现验证

make check-cluster-unit
make check-cluster-loopback
python3 tools/cluster/check-cluster-udp.py --faults --restart

这些分别验证生产编解码/MCU 配对、同内核回归和独立内核故障场景。构建与验证细节详见 10-operator-guide.md。