内核集群数据面实现¶
架构总览参见 集群架构总览,SSI 运行时规范参见 runtime-ssi.md。本文件描述当前内核实现,控制面和作业面不会因这里有内核调用测试就视为完成。
1. 文件职责¶
| 文件 | 职责 |
|---|---|
frame.c / frame.h |
逐字段编解码、v0 严格对拍入口、v1 运行时入口、TTL/CRC 转发 |
transport.c / transport.h |
适配器注册、RX 队列、独立轮询、链路事件及计数 |
route.c |
不可变本机身份、有界路由表、哈希冲突拒绝、配置回滚 |
export.c |
服务槽位、导出引用、FIFO 请求配对、撤销与替换 |
remote_ep.c |
普通 channel 代理、发送线程、在途请求、有限重试与取消 |
reliable.c |
接纳前缓存预留、会话事务去重、回复重放与完成收据 |
transaction.h |
MCU/主机共用的会话编码与序号窗口纯函数 |
operator.h |
MCU/主机共用的有符号 dot 算子 |
udp.c |
独立于配置进程 fd 生命周期的 IPv4 socket 适配器 |
uart.c / uart.h |
UART 主节点状态机、串行 TX、有界 RX、共享字节编解码 |
kernel/mcu/leaf.c |
静态内存叶子,使用相同会话、去重与算子逻辑 |
selftest.c / udp_selftest.c |
引导参数门控的生产路径验收 fixture |
2. 线程与进展¶
第一次集群操作执行惰性初始化。状态依次为未初始化、初始化中、已就绪或失败。并发初始化者在锁外等待;只有三个核心线程创建成功才发布就绪。初始化失败明确返回错误,不能发布一个缺少 RX 或轮询执行者的数据面。
clx-poll推进有预算的 POLLING 适配器。空闲时等待 UDP socket 就绪,最迟 1 ms 后继续 UART 与链路控制;有数据可提前唤醒,驱动不能被服务队列等待拖住。clx-rx消费有界帧队列,验证格式/身份/TTL,再分发或转发。入队立即唤醒等待者;空闲超时为 10 ms,供单一 RX owner 清理重组。条件重查/登记在 RX 锁内,prepare/commit/finish 在锁外,防止入队与休眠交错丢失唤醒。clx-hk每 250 ms 扫描期限和有限重试。- 每个远程代理一个发送线程;每个导出一个回复线程。
发送/接收服务队列采用非阻塞注入。满队列、在途容量不足、超 MTU 和分配失败必须结束调用或回错误,不能丢掉已经消费的消息后让调用者永久等待。这些线程仍有每连接栈开销;大规模服务器的共享 worker 池是后续硬化项。
3. 引用与复用¶
远程代理的发送线程拥有代理端点引用。关闭先令代理失效、释放重试副本,再关闭两侧 channel,唤醒调用者和发送线程。槽位只有在旧线程退出并清除端点后才可复用;异步取消还检查 generation,防止命中新一代代理。
导出登记只增加自己的 peer 引用,绝不消费用户另一个 handle 的引用。用户成功导出服务端点后应关闭不再使用的配对端点;核心引用保持导出存活。内核 fixture 通过显式 a20_clx_export_register_owned 转移新建 pair 的未安装引用,该接口不能用于已有用户 handle 的 pair。
回复线程在创建时绑定 peer 引用。REPLACE 分配新 slot,旧线程不会取走新服务的请求配对。撤销/替换关闭旧 peer,并向尚未回复的调用发送错误。服务退出会撤销登记,槽位计数和引用随之释放。
4. 锁与资源¶
g_clx_lock 保护身份、路由、导出、代理和回复缓存元数据。 RX ring、链路统计、UDP 及 UART 队列分别有锁。适配器发送、socket I/O、UART 字节 I/O、channel 注入和线程等待都在注册表锁之外进行。
UART 轮询者拥有状态机和字节流;发送者只入有界队列。状态/会话/计数通过锁内快照发布,注册与注销不能和同一链路的活动泵并发修改驱动对象。路由配置串行化,竞争配置返回 BUSY;失败安装回收无路由引用的 UDP peer。
| 预算 | MCU 资源档 | DEFAULT | SERVER |
|---|---|---|---|
| 路由 | 4 | 256 | 4096 |
| 服务槽 | 4 | 64 | 256 |
| 代理 | 2 | 128 | 1024 |
| 每代理在途 | 1 | 64 | 512 |
| 回复/发送重试各自字节预算 | 静态叶子缓冲 | 256 KiB | 4 MiB |
主机回复缓存最多 64 项;每个导出 pending FIFO 为 8 项;RX ring 为 64 个槽(环形空槽约定下可排队 63 帧)。DEFAULT 单个缓存帧最多 4096 B,SERVER 最多 65536 B,同时仍受下一跳 MTU 限制。帧分片/重组尚未接入。
5. 当前失败语义及限制¶
可靠调用保留请求并最多重试 8 次。ACK 仅标记接纳,仍会重试到业务回复或期限/次数耗尽。服务侧先预留回复存储,再提交序号窗口并执行;重复请求重放缓存,收到会话绑定的完成收据后允许复用缓存。被淘汰的旧序号不会再次执行。
现有 channel API 无每次调用的精确远程错误槽,远程错误、断链、撤销、资源耗尽与期限到期均以 peer-closed/CANCELED 唤醒。进程服务当前必须按 FIFO 回复;任意乱序业务完成需要后续显式事务接口。
可靠直连已经可用。跨网关目的节点的会话发现、服务器分片、控制面快照和进程级 Native agent 已实现预配置清单任务、期限终止与重启恢复;clusterd 与 jobd 的服务契约参见 05-userspace.md 与 cluster-apps.md。
6. 可复现验证¶
make check-cluster-unit
make check-cluster-loopback
python3 tools/cluster/check-cluster-udp.py --faults --restart
这些分别验证生产编解码/MCU 配对、同内核回归和独立内核故障场景。构建与验证细节详见 10-operator-guide.md。