南方數據技术观察
首页 行业新闻 教程 技术文章 AI 对话 官网 咨询与报价
首页 / 行业新闻

网络遥测新范式:分组数据向量平衡粒度与性能

网络规模与流量激增使持续精准监测成为刚需,现有遥测系统在包级粒度与全覆盖间被迫二选一。新一代遥测利用可编程交换机与高性能服务器分工协作,通过分组数据向量(GPV)在线速生成、服务端聚合计算,实现细粒度可见性与高覆盖的平衡。

遥测困境:粒度与覆盖的零和博弈

传统遥测面临结构性矛盾:包级系统逐包推送包头至软件分析,虽保留完整可见性,但软件处理开销导致大规模覆盖不切实际;流级系统(如 NetFlow)在设备端聚合为流记录再上送,大幅降低负载、实现全覆盖,却牺牲了包级细节。这种取舍源于单一平台难以同时满足高吞吐提取与复杂聚合计算的需求。

三阶段分工:交换机选群、服务器聚合

研究将分析任务拆解为三阶段:选择阶段从数据平面提取包特征,分组阶段按头部子空间(如五元组)归类,聚合阶段按组计算统计量。选择与分组依赖直接访问包头与片上低延迟存储,适配可重构数据平面的线速处理能力(数十亿包/秒);聚合涉及业务相关的复杂计算,交由具备高带宽内存与指令级并行的服务器完成(万亿次运算/秒),发挥各自硬件优势。

分组数据向量:线速生成的中间表示

Jetstream 团队提出分组数据向量(GPV)作为遥测数据新格式。GPV 包含流键(如 IP 五元组)与变长包特征列表(时间戳、大小等),具备两大特性:一是可由交换机硬件在线速生成,二是保留包级特征供后续聚合使用。图 1 对比了包记录、GPV 与流记录的同一样本结构,展示 GPV 如何在不丢失包级信息前提下压缩数据量。

对运维与网络工程师而言,GPV 架构意味着无需在可见性与规模间妥协:交换机完成特征提取与分组,服务器承担聚合逻辑,两者通过标准化中间格式解耦。部署时需关注数据平面可编程能力与服务端计算资源的匹配,以支撑安全检测、故障定位与流量工程的实时精准需求。

原文: APNIC Blog(2018-10-02)|编译自 APNIC Blog,事实以原文为准。

来源:APNIC Blog

返回列表