南方數據技术观察
首页 行业新闻 教程 技术文章 AI 对话 官网 咨询与报价
首页 / 行业新闻

BGP Scanner:MRT 格式路由数据读取速度提升六倍

路由采集器积累的 MRT 格式 BGP 数据量随互联网规模增长而激增,现有工具多为单线程且缺乏过滤能力,导致大规模分析耗时过长。BGP Scanner 采用多线程吞吐导向设计,读取速度较前代提升六倍,并支持 IPv6 与 ADD-PATH 扩展的完整解析。

数据规模与现有工具短板:

Route Views 与 RIPE NCC RIS 等采集器通过建立 BGP 会话收集路由数据,定期以 MRT 格式转储 RIB 快照。截至 2018 年,公共 AS 超过 60K 个,IPv4 完整路由表包含 700K 条以上路由。BGP 扩展引入 IPv6(RFC 4760)与 ADD-PATH(RFC 7911),加上 Isolario、PCH、BGPmon 等新采集服务上线,可用数据量大幅增长。截至 2018 年 7 月 1 日,主流工具均存在局限:bgpdump(C 语言)虽支持 IPv6 与 ADD-PATH 但无过滤;bgpparser(C++)缺 ADD-PATH 与过滤;bgpreader(C 语言)有过滤但无 ADD-PATH;mabo、mrtparse、Java-MRT、zebra-dump-parser 均不支持 ADD-PATH 与过滤。所有工具均未以性能为设计目标,且多只能全量转储 MRT 文件,无法按需提取数据。

BGP Scanner 的架构与过滤能力:

BGP Scanner 为解决上述瓶颈而开发,采用多线程、面向吞吐的架构,可并行处理 MRT 记录。其核心优势在于内置过滤机制,允许用户在读取阶段即按前缀、AS 路径、社区等属性筛选所需 BGP 消息,避免全量解析后再过滤的开销。原文未给出具体过滤表达式语法或线程调度细节。

性能对比与部署考量:

官方基准测试显示,BGP Scanner 处理同等数据集的吞吐量为前代工具的六倍。测试环境、数据集规模、硬件配置等参数原文未给出具体数据。工具以开源库形式发布,适合集成至自有分析管道,无需依赖 Hadoop 等分布式计算集群即可在单机完成大规模 MRT 解析。

对网络工程师的实际意义:

在路由泄露排查、RPKI 验证、AS 关系推断等高频场景中,BGP Scanner 能将 TB 级历史 MRT 数据的全量扫描时间从小时级压缩至分钟级,配合按需过滤进一步降低 I/O 与 CPU 开销,使日常巡检与事后复盘均可在常规服务器上按需运行,无需申请额外计算资源。

原文: APNIC Blog(2018-11-29)|编译自 APNIC Blog,事实以原文为准。

来源:APNIC Blog

返回列表