全网扫描受限于带宽与时间,以 1 Gbps 扫描 37 亿 IPv4 地址的 65K 端口需五年。斯坦福团队开发的开源系统 GPS,利用条件概率模型与 BigQuery,在 48 小时内完成全端口服务预测,并挖掘出数十亿隐藏服务。
种子集采集与特征建模
GPS 首先对 IPv4 地址抽样扫描全部 65K 端口,构建种子集。以某 Cisco 设备为例,系统同时发现常见的 80 端口 HTTP 登录页与非常用的 60443 端口 HTTPS 页面。随后 GPS 融合传输层、网络层、应用层特征,计算条件概率:P(端口 60443|端口 80)、P(端口 60443|端口 80, HTTP Cisco 登录)、P(端口 60443|端口 80, HTTP Cisco 登录, AS9583) 等四类概率,建立服务预测模型。原文未给出具体四类概率的完整定义。
预测流程与性能
模型就绪后,GPS 分两阶段预测:先在所有可能响应的主机上定位至少一项服务,再以此为线索推断其余端口服务。全部预测计算在 Google BigQuery 中于 13 分钟内完成,速度较 XGBoost 扫描器快 10000 倍。端到端墙钟时间小于 48 小时,覆盖全 IPv4 空间的 65K 端口,发现数十亿此前未被观测的服务。原文未给出具体发现服务的数量级细节。
对运维与网络工程师而言,GPS 提供了一种低带宽、高覆盖的全端口资产测绘手段,可在不拥塞目标网络的前提下快速掌握暴露面,辅助资产清点、漏洞排查与合规核查。
原文: APNIC Blog(2022-10-11)|编译自 APNIC Blog,事实以原文为准。
来源:APNIC Blog