luckygood logo

大陆到台湾IEPL专线延迟飙到90ms?改3处路由配置压回15ms

StrataServer

上个月一个做两岸ERP同步的客户半夜打电话过来,说他们深圳到台北的IEPL专线RTT从标称18ms直接飙到92ms,业务端SQL同步全部超时告警。跑了三年一直好好的线路,突然就拉胯了。

我让他先别急着找运营商报修(对,就是那个让你等48小时才回工单然后告诉你"线路正常"的流程),自己先跑了一轮mtr。果不其然,第4跳开始延迟直接跳了40ms,AS号一看——好家伙,流量被倒手甩到一个第三方transit AS上了,根本没走约定的MPLS-TP直通tunnel。

延迟到底卡在哪一跳

大陆到台湾的IEPL专线,物理上走的是闽台海底光缆(Fuzhou-Tamsui段),正常情况下福州登陆站到台北POP的单向传播延迟也就8-11ms。你拿到手RTT应该在16-25ms这个区间。

但实际跑起来延迟翻倍甚至翻三倍,十有八九是这几种情况:

  • 落地端POP接入了错误的AS,流量绕道日本或香港再回台湾,平白多了2-3跳
  • MPLS-TP(ITU-T G.8113.1)的TE tunnel没配严格CSPF约束,fallback到了IGP最短路径,直接走公网transit去了
  • 中间某一跳的QoS队列没给你的CIR带宽做优先调度,赶上晚高峰就被挤到best-effort队列里排队

延迟飙到90ms你才想起来看路由表,晚了。得在部署第一天就把AS-Path和TE路径锁死。

3种通路方案实测对比

对比项普通BGP TransitIEPL无TE约束IEPL+CSPF严格约束
深圳→台北RTT58-95ms35-62ms14-19ms
丢包率(30天)0.3%-1.2%0.05%-0.2%<0.01%
时延波动(peak-to-avg)±35ms±18ms±3ms
月租(100M)¥4,500¥18,000¥22,000
故障倒换时间30-180s5-15s<50ms(1:1保护)

多花4000块月租,RTT砍掉70%,时延波动压到±3ms。做实时音视频或者金融tick数据同步的,这笔账不用算第二遍。

动手:mtr逐跳定位问题AS

别等运营商给你回工单了,自己先跑这个:

# 从深圳出口跑,连续100轮,看第几跳延迟突变
mtr -r -c 100 -n 210.65.128.1

拿到可疑hop的IP后,查归属AS

whois -h whois.radb.net -- '-i origin 210.65.128.1' | grep -i "origin|as-name"

对比约定路径:你的IEPL合同里应该写明途经AS序列

正常应该是 AS4837(联通) → AS9680(台湾HiNet) 两跳直达

如果中间冒出 AS6939(HE) 或 AS2914(NTT) 这种transit,说明TE tunnel fallback了

确认BGP路由是否被prepend

show ip bgp 210.65.128.0/24 | grep -c "4837"

如果AS4837出现超过1次,对端做了AS-Path prepend,路由选路会偏

跑完把输出甩给你大陆到台湾IEPL专线延迟的服务商,让他们对着工单改TE约束。别接受"线路正常"这种回复,拿着AS-Path证据怼回去。

劝退:这3种业务别碰IEPL

不是所有两岸业务都值得上IEPL,以下几种情况你上了就是纯烧钱:

  • 普通企业官网、邮件同步、OA办公——CN2 GIA普通线路RTT也就40-55ms,完全够用,月租省80%
  • 对延迟不敏感的大文件备份、冷数据同步——走普通IP transit按流量计费更划算,IEPL的CIR保障对你没意义
  • 业务量还没跑起来、月带宽需求低于20M的初创团队——IEPL起步就是100M/155M的STM-1粒度,你拿10M带宽占着155M的管道,纯浪费

说句得罪人的话:如果你的业务对RTT的要求只是"别超过100ms",那真别花这个冤枉钱。IEPL是给那些"超过20ms就出生产事故"的业务准备的。

关于BGP AS-Path和CSPF的补充

很多客户签IEPL合同的时候根本不看技术附件里的AS-Path约定和TE约束方式。RFC 4271定义的BGP AS-Path属性,在你的专线里就是流量实际经过的AS序列。合同里写的是两跳直达,实际跑出来四跳五跳,那就是运营商在中间做了transit peering省成本。

而CSPF(RFC 3209,约束最短路径优先)是MPLS-TE里用来算路径的算法,它会根据你约定的带宽、延迟、跳数约束来选路。如果运营商没给你开严格CSPF,tunnel就可能fallback到IGP最短路径——那条路径大概率要绕道。

签合同之前,把这两条写进SLA:AS-Path不超过约定跳数,TE tunnel必须strict CSPF。白纸黑字,出了事才有得扯。

作者简介:前联通福建省公司国际带宽采购与光缆运维岗,在福州马尾巴港机房蹲了11年,参与过闽台第二条海底光缆的割接验收。2023年出来单干,专门给两岸跨境电商和SaaS公司做网络通路技术支撑。日常就是帮人看traceroute、怼运营商工单、以及凌晨三点被电话叫起来查光缆衰耗。

你的两岸专线RTT要是常年在40ms以上晃,别等了。把最近7天的mtr报告拉出来,对着AS-Path逐跳核一遍。发现transit AS混进去的,当天就开工单要求改TE约束。每多拖一天,你的业务端就多扛一天的超时告警。StrataServer的台湾IEPL专线默认走严格CSPF约束路由,AS-Path锁定两跳直达,合同里直接写明——不用你拿着RFC去跟客服吵架。

常见问题解答

01 mtr跑出来第4跳延迟突然加了40ms,但第5跳又恢复正常了,这是什么情况?

大概率是第4跳那台路由器对ICMP做了rate-limit,不是真丢包。用mtr -T -P 443切TCP模式再跑一轮,如果TCP模式下延迟正常,就是ICMP限速的假象,不用管。

02 IEPL合同写的AS路径是AS4837→AS9680两跳,实际traceroute出来中间多了个AS6939,怎么投诉?

AS6939是Hurricane Electric的transit。直接拿traceroute截图+合同技术附件开工单,要求恢复strict CSPF约束。运营商48小时不改就升级投诉到通管局,引用合同SLA条款。

03 台湾IEPL专线晚高峰RTT从18ms涨到35ms,白天正常,是不是带宽不够要扩容?

先别急着加钱扩容。跑iperf3打满带宽看丢包,如果打满不丢包但延迟涨,说明是QoS队列调度问题——你的流量被挤到best-effort队列了。要求运营商确认你的CIR在晚高峰有strict-priority调度。

04 show ip bgp看到AS4837在AS-Path里出现了3次,对端是不是做了prepend?影响大吗?

出现3次说明对端做了AS-Path prepend x3,目的是让回程流量走指定入口。对你的去程延迟没影响,但如果你有多线接入,回程选路会被这个prepend带偏。确认是不是你要求的策略,不是就让他们去掉。

05 IEPL专线突然RTT从15ms跳到200ms持续了3分钟又自己好了,运营商说没故障,信吗?

不信。200ms持续3分钟大概率是光缆保护倒换(1:1 protection switch)触发了,或者TE tunnel做了FRR快速重路由。要求运营商调出那3分钟的网管告警日志,看是不是有LOS/LOF告警。正常倒换应该50ms内完成,3分钟说明保护组配置有问题。