一些关于国内三大运营商国际网络出口的记录

不定时更新系列(上次更新于 2022年5月16日:增加对CMIN2的部分信息补充)

转载请保留出处(https://blog.sunflyer.cn/archives/594)

中国电信

中国电信目前维护三张网络:AS4134 ChinaNet (163), AS4809 ChinaNet Next Generation Carrier Network (CN2) 以及 AS23764 CTGNet

# ChinaNet

ChinaNet(a.k.a. 163),主要城市如LAX、SJC、FRA、LON,回国带宽大,但因电信超卖严重,因此尖峰时段较容易阻塞,同时也常有来自中国境内的流量攻击将出口塞满。价格较低。

于目前(2020年8月)163网国内至国际互联段(C-I段)容量拥塞,因此访问国外一些服务商会出现严重的慢速、丢包、高延迟等现象。

按照集团规划,163国际出口国内段扩容预计在2021年2月底之前完成。 中国电信和中国移动在2021年3月底4月初左右对163和CMNet的国际出口进行了扩容,据信总带宽约1.2Tbps左右,国际段拥塞情况相对之前已缓解不少,但广州和上海出口的部分路由仍然存在丢包情况。电信目前在对163进行国际互联国内段流量管理设备招标,据招标内容显示本次采购的设备用于 58 x 100Gbps 的国内段链路的流量管理,因此推测今年暑期或者下半年应该还有一次国际出口段的扩容操作。

对于IPT的价格:北美163单价(指每Mbps的价格)大约为 $0.6 ,而在日本/新加坡则为<=$20,香港则是丧心病狂的 $50+ (香港这个价格为2020年左右的IPT合约价格,现在CTCloud官网香港地区的“普通线路”价格为$25/Mbps,可能还是有所差异,也可能根本没有可比性),(然而并不带任何质量保证,全是Best Effort,还是你电信会赚钱。

如果是高保障QOS的163(质量参照上海电信家宽国际精品网,或者世纪互联版Azure),香港地区的IPT单价则超过 $75,几乎快接近CN2 GIA的底线价格。

上述价格,包括下面提到的联通和移动的IPT价格,都是commit量比较大的情况的折扣价格,一般在8折左右(甚至可以更低),因此实际在commit量少的情况下价格会更高另外,单位并没有弄混,就是美元,你没有看错

# CN2 GT (Global Transit)

CN2 GT,163与CN2 POP之间统一在上海、广州、北京三个互连点,北京互连点应为一年内所新增。同上一点所属,由于两张网流量交换前也会经过163的汇聚点,因此也较容易因163汇聚点有大量攻击流量导致阻塞,同时因攻击塞满两张网之间的互连也时常发生。

对于跨境互联质量,电信官网承认CN2 GT与ChinaNet质量无异。换句话说就是,CN2 GT集成了电信两张网各自最烂的部分:CN2海外的憨批骨干质量和163出口的傻逼跨境段质量。

# CN2 GIA (Global Internet Access)

GIA以及GT之间,回国线路并没有差异(尽管电信方的产品说明有提到出口不同),GIA与GT之间所经过的跨境互联段不同(即C-I段),其中GIA有单独的C-I段容量,而GT则与163共享C-I段,因此基于目前的跨境互联质量而言,CN2 GT与163几乎没有差异,但GIA与GT/163则会有明显体验上的差异。该产品在163与CN2两张网之间互连有独立的端口进行互连,互连点也较多,采就近接入原则,但实际上延迟不一定比较好。且因互连点不同关系,实际上有可能会出现某地至北美GT走上海出口,但GIA却走广东出口等等差异。另互连端口在有大量攻击时容易阻塞。特别是南京、北京互连点。

电信报价依据所在地与中国大陆之间的延迟决定,延迟越高价格越低,如北美大约6 USD/Mbps (目前可能已涨价),而香港地区的CN2 GIA单价最高则达到了100 USD/Mbps,底线价格也有接近$80(但应该很少能有以这个价格拉到的)。2022年3月份左右CN2的跨境段容量峰值使用率已超过90%+,电信集团目前已经暂停了部分方向新接的CN2 GIA的订单(除非有释放的带宽资源,释放多少批多少)。

CN2于2021年4月发布了设备扩容采购招标公告(见 这里),推测今年年内完成扩容。(看来是咕咕咕了的样子

# CTGNet (AS23764)

由于通过CTG/CTA/CTE购买GIA带宽需要中国电信集团级别审批合约,因此CTG自己搞了个CTGNet(自卖自销系列),据大佬介绍CTGNet订购的带宽合约目前暂不需要集团审批。在今年年底某个时间点以后新开的合约都需要走CTGNet签订。

CTGNet包含了之前的163/CN2 GT和CN2 GIA的接入,区别是根据合约报价来决定最终互联的质量,钱给的多就给你GIA,钱给的少那就是GT甚至163。目前腾讯云香港至腾讯云国内已使用从CTGNet订购的带宽(现在和阿里云一样只有香港精品EIP才能走了)。但是目前从mtr回程看来与GIA的差别在于,GIA的回程进入电信互联节点以后剩余骨干网部分会经过59.43直到省级互联接口,而CTGNet目前进入电信互联节点以后观察到的59.43骨干网节点仅有1-2跳,剩余均为163网络承载,但是在最终丢包上面差异不大。(也就是说,除了路由看起来有点奇怪以外,体验上并没有太大差别)

从腾讯云新加坡订购的CTGNet的路由来看,除了中间多出来CTGNet的2-3跳左右路由以外,和之前CN2 GIA的路由看起来没多少差别了。

# Extra

两张网在常见的地区以外,骨干都较小。另外新疆有两种CN2,一种与一般国内CN2无差异,另一种有独立国际出口,但国内营运商访问过墙(被视作境外PoP,这一点可以在电信国际的looking glass页面看到),路由也较为奇葩,如上海访问可能先绕行广东再到北京等等。

CN2与联通之间有互连,上海、广州、北京、香港都有。其中香港互连只跑回国流量。其他互连点仅在GIA路由使用,GT线路仍需经过163。

上海电信101.88.0.0/13段,实际上为163、CN2双上游,但在CN2设置了海外禁播、客户禁播。因此海外CN2并无法收到该网段路由,造成如阿里云香港到该网段走其他线路。

# How to: 区分线路是CN2 GT还是CN2 GIA

一般而言由于CN2 GIA的流量会由就近省份的163-CN2接入点进入CN2骨干网,因此从本地向服务器traceroute时,你应该能看到其存在一跳59.43或者202.97的骨干网IP,其所在地址为就近省份的接入点所在地,比如江浙两省去程走南京,湖南电信去程走武汉,重庆电信向部分地区的去程走南京/西安。部分省份如果当地没有163-CN2的peering的话可能会存在直接从北上广进入GIA的情况,比如重庆对于多数路由会一路202.97走163骨干网直到广州进入CN2。因此即便服务器线路是CN2 GIA,但也不代表你本地宽带跟踪路由时一定全程不走202.97,毕竟你自己宽带还是在163网络下。

一个最简单且多数情况下比较有效的判断方法为,如果从本地追踪一个服务器IP的去程,202.97的下一跳IP为类似于59.43.244.*或者59.43.245.*,且该跳处在北上广三地(北京为59.43.246.*),则大概率去程为CN2 GT。如果本地追踪服务器IP的去程,经过202.97下一跳为59.43.80.* 或者甚至没有202.97就直接到达下一跳59.43路由,则去程大概率为CN2 GIA。回程路由反过来同理。

请时刻牢记一点:CN2是电信的,CN2是电信的,CN2是电信的。不要说什么回程三网都不是走CN2 GIA就说这是假的CN2,这个说法是完全错误的!而且说句实话,像联通这种和4809有直接peer的你用那种回程CN2 GIA的还能理解(但是互联节点经常爆炸啊我草),你一个CMCC还用CN2 GIA,9808和4809中间还要走4134的互联,建议CMCC用户赶紧换宽带保平安(大雾)。

中国联通

中国联通目前有3个主要ASN:AS4837(中国联通骨干网),AS10099(中国联通国际,CUG)以及AS9929(中国联通工业互联网,CUII,以前的老网通的骨干,简称A网)

一般家宽客户接入的是4837网络,与电信4134类似。国际出口分为北京、上海、广州三部分。比较常见的路由如北京出口承载多数省份的跨境流量,包含日韩北美欧洲俄罗斯等地区;上海出口承载至东亚/东南亚以及北美圣何塞的跨境流量;广州出口承载至港澳/东南亚/北美(洛杉矶)/欧洲部分地区的流量。

10099(CUG)与电信目前的CTGNet类似,提供至大陆方向的差异化接入,包括CUG(10099->4837)和CUG VIP(10099->9929->4837)

9929为老网通骨干网,现在的CUII,其本身负载低,所以被用于为政企提供高质量网络访问,但是缺点在于。。。这张网的跨境互联端点对比4837较少,而且多数互联的容量并不大。。。现在作为联通对标CN2 GIA的产品销售。

普通4837的报价依据互联地区不同而不同,日本/新加坡可以做到$20/Mbps甚至更低的价格。(但还是贵而且和电信一样是Best Effort),香港比日本/新加坡略高一些,<=$25/Mbps。

香港 10099 CN Premium Route (官方名称,实际上就是9929)的报价一般不低于 $55/Mbps。

为了避免有人不相信这个价格,我贴一下TG某老哥咨询联通销售人员拿到的零售报价。本文前面提到的价格没有特别说明的情况下是commit量大的情况下的折扣后的价格。

CUG 9929 IPT零售价格
10099->4837 IPT零售价格, 日本那个DP位置应该是他们写错了

中国联通->GTT Peering

中国移动

CMCC这张几乎万物都要走香港出口,而且骨干都能疯狂丢包,广州到香港之间延迟能暴涨114514ms的破网有什么记录的必要吗(半恼) 自己拉了根线测一下免得有人BB我黑移动,不过还是得说一句,请不要用广东移动的质量假设其他省份移动的质量,谢谢茄子(摊手

和电信一样,移动也在搞CMI N2 (AS58807),此网络海外回程路由至国内电信部分会走CTGNet(在looking glass测试时,可能由于目前移动没有在该网络宣告路由给CTGNet,测试的结果显示被降级为CN2 GT路由),已有部分大厂签订业务了(包括MS,但是放心这条线路拉了是给巨硬自己业务用的,不是给Azure客户用的,白嫖党不要想了)。CMIN2的挂牌单价为 $65+/Mbps。

自2022年初开始,随着上海临港出口启用,在日韩购买了CMI IP Transit的ISP/IDC回到国内部分省份移动的流量会经由上海出口承载,延迟对比绕广东会有所降低(比如日本/韩国 -上海 ~33ms)。

移动近期扩容加上上海临港出口启用以后在跨境段(C-I段)上容量有明显富余,部分方向也开始塞了,加上移动祖传负载不均衡,所以体验会有所波动。

目前的主要出口还是广州-香港段,IPv6跨境流量路由大部分会出现绕行上海的情况(即使你处在广东)。

亚太地区(指香港/日本/新加坡)中国移动的IPT价格比较一致,commit量大的情况下能做到 $15/Mbps以下(可以更低,但我也不好透露了。而中国移动CM Premium的价格一般在 $55-$60/Mbps左右(取决于commit的量)

由于近期大批量的CMI带大陆路由的IPT开通,移动至联通/电信的晚高峰跨网质量相对之前明显有所降低,移动广州出口自4月开始已可见晚高峰时期网内有丢包情况出现,且有明显的负载不均衡的情况。

对来自Free Peer(比如PCCW/NTT/Telstra)至国内的流量会有QOS,在量大的情况下,移动会根据来源流量的ASN进行QOS,尖峰时可见在P2P一跳路由(比如NTT-移动的互联路由节点)开始出现高于80%的丢包。你说广移拉万物?建议阅读开头那段话:请不要用广东移动的质量假设其他省份移动的质量

结尾:本文修订记录

修订记录从4月开始记录(主要是懒得翻之前的修改历史了)

2022年5月16日:增加对CMIN2的部分信息补充

2022年4月22日:更新中国移动CMI网络质量状况

2022年4月14日:增加对运营商报价的说明,附图更新中国联通IPT零售报价

7 thoughts on “一些关于国内三大运营商国际网络出口的记录

  1. 北方移动路过,自从cmi出来了以后,这移动宽带是越来越不能用了。。。
    什么移动拉万物,除去香港,新加坡ip,移动基本没有能超过5Mbps的。。。
    不过cmi倒还用着不错。

  2. 移动拉万物,牛逼得很,暴打电信163,Cmi连上了hkix直接起飞,连上了telstra直接暴飞,dmi lite 香港🇭🇰G口vps全天候跑慢丢包率低于0.5%还不牛逼?2021年了还装傻说移动不行?人人都有钱用gia吗

发表评论

您的电子邮箱地址不会被公开。