本文转自:https://zhuanlan.zhihu.com/p/64467370

中国大陆目前国际网络的建设状况

根据新华网最新的报道指出,截至 2019 年 4 月,全国三大运营商——电信、联通、移动保有宽带用户数如下:

中国电信:1.46 亿户;
中国联通:0.8088 亿户
中国移动:1.57 亿户。

根据公布在 中华人民共和国国家互联网信息办公室&中共中央网络安全和信息化委员会办公室 页面的,由 中国互联网络信息中心 于 2019 年 2 月公布的“第43次《中国互联网络发展状况统计报告》”指出,国内主要骨干网络国际出口带宽共有 8,946,570 Mbps,国内主流三大运营商所拥有的国际出口带宽数据如下:

中国电信:4,537,680 Mbps;
中国联通:2,234,738 Mbps;
中国移动:1,997,000 Mbps;

由此可得,各家出口带宽的总量比较如下:

中国电信 > 中国联通 > 中国移动

结合上述宽带用户数,可得各家人均用户出口带宽量比较如下:

中国联通 > 中国电信 > 中国移动

国际出口带宽量的增长,与海缆建设周期息息相关:

根据中国信息通信研究院公布的中国国际光缆互联互通白皮书指出:

2009-2012 年,数据中心成为驱动国际海底光缆建设的最大驱动力,国际海底光缆又迎了一个建设小高潮。目前,全球海缆建设正在进入第三次建设高潮,全球 40%的海缆是 2000 年之前建设的,已经逐步进入了海缆使用生命 周期的尾期,未来几年,数据中心互联及互联网带宽需求将持续增长, 全球海缆将进入一个新旧更替的时期,形成海缆布局的时间窗口, 2016 年跨太平洋、跨大西洋、亚欧间海缆系统已经开始升级换代。

2013 年国际出口带宽的猛增,和云计算的普及息息相关。

另外,随着老旧的中美光缆(CUCN)于 2016 年底退役,目前中美之间的连接,主要由太平洋直达高速光缆(TPE)和正在建设的新跨太平洋国际海底光缆(NCP)承载,NCP 建成后,将极大缓解中美之间网络拥堵的状况。

“人均”问题不解决,晚高峰拥堵的状况是注定无解的:

与未来国际流量发展预期和世界主要国家相对,中国的国际海缆发展仍显不足,美国的海缆数量是中国的 8 倍,人均带宽是中国近 20 倍;日本的海缆数量是中国 2 倍多,人均带宽是中国近 10 倍;英国海缆数量是中国的 5 倍多,人均带宽是中国 72 倍;新加坡海缆数量是中国 2 倍多,人均带宽是中国 262 倍。

前途是光明的,道路是曲折的,海缆建设是一个投资大的、长期的、系统化的、复杂的工程,既然正在规划中的海缆,并不能直接享受到,所以我们就只能就目前的情况,做一个分析。

目前国内三大主流运营商的国际出口路由现状

看过上述分析的同学应该晓得了,如果有经常访问外网的需求,使用中国联通的固网是最明智的选择,那么,这三大运营商的国际出口路由具体是什么情况呢?我们来逐一分析。

1. 中国电信

  • 中国电信目前拥有两条线路,一条是 163 骨干网(ChinaNet),另一条就是 CN2 网络;

  • 相对 CN2 而言,有的人又习惯称 163 骨干网为 CN1,163 网是中国电信建设的最早的一个网络,它为超过 1 亿的中国电信用户承载包括连往境外的,普通质量的互联网业务。身为电信用户,如果在晚上连接境外网络总是感觉卡顿,丢包高,99.99%的原因都是因为走的这张网,大家一起挤,线路就 boom 了;

  • CN2,即“ChinaNet Next Carrying Network(ChinaNet 的下一代承载网络)”,在 2005 年投入使用,最初架设的目标,是提供一个拓扑合理,架构先进,建设科学,用于满足未来 10-20 年替代 163 网成为未来新骨干网的网络(这个 flag 还未实现),CN2 网络能够同时承载语音、数据、视频、全球互联等业务,尤其是全球互联方面,相对于 163 网而言,CN2 网络的低丢包、低延时、轻负载,让众多用户趋之若鹜;

  • 据统计,在中国电信的总网络连接中,163 网络承担了 85% 的网络流量,其余的 15% 流量,由 CN2 网络承担;

  • 除了上篇文章我们提到的,外网走专线的中国电信政企网,中国电信还针对普通宽带用户,推出过氮气瓶,或称为“电信精品网”的服务,但不知道何种原因(疑似超售),这种服务现在不提供了。简单来讲,就是不管境外网络节点是普通线路,还是专门推出的CN2 网络优化版(仅针对中国大陆的通信),让在境内用户访问境外网络时,统一直接并入到 CN2 网络;

  • 回国或出国,必定经过北京/上海/广州;

  • 进出口路由路径,分为三个品级:

    1. 163 网(CN1);
    2. CN2 GT(Global Transfer 又称半程 CN2 );
    3. CN2 GIA(Global Internet Access 又称纯 CN2/全程 CN2);
  • 网络路由路径遵守固定路径/边界网关协议(BGP);

  • 在高峰期会有策略性丢包减少对骨干网的负载;

  • 虽然出口宽带总量最大,且人均出口带宽排行第二,但电信 163 网连接国际网络,会在高峰时段,在路由出海前的最后一跳,根据优先级,策略性地人为丢包,以减轻对主网的负担(QOS),这让普通电信用户糟糕的外网访问质量雪上加霜;

  • 中国电信的服务主旨:用户能用钱解决的问题,都不是问题,剩余的问题,统统都是因为“钱没给够”而导致的问题。

中国电信 163 网络 AS4134 路由拓扑图,图示来源:https://bgp.he.net/AS4134
IPv4:

IPv6:

说明:

  • 中国电信的 163 网络,一般会经过市级 → 省级 → 国际出口 → 境外接入点 AS(自治路由协议) 号为 4134 的路由节点,这些路由节点的 IP 地址开头一律是 “202.97..”,全程不会经过 CN2 网络节点;

  • 163 网络国内之间互相访问基本上不存在性能瓶颈,只有在国际出口才会发生拥堵;

  • 仅统计国际网络的访问质量,163 网络全天的丢包率在 5% ~ 10%左右,如果在夜晚间高峰期(UTC+8 18:00 至 23:00 时),丢包率可达到 15% 以上;

  • 会经过更多的路由数量;

  • 163 网(民用电信宽带都属于这种),是全中国用户数量最大,访问国际网络体验最差的线路,国外网站用浏览器打开需要转圈等上个十来分钟,PC、PS、Xbox 连接外服下载极慢(十几 kb / 秒),玩游戏卡顿(丢包)等现象屡见不鲜;

  • 除了例如自“云上贵州”落地中国后,iOS / Mac 用户连接 app store、iCloud 速度迟缓的情况大有改观这样的案例,所有 163 网用户在访问没有在中国大陆境内(不包含港澳台)布设本地服务器或 CDN 加速服务的境外网站或网络服务,被迫忍受极其缓慢的速度等现象,在未来 10 - 20 年之内无法缓解;

  • 某国家级别大型网关,利用机器学习和人工干预等手段,会实时对境内和境外通信的互联网流量,做深度包检测、数据请求头分析、带高危协议特征流量的干扰和阻断等工作,从而保障中华人民共和国互联网通信的安全,代价是损耗一部分外网通信的性能(存疑);

  • 不要想当然地以为,某 VPS 距离接入网络的地域蛮近的(上海 → 日本 / 广州 → 新加坡等),延迟和掉包情况一定不大,在该 VPS 商家有大量用户访问和绕路以及晚高峰情况下,163 网络的劣化程度比你想象的要严重得多:如从中国 → 新加坡(godaddy 新加坡虚拟主机),实际上是从中国 → 美国 → 新加坡),单程环两次北太平洋,看你怕不怕。

一个典型的 163 网络的国际访问路由,注意出海前经过路由的 AS 号和对应的 IP 地址

16 ~ 17 年时,连接亚太地区的路径普遍较差,绕美是家常便饭.

从 18 年末,渐渐有了好转,电信一般都是绕日 NTT 过去,不过访问质量依旧很糟糕,线路无优化商家的劣势就是通信不稳定:

中国电信 CN2 网络 AS4809 路由拓扑图,图示来源:https://bgp.he.net/AS4809
IPv4:

IPv6:

说明:

  • CN2 网络的拓扑图远比 163 网复杂许多,整个网络的建设充分利用了各个节点之间的互联性,而不像 163 网那样简单粗暴地采用从上到下、从一到多的布设逻辑,从而充分使每一个节点在遭遇重负载时,可以迅速由周围节点来缓解负载;

  • CN2 GT 产品在从市级 → 省级 → 国际出口这一段走的是 163 网络,国际出口 → 境外接入点这一段汇入 CN2 网络,返程同理,偶尔可能会走联通的国际网络;

  • 作为典型的半程 CN2 产品,CN2 GT 网络的数据包即使在国际间传送几乎不会出现丢包的情况,但依然非常容易在国内这一段拥堵时,出现被中国电信舍弃数据包的情况,CN2 GT 网络全天的丢包率在 4% ~ 6%左右,如果在夜晚间高峰期(UTC+8 18:00 至 23:00 时),丢包率可达到 8% 以上;

  • CN2 GIA 产品在从市级 → 省级 → 国际出口 → 境外接入点的过程中,全程走 AS 号为 4809 的路由节点,这些路由节点的 IP 地址开头一律是 “59.43..”,全程不会经过 163 网络节点;

  • 在没有购买昂贵的政企专线网络或氮气瓶加速服务的情况下,中国电信普通宽带用户连接海外节点具体走何种线路,取决于对方节点采用了何种路由自治协议,当然,决定它并不是靠心情,而是要和接入的电信运营商签署协议,一旦签署了走何种协议,如纯 CN2 网络,势必要向中国电信缴纳一笔高昂的 CN2 网络使用费用(最后这笔钱还得由用户承担),这就导致支持 CN2 GIA 网络的 VPS 产品价格最昂贵,CN2 GT 价格其次,163 网最为低廉(不用向中国电信缴纳一笔专门优化中国线路的银子);

  • 作为中国电信的旗舰产品,CN2 GIA 产品的表现绝不会令任何人失望,无论是白天,还是晚高峰时期,纯 CN2 线路的掉包率均在 0.1% 以下,用户在访问过程中,行云流水,畅快丝滑。

  • 其实如果更严格地划分,CN2 GIA 产品还分为单网、双网、三网三种,顾名思义,单网 CN2 GIA 一般指的是仅中国电信用户访问去回,走 CN2 GIA 网络,联通/移动/教育网等用户访问过去,均走各自运营商的国际出口(典型产品为阿里云国际香港节点);双网 CN2 GIA 一般指的是中国电信/中国联通用户访问过去,走 CN2 GIA 网络(特别地,该产品允许中国联通线路在省级跨网并入到中国电信的 CN2 网络,典型产品为标准互联的圣何塞 CN2 GIA 产品);三网 CN2 GIA 一般指的是中国电信/中国联通/中国移动三网用户的去回访问,均会在省级并入到 CN2 网络,适用性最强(典型产品为搬瓦工的 DC9、DC6 机房)。

  • 部分偏远地区的电信用户(比如在县级、村级、非重点市级)访问境外 CN2 GIA 线路的服务器时,会经过 IP 地址为 202.97.. 的 AS4314 路由一跳,并入到已布设 CN2 网络的重点市级节点,随后再全程走 CN2 网络。

  • 由于担负的网络流量并不高,冗余量不够,CN2 网络的防御力比较脆弱。比如说,VPS 商之间同行攻击的情况屡见不鲜,所以很容易发现某家 CN2 GIA 网络的 VPS 一旦被打(DDoS攻击),毫无还手之力,整个网络会陷入瘫痪,只有等硬扛过去,该家的 CN2 GIA 网络才能重新恢复使用。

一个非常典型的 CN2 GIA 网络,注意跳了一下 202.97 打头的路由,其余全程 59.43:

一个非常典型的 CN2 GT 网络,注意在国内走的时候,一定是 202.97 路由,出海后再走 59.43 路由:

2. 中国联通(这部分会加入一些 VPS 线路购置经验谈)

  • 中国联通宽带用户增长率不高,拥有的总用户数最近竟被移动赶超,目前市场份额处于垫底,但对用户来说无疑是极其利好的消息。因为其拥有全国仅次于电信用户的国际总出口带宽,这就意味着中国联通用户访问外网遭遇的烦心事儿比电信和/移动用户要少很多,如果不想在 CN2 GIA 上花一笔大洋,一个普通中国联通宽带用户的国际访问“人权”是最有保障的;

  • 出海和归来均走北上广;

  • 出/回走 AS4837(联通 169 网络)/AS9929(A网)路由,暂无类似中国电信那样的国际精品网络产品;

  • 网络路由路径遵守固定路径/边界网关协议(BGP);

  • 晚高峰时期骨干网选择性丢包的力度比中国电信低很多;

  • 美日线路绝赞性价比。

中国联通 169 网络 AS4837 路由拓扑图,图示来源:https://bgp.he.net/AS4837
IPv4:

IPv6:

说明:

  • 中国联通普通用户从市级 → 省级 → 国际出口 → 境外接入点的过程中,全程走 AS 号为 4837 的路由节点,这些路由节点的 IP 地址开头一律是 “219.158..”,全程不会经过 A网(AS9929);

  • 经过的路由数较多,导致延迟普遍比 CN2 GIA 网络要高;

  • 169 网络全天的丢包率在 1% ~ 3%左右,如果在夜晚间高峰期(UTC+8 18:00 至 23:00 时),丢包率可达到 4% 以上;

  • 如果用户生活在中国联通的国际出口城市(北/上/广),或离这三座城市的距离很近,那么可以获得非常不错的延迟。

  • 美国地区:直连,不错。

  • 新加坡地区,比较依赖对方 VPS 商的线路优化,很多情况下联通去程统一绕日本 NTT(一家我很讨厌的日本线路,不谈国际声誉,只要从中国连接到日本走得是这条线,不爆炸我送你一包辣条)过去;回程直连广州联通或是依旧绕日返回。除了阿里云国际新加坡这样对三网不错的,联通用户慎选新加坡机房。

  • 香港地区,也得看商家和线路,最普通的,如 Softlayer 等,依旧绕日 NTT,垃圾的一批;部分线路不错的机房,如安畅机房、沙田、香港阿里云、PCCW 等,一般直接从广州联通过去,到港走香港联通或香港 PCCW,但这种机房一般都是针对三网一起优化的,联通当然跑的也不差,除非兼顾其他运营商的访问者,否则联通用户没必要花大价钱选择三网优化的香港地区机房。

  • 日本地区,表现之好,花费之低,超乎想象,尤其是众多日本本土 VPS 商(如 Cloudgarage、IDCF、Kagoya、Conoha、Sakura、ABLENET、GMOCloud等),联通用户去/回程统一经过上海联通的 IIJ 线路,质量非常理想,且上述日本本土商家的月付价格普遍不高,非常值得联通用户的选择,诸如 Linode 东京区二(Linode 东京区一走纯 KDDI 线路,联通表现也不错,可惜早已绝版)/ Vultr 东京等机房,走的是 NTT 线路,线路质量奇差,虽然它们购买门槛低,但非常不值得选择,买之前一定要测一下。

  • 不少研究日本 VPS 的同学,都知道中日之间有一条品级最高的线路,名曰 bbtec ,我有必要单独拿出来说一下,它是日本软银(Soft Bank)的定制线路,神壕专属,价格昂贵。日本阿里云有在用这条线路,但一个是接入该线路的 VPS 商家本来就不多,产品难寻,还有就是阿里云日本的账号注册限制太严,非日本本土手机号+无日本国内住所无法收到纸质注册确认信并寄回就不能买,这就挡住几乎所有国内人了。我印象里能勉强买到,且提供 bbtec 的只还有 Ucloudbiz,他家机房实际在韩国首尔,IP 地址映射到的日本福冈,XEN 虚拟架构,不如主流的 KVM 先进,价格也不便宜。另一方面就是感觉 bbtec 这款线路高不成低不就的:对电信用户,bbtec 国内部分并未接入 CN2,走得依旧是 163,该卡还是卡,且日本地区根本就没有 CN2 GIA 产品,所以中国电信用户在任何时候都绝不应该选择任何一家日本地区的 VPS,加多少钱都没有更好的效果;对联通用户而言,有物美价廉的 IIJ 为何要选它;对移动用户而言,没有任何特殊加成,还得从广州过去,舍近求远,你高攀不起,它爱搭不理,bbtec 线路我觉得没有任何入手价值。

  • 韩国地区,韩国地区的 VPS 市场竞争不充分,可以购买的本地商家不多,大多由国人代理运营,印象减分,再加上韩国地区比较严厉的互联网成人内容管制政策,韩国 VPS 有一条 porn 墙,不值得选择。
    俄罗斯地区,毛熊的不少线路对联通用户是比较友好的,与中国临近,地理位置不吃亏,价格比较实惠。联通统一从北京出发,经过 Rostelecom (https://rt.ru) 线路过去,来回新西伯利亚机房的质量普遍比莫斯科的要好。但还有以下这些无法克服的问题:1. 用俄语难以跟客服沟通;2. 不支持支付宝,paypal,付款困难;3. 别想着用来给美服、港服吃鸡,游戏加速,俄罗斯地区连接香港和美国的延迟极高;4. 同理,移动固网用户会先去香港,再去俄罗斯,延迟很高;5. 如果是建站,只有中国联通、欧洲用户访问过去的速度不错,全世界其他地区连接俄罗斯的速度都不理想,随着国力衰弱,俄罗斯网络设施的可利用价值不太高;

  • 海外国人运营,支持支付宝付款,价格奇低,非一线大厂,NTT 线路,犄角旮旯地区,符合上述六条规则中的三条,打死都别碰,碰就是交学费。

一个典型的中国联通 169 网络连接外网路径图:

169 网络的中美回程也不绕路:

169 网络也比较看中对方 VPS 商的线路优化:

御三家:Linode/Vultr/DigitalOcean 新加坡节点电信/联通去程绕日,费拉不堪:

普通新加坡线路回程部分从广州直连回来,部分依旧绕日:

IIJ 线路对联通十分友好,非常适合中国华东、华南地区的联通用户选择:

珍爱生命,远离 NTT:


生活在中国东北、华北地区,且预算有限的联通用户,可以试试俄罗斯 VPS:

中国联通 A 网 AS9929 路由拓扑图,图示来源:https://bgp.he.net/AS9929
IPv4:

IPv6:

说明:

  • 169 网络和 A 网之间的区别,与 163 网络和 CN2 之间的区别并不是一个概念,A 网早在中国网通时代就已存在,属于中国网通的骨干网。在网通和联通合并后,联通仍继续建设当年从电信 163 网分出来的那一部分,即现如今的 169 网(分出来的原因是应当年政企分离的要求,不是电信自己分的),而这张 A 网就闲置了。虽然该产品的定位,名义上和中国电信的 CN2 网络对标,但这张“吃老本”的 A 网所具备的优势仅仅是用户少,网络负荷小,所以表现也还不错,一般给政企、高端用户使用。但由于这张网络多年没有再发展,所以跟持续扩容的 CN2 比,质量方面的差距只会越来越大。

  • 从市级 → 省级 → 国际出口 → 境外接入点的过程中,全程走 AS 号为 9929 的路由节点,这些路由节点的 IP 地址开头一律是 “218.105../210...*”,部分偏远地区,会经过 169 网络汇入到 A 网;

  • 由于该网的建设初衷就是为国内的网络服务,A 网仅会出现在国内,去程出海后一律并入到 169 网络上;回程必须要经过 169 网络,走到国内部分才转入到 A 网,这是所谓“精品 A 网”与 CN2 网络之间最大的差别;

  • 通过 A 网络访问外网全天的丢包率在 1% ~ 2%左右,如果在夜晚间高峰期(UTC+8 18:00 至 23:00 时),丢包率可达到 3% 以上;

  • 这个网的技术并不先进,用的人只要变多,或是负责出海数据去回的 169 网炸了,就顿露马脚。

一个典型的中国联通 A 网回程路由:

对方网络没做优化的情况下,A 网回程也不会绕路:

红框圈起来的就是传说中的 A 网,出海后果然便汇入到 169 网络上:

3. 中国移动

  • 中国移动进出国际网络,在国内经过的绝大部分流量,均由 AS9808 网络承载,旧铁通的 AS9314 网络几乎已被放弃;

  • 暂未发现中国移动有“精品出口网络”产品;

  • AS9808 网络在北京/上海/广州均有进出海光缆,距多方 Traceroute 观察,广州移动承担了大部分中国移动网络进出口的流量,如中美、中国东南亚等地区;

  • PCCW 与中国移动有着说不清道不明的屁眼交易关系;

  • 上海移动仅提供分散广州移动出口流量的职能,且流经上海移动的流量,会转交给国内其他运营商(如联通)进行国际通信;

  • 北京移动主要承担与欧洲地区进出口流量的通信(直连,非绕美);

  • 网络路由路径遵守固定路径/边界网关协议(BGP);

  • 暂未确定在高峰期是否会有策略性丢包,以减少对骨干网的负载;

  • 通过手机用户赠宽带等方式,中国移动迅速积累了一大批固网宽带用户,在总出口量排行老三、总用户量跃居国内第一的情况下,如果不大幅拓展国际总出口量,未来普通移动网络用户的国际互联网访问质量着实堪忧。

中国移动 AS9808 路由拓扑图,图示来源:https://bgp.he.net/AS9808

IPv4:

IPv6:

说明:

  • 中国移动的进出口跳跃性很大,国内部分必走 AS9808 路由(221.176../221.183..),在部分地区访问部分 VPS,会并入到铁通 AS9314/电信 163 网络/联通 169 网络的路由节点;

  • 目前来看,中国移动网络的国际访问质量中规中矩,尤其是电信用户谈之色变的东南亚未优化 VPS 线路(一般要从日本 NTT 过去或是绕美),在移动用户看来真是小 Case,如果不能通过广州移动直接过去,那就呆在广州移动绕一圈再过去;

  • PCCW(电讯盈科) 线路目前是中港之间或是从中国到东南亚其他地区前且必须从香港中转线路的中,国内除纯 CN2 GIA 以外质量最好的线路;

  • 以前移动就有“国内墙中墙,国外直接上”的优良传统,通过 AS9808 网络访问外网全天的丢包率在 1% ~ 3%左右,如果在夜晚间高峰期(UTC+8 18:00 至 23:00 时),丢包率可达到 3% 以上;

  • 国内部分需经过的路由节点较多;

  • 回程和去程的路径很少恶意绕路。

绕道联通

直连且有独立的中美线路

访问 Vultr 新加坡的线路质量很不错,三网最佳

对于位于香港的服务器,VPS 商如果和移动有合作,则全程走中国移动线路,否则走 PCCW

北京移动主要负责处理欧洲地区的外网通信

谨记木桶理论

即使有“全程 CN2”、“A 网”等“精品网络”光环加持,一定不要忘了,网络速度、延迟、丢包等关键指标,还与 VPS 商的销售行为息息相关,就比如说,商家标称“共享 1Gbps”,如果平均分给 8 个人用,每个人能享受到的速度就是 128Mbps,但如果商家贪心,把 VPS 超售 10 倍(无论是 OpenVZ/KVM/HyperV 等架构,网络端口都可以为所欲为地超售),那么每个人在高峰期只能享用 12.8 Mbps 的带宽,如果你的邻居们各个都是“一键脚本”大神,什么锐速、暴力魔改 BBR、KCPTun 多倍狂发包 等争抢网络资源的奇技淫巧一股脑儿使劲怼,而你什么优化也不做时,自然就更吃亏,源头速度被卡死了,国家给你单独铺一条海缆也没用。

#牢记品质三原色