ZXMP S385-SE汇聚业务带宽不足问题

问题描述（故障现象）

某市银行大客户业务，在10M提速到20M后发现该市的外县A、B、C等站点下挂的支行、储蓄所带宽不足20M。经过银行专用测试软件测试，流量大约为1.1M/S-1.7M/S之间。

组网环境

银行大客户业务，由26个支行和储蓄所经过以太网板汇聚到市区ZXMP S385设备的14#SE板，通过千兆口与银行数据对接，在10M提速到20M后，经过银行测试软件测试，市内支行的流量可以达到2.1M/S，但是外县的支行只在1.1M/S-1.7M/S之间。

原因分析

1、选取A县支行做为测试点进行测试。A县支行经过A站点ZXMP S385设备上行。

更改A站点ZXMP S385到市区ZXMP S385的业务，由汇聚改为透传，抛开银行数据设备，改为全传输链路。经过测试，A站点ZXMP S385到市区ZXMP S385的流量为1.1M/S，路由为本地网10G环的长路径，时延为5ms。更改业务到10G短路径后，经测试流量为1.5M/S，时延为3ms.

2、选取B县支行做为测试点进行测试。B县支行经过B站点ZXMP S385设备上行。更改B站点中兴ZXMP S385到市区中兴S385的业务，由汇聚改为透传。经过测试，B站点ZXMP S385到市区ZXMP S385的流量为1.3M/S，路由为本地网10G环的长路径，时延为4ms。更改业务到10G短路径后，经测试流量为1.5M/S，时延为3ms.

3、选取C县支行做为测试点进行测试。C县支行经过C站点中兴ZXMP S385上行。更改C站点中兴ZXMP S385到市区中兴S385的业务，由汇聚改为透传。经过测试，C站点中兴S385到市区中兴ZXMP S385的流量为0.9M/S，路由为本地网10G环的长路径，时延为6ms。更改业务到10G短路径后，经测试流量为1.7M/S，时延为1ms.

4、重新选取A站点中兴ZXMP S385做为测试点，更改业务为透传后，重新进行多线程测试，带宽达到2.1M/S。更改业务为汇聚模式，通过银行数据设备进行测试，采用多线程时，带宽达到2.1M/S

解决方案

通过以上的操作以及公司的定位，可以初步得出如下结论：

1、传输距离达到一定程度后，会加大数据业务的时延。以C站点中兴S385为例，业务经过10G长径时，全程距离可达到500公里以上，测试使用的FTP基于TCP，TCP在传输数据的时候接收方要进行应答。再加上设备处理时间，时延在6ms已经是很理想的状态。（光在光缆中传输大约为每秒20万公里，也就是每毫秒200公里，全程500公里加上应答，数据传输一次要一千公里以上，光缆传送时间大约要5ms，再加9端设备处理时延，6ms时间正常）

2、由于测试时采用单线程，而FTP又基于TCP，发送方在发送数据包后必须要收到一个应答包表明这些数据包已经送到，才能继续发送。由于时延较大，发送数据包的时间增长，导致流量变小。（FTP基于TCP，TCP在传输数据的时候接收方要进行应答，发送方在发送w个数据包后必须要收到一个应答包表明这些数据包已经送到，才能继续发送。如果线路的传输误码率很低，则w可以增大，反之要减少，这就是窗口机制。本地网线路质量极好，假设w达到16,MTU=1500,则发送方发送16x1500=24000字节之后等待接收方的一个应答包(Windows值为字节数，即发送n个字节后应等待一个应答，最大值：65535，在此假设最大值w=24000)，以C站点长径为例建立连接的时间（三步握手建立连接用6msx3=18ms呢）,字节流的传输时间，这24000个字节经过链路到达接收方时花了6ms,接收发的应答包在6ms后亦传到了接收方处，则在这次传输中24000字节花了30ms,速率为0.8M/S。）

3、由此得出，实际上我们测到的流量不是实际带宽，只是一个FTP的流量，也就是单线程状态下的流量。它只占用了传输带宽的一部分。使用多线程进行测试，充分利用带宽后，测试出来的结果才应该是网络的实际带宽。经过A县多线程测试，速度达到2.1M/S,也证明了这一点。(根据排队论的理论，当链路的利用率增大时，该链路引起的时延也就迅速增加。假如以D0表示网络空闲时的时延，D表示网络当前的时延，U表示网络利用率。则在适当的假定条件下，可以用下面的简单公式表示三者之间的关系。U=1-D0/D。以C县近径测试结果为例，未进行测试时时延为1ms,开始测试后时延变为4ms，则网络利用率U=1-1/4,约为75%。可算出实际带宽约为1.7/75%*8=18.24)

注意事项

在经过长距离传输后的数据业务如果测试带宽，建议先测量一下时延，如果时延较大，建议进行多线程测试。