OSN3500智能网元主控板不断复位进入网元安状态

问题描述

ASON网络中有一OSN3500主控板某日突然不断复位，网元进入安状态

告警信息

NESTATE_INSTALL

处理过程

1.查询网管操作日志，无异常操作
2.查询全网异常事件，发现在网元进入安状态的头两天内，网元上报过“TE链路更改”、“数据库修改”的事件
3.判断网元主控板为早期的SSN1GSCC主控板采用的是外购内存，品质不够稳定，加之单板CPU时序比较紧，导致网元正常运行时频繁出现内存跳变，小概率出现数据库被异常修改的情况，如果单板软复位，由于校验到MFS和OFS中的数据库均不完整而主动进入安装态。
4.采集备份一些必要的数据，如最新的MO、网元IP、网元NEID、网元NODEID等
5.更换故障网元主控板
1）先将故障网元的两块主控板都拔出，然后插入一块新主控板。
2）设置新主控板的IP地址
3）设置网元NEID
4）设置网元NODEID
6.降级故障网元相关智能业务
1）进入"智能电路管理"视图，过滤出以故障节点为宿节点的所有业务
2）依次选中一条业务，记录下业务的路径信息（方便降级后查找到该条路径）和业务保护级别（降级后再升级时，业务保护级别要和降级前一致）。依次选中一条业务，选择其经过的一个节点（除了265都可以），进入该网元的"网元管理器-〉智能-〉高级维护-〉智能信令维护"，选择"查询经过本节点的智能电路"。然后选中一条业务，右键点击，选择"降级智能信令"
7.从网管下载配置信息
1）进入故障网元的"网元管理器-〉配置-〉网元属性"界面，点击"查询"。操作成功后，该界面上的"智能特性使能"选项应该没有了
2）从网管下发配置前，要将网管的配置下发模式改成"非中断模式"
  操作方法如下：在网管T2000的 /server/目录下找到"ems.cfg"文件，将其中的"IsInterruptMode"字段的值修改为"0"，如：
IsInterruptMode = 0
  然后重启网管服务器。
3）进入"配置-〉配置数据管理"，选择故障网元，点击"下载"
8.开启智能特性。
在navigator 上开启该网元的智能特性。
:cfg-set-itgattrib:enable
9.升级之前降级的智能隧道
1）在网管上执行"路径搜索"；
2）根据之前保存的路径信息，将降级的业务升级成智能隧道（注意：要升级后的业务保护级别要和降级前一致）
10.插入新的备用主控板，主备主控板同步后就可以了

根因

1.网管误操作
2.主控板故障（早期的SSN1GSCC主控板采用的是外购内存，品质不够稳定，加之单板CPU时序比较紧，导致网元正常运行时频繁出现内存跳变，小概率出现数据库被异常修改的情况，如果单板软复位，由于校验到MFS和OFS中的数据库均不完整而主动进入安装态）

建议与总结

早期的SSN1GSCC主控板采用的是外购内存，品质不够稳定，加之单板CPU时序比较紧，导致网元正常运行时频繁出现内存跳变，小概率出现数据库被异常修改的情况，如果单板软复位，由于校验到MFS和OFS中的数据库均不完整而主动进入安装态，如果ASON网络上OSN3500出现了网元进入安状态的情况后要尽早处理。