一、案例环境
存储型号 / 版本 |
MS7370G2-Mach ( V1.5.12T04P08.01 ),8x16Gbps FC |
交换机 | EMC DS-5100B |
服务器 /OS/ 软件 |
p780/AIX7.1 |
二、问题描述
服务器下发扫描、创建VG、文件系统命令明显卡顿,存储GUI上的FC端口有个别端口“链路误码数”增加,交换机porterrorshow无异常,已做过光纤线、存储光模块、交换机光模块、存储FC卡交叉定位,问题未解决。
三、过程分析
1. 存储诊断信息日志分析
在服务器下发管理命令卡顿时,存储一SP1 3、4端口界面显示误码率增加,分析存储日志,存储会收到FC相关Discard RND Frame日志打印,该信息表明FC fw通知有丢帧事件,说明存储与交换机侧链路存在问题。
2. FC分析仪报文分析
1. 报文抓取
存储与交换机中间通过FC协议分析仪连接,抓取FC协议报文;发现存储没有误码增加,报文解析正常。
2. 结果分析
检查FC协议分析仪光模块,使用的均是Finisar 8G光模块,由此怀疑为存储侧16G光模块与交换机8G光模块不兼容导致,后续做进一步验证。
3. 光模块验兼容性验证
更换存储FC端口对应光模块为其余厂商光模块,服务器执行扫描、创建VG、创建文件系统等管理命令,其测试结果如 表3-1 所示(绿色字体表示正常):
表3-1 光模块测试结果
光模块厂商 |
型号 |
速率 |
是否自协商 |
误码是否增加 |
操作与结果 |
Hisense |
LTF8504-BC+ |
16G |
是 |
是 |
服务器下发扫描 / 创建 VG/ 文件系统命令,误码增加(少量) |
否(固定 8G ) |
是 |
服务器下发扫描 / 创建 VG/ 文件系统命令,误码增加(少量) |
|||
Brocade |
57-1000117-01 |
8G |
是 |
是 |
刚更换上,存储对应误码统计增加 2433 ,后续操作未继续增加 |
57-1000012-01 |
8G |
是 |
否 |
服务器下发扫描 / 创建 VG/ 文件系统命令,误码未增加 |
|
Finisar |
FTLF8528P3BCV |
8G |
是 |
否 |
服务器下发扫描 / 创建 VG/ 文件系统命令,误码未增加 |
FTLF8529P4BCV |
16G |
是 |
是 |
服务器下发扫描 / 创建 VG/ 文件系统命令,误码增加(较少量) |
|
否(固定 8G ) |
否 |
服务器下发扫描 / 创建 VG/ 文件系统命令,下发 4K 、 8K IO 读写,误码未增加 |
|||
AVAGO |
AFBR-57F5MZ-ELX |
16G |
是 |
是 |
更换后扫描,误码大量增加 |
YOFC |
Y-D000C000 |
16G |
是 |
是 |
服务器下发扫描 / 创建 VG/ 文件系统命令,误码增加(较少量) |
否(固定 8G ) |
否 |
服务器下发扫描 / 创建 VG/ 文件系统命令,下发 4K 、 8K IO 读写,误码未增加 |
根据结果所知,8G光模块中Brocade--57-1000012-01与Finisar--FTLF8528P3BCV表现正常;
16G光模块涉及自协商与固定速率。自协商状态下,均有异常,其中YOFC表现稍好;设置固定速率时,Hisense光模块也有误码增加,Finisar-- FTLF8529P4BCV与YOFC-- Y-D000C000对应光模块在长时间测试验证下,无异常。
怀疑存储自协商与交换机配置之间存在问题,检查交换机配置。
4 .交换机参数修改验证
1. 交换机端口Fillword参数配置
检查交换机与存储连接对应端口的fillword参数为0,值对应IDLE,修改其参数为3,服务器执行扫描、创建VG、文件系统等管理命令,存储、服务器、交换机正常;服务器下发全流量模型,存储、服务器、交换机正常,业务正常。
Fillword参数介绍与设置查询方法见《博科Fillword参数设置方法》
四、解决方法
存储原使用的海信光模块与客户交换机存在兼容性问题,交换机端口fillword参数对链路性能存在影响。
解决方法:
更换存储FC光模块为YOFC并将交换机配置连接存储端口的fillword值为3
五、风险提示
无
创建人 | 孙轶靖 |
文档编辑权限 | 创建者私有 |
文档阅读权限 | 来自分类 |
分类阅读权限 | 所有人 |
分类编辑权限 | 技术服务部 : 机构 渠道合作伙伴 : 机构 系统管理员 : 人员 |
分类审核权限 | 审核小组 : 岗位 |
分类预览权限 | 审核小组 : 岗位 |
分类下载权限 | 技术服务部 : 机构 |
修改日期 | 修改人 | 备注 |
2022-09-26 09:11:57[当前版本] | 孙轶靖 | 其他原因... |
2022-09-15 16:10:29 | 孙轶靖 | CREAT |
附件类型 | PNG |
|