499  
   0
麒麟V10环境下相同测试模型,自研多路径环境测试LUN带宽低于系统自带多路径环境测试LUN带宽
作者:刘云龙于 2022年06月10日 发布在分类 / 经验案例 / 经验案例 下,并于 2022年06月10日 编辑

1 问题描述


MS7040G2-AFT-HG设备挂载8个1T LUN(SLUA)到麒麟V10服务器,分别配置系统自带多路径与我司自研多路径(V1.0.15)进行测试,服务器端使用Orion工具对挂载LUN模拟IO读写测试,相同测试模型下,自研多路径环境测试LUN带宽低于系统自带多路径环境测试LUN带宽

测试脚本:./orion_linux_x86-64  -run advanced -type rand -simulate raid0 -num_largel 100 -size_small  8 -write 30 -duration 360 -matrix  row -testname testlun

2 原因分析

2.1  日志分析

1. mpadm lun show 查看lun状态,mpath path show -n msdiska查看各个LUN路径状态,状态均正常

2.收集多路径日志:/usr/macropath/bin/macropath-cli下输入diaginfo export,在/usr/macropath_log/下收集日志压缩包

3 分析结论

3.1  问题原因及影响

研发分析客户现场系统自带多路径设置path_selectorservice-time 0,由于自研多路径MacroPath V1.0.15版本没有对应的path_selectorservice-time 0的参数(高版本自研多路径会有),故修改自研多路径path selectmoderound-robin、修改:echo 1 > /sys/module/macropath_target_a/parameters/g_io_repeat_num两处可以达到自带多路径path_selectorservice-time 0的效果,修改参数后,自研多路径和系统自带多路径测试性能基本一致。

3.2  解决方案

1、首先在存储端做取消关联LUN的操作,进入自研多路径命令行:/usr/macropath/bin/macropath-cli,确保自研多路径端:lun show查询LUN的个数为0,个数为0后才能做步骤2操作


2、登陆服务器SSH,替换/usr/macropath/config目录下的global_conf.xml,替换完成后校验MD5值,MD5值为:c725f5e37420f790dc167121c557e2ac  /usr/macropath/config/global_conf.xml

<?xml version="1.0"?>
<global_conf>
  <version>MacroPath 1.0</version>
  <bsc_info>
    <item id="work_mode" value="2"/>
    <!--0 : load balance in SP; 1 : Load Balance Between SP; 2 : Load Balance Between Storage;-->
    <item id="faulty_path_check_interval" value="5"/>
    <item id="normal_path_check_interval" value="40"/>
    <item id="path_select_mode" value="0"/>
    <!--0 : round-robin; 1 : min-queue-depth; 2 : min-task;-->
    <item id="no_path_tmo" value="180s"/>
    <item id="io_delay_no_path" value="30s"/>
    <item id="link_down_time_out_fc" value="0"/>
    <item id="link_down_time_out_iscsi" value="0"/>
    <item id="path_transform_switch" value="0"/>
    <!--0 : off; 1 : on;-->
    <item id="path_checkerr_intel" value="1"/>
    <item id="path_checkerr_times" value="2"/>
    <item id="path_checktmo_tmo" value="3"/>
    <item id="path_checktmo_intel" value="5"/>
    <item id="path_checktmo_num" value="2"/>
    <item id="path_checkresume_tm" value="1"/>
    <item id="path_degraded_multiple" value="2"/>
    <item id="path_degraded_maxrsptime" value="8"/>
    <item id="path_degradedshake_num" value="5"/>
    <item id="path_degradedshake_time" value="3"/>
    <item id="path_choose_policy" value="0"/>
    <!--0 : Optimal; 1 : Available; 2 : Intelligent;-->
  </bsc_info>
</global_conf>

3、MD5值校验一致后,进入自研多路径命令行:/usr/macropath/bin/macropath-cli,做重启多路径服务操作,如下图所示

     service stop

     service start


4、在自研多路径命令行查询path selectmode修改是否生效,查询命令为:path selectmode show结果为Path Select Mode : Round-robin,修改生效。  


5、登陆服务器SSH,输入:echo 1 > /sys/module/macropath_target_a/parameters/g_io_repeat_num,查看修改是否生效:cat /sys/module/macropath_target_a/parameters/g_io_repeat_num,结果显示为1,说明修改生效,注意该参数重启服务器修改失效


6、在存储端做关联LUN操作,关联成功后,在自研多路径命令行做扫描lun操作:lun scan,如下图所示,重新扫描上来的LUN,修改生效


4 影响范围

5 处理意见

6 风险点

 /sys/module/macropath_target_a/parameters/g_io_repeat_num参数,重启服务器后修改失效


 知识评论当前评论数0

 推荐知识


 访问权限

创建人 刘云龙
工作小组 宏杉成员
文档编辑权限 创建者私有
文档阅读权限 来自分类
分类阅读权限 所有人
分类编辑权限 技术服务部  : 机构     渠道合作伙伴  : 机构     系统管理员 : 人员     
分类审核权限 审核小组  : 岗位    
分类预览权限 审核小组 : 岗位    
分类下载权限 技术服务部  : 机构    
 历史版本

修改日期 修改人 备注
2022-06-10 18:07:27[当前版本] 刘云龙 CREAT

 附件

附件类型

JPGJPG PNGPNG

 目录
    宏杉案例知识库-V4.0.1