---

一、功能需求

遍历S3存储的对象类似于刷新网络界面的http请求，不同于传统Posix文件系统接口通过操作系统ls等相关命令查询；

常见的适配S3借口的web界面、Windows工具（Cloudberry/S3browser）基本无法承载海量数据的刷新请求会导致软件卡死或无法保存遍历结果。

本文介绍Linux系统环境下如何将对象存储的数据遍历保存到文件中。

二、组网图

无

三、配置步骤

1、按照案例“开源S3拷贝工具Rclone的基础安装及配置”进行基础环境及配置。

2、执行如下命令将rclone ls命令将遍历结果输出到输出文件中。

rclone ls MacroSAN: > /tmp/nas.txt

3、若文件较多，可通过如下命令实时观察输出文件的变化；常见万兆客户端环境遍历约10W个/s。

 watch -d "wc -l /tmp/nas.txt"

四、配置关键点

无

五、风险提示

需在业务闲暇时进行操作，禁止业务高峰期执行该类查询动作。

六、关键字

S3遍历，rclone