229  
   0
遍历S3对象存储的所有对象的推荐方式-Rclone遍历
作者:陈运佳于 2022年08月24日 发布在分类 / 经典配置 / 经典配置 下,并于 2022年08月24日 编辑
S3遍历 rclone

一、功能需求

遍历S3存储的对象类似于刷新网络界面的http请求,不同于传统Posix文件系统接口通过操作系统ls等相关命令查询;

常见的适配S3借口的web界面、Windows工具(Cloudberry/S3browser)基本无法承载海量数据的刷新请求会导致软件卡死或无法保存遍历结果。

本文介绍Linux系统环境下如何将对象存储的数据遍历保存到文件中。

二、组网图

三、配置步骤

1、按照案例“开源S3拷贝工具Rclone的基础安装及配置”进行基础环境及配置。

2、执行如下命令将rclone ls命令将遍历结果输出到输出文件中。


rclone ls MacroSAN: > /tmp/nas.txt
3、若文件较多,可通过如下命令实时观察输出文件的变化;常见万兆客户端环境遍历约10W个/s。



 watch -d "wc -l /tmp/nas.txt"


四、配置关键点

五、风险提示

需在业务闲暇时进行操作,禁止业务高峰期执行该类查询动作。

六、关键字

S3遍历,rclone



 知识评论当前评论数0

 推荐知识


 访问权限

创建人 陈运佳
工作小组 宏杉成员
文档编辑权限 创建者私有
文档阅读权限 来自分类
分类阅读权限 所有人
分类编辑权限 技术服务部  : 机构     渠道合作伙伴  : 机构     系统管理员 : 人员     
分类审核权限 审核小组  : 岗位    
分类预览权限 审核小组 : 岗位    
分类下载权限 技术服务部  : 机构    
 历史版本

修改日期 修改人 备注
2022-08-24 14:50:50[当前版本] 陈运佳 CREAT

 目录
    宏杉案例知识库-V4.0.1