在处理大模型的训练数据时，经常需要遍历大型文件夹，其中，可能包括数千万或数亿个文件，这时，一般的Python遍历函数就会非常慢，例如os.walk、glob、path.rglob等等，同时，无法预估整体的遍历时间。 本文，通过Python的os.scandir，基于广度优先搜索算法，实现可控、高效的遍历文件，同时，输出遍历日志，支持后缀筛选，去除隐藏文件，实现遍历包含大量文件的文件夹的功能。 os.scandir 是一个目录迭代函数，返回 os.DirEntry 对象的迭代器，对应于由 path 指定目录中的条目，这些条目以任意顺序生成，不包括特殊条目 ‘.’ 和 ‘…’。os.scandir 的运行效率要高于 os.walk，在 PEP 471 中，Python 官方也推荐使用 os.scandir 遍历目录 。 源码 输出日志： [Info] 初始化路径开始![Info] 数据集路径: /alphafoldDB/pdb_from_uniprot[Info] dir pdb_from_uniprot: 256it [00:10, 24.47it/s][Info] dir 00: 240753it [00:30, 7808.36it/s] [Info] dir 01: 241432it [00:24, 9975.56it/s] [Info] dir 02: 240466it [00:24, 9809.68it/s] [Info] dir 03: 241236it [00:22, 10936.76it/s][Info] dir 04: 241278it [00:24, 10011.14it/s][Info] dir 05: 241348it [00:25, 9414.16it/s]  补充 除了上文的方式，小编还为大家整理了其他Python遍历文件夹的方法，需要的可以参考一下 方法一：通过os.walk()遍历，直接处理文件即可 方法二：通过pathlib.Path().rglob()遍历，需要过滤出文件，速度较快。注意glob()不支持递归遍历 到此这篇关于Python实现遍历包含大量文件的文件夹的文章就介绍到这了,更多相关Python遍历文件夹内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！