如何使用Python快速高效地统计大文件总数,下面是一些实现方法和性能对比。
1.readline读取所有行使用readline方法读取所有行:
2.依次阅读每一行
依次阅读文件每行的内容,并计数:
3 .总和计数
使用sum函数进行计数:
4 .枚举枚举计数:
5 .缓冲计数
一次读取一个固定的大小,然后计算行数:
6 .厕所数量
使用wc命令调用计算行:
7 .部分计数
基于buff_count引入部分:
8.iter计数
介绍基于buff_count的itertools模块:
下面是在我的原生4c8g python3.6环境下测试100m、500m、1g和10g文件的运行时间: