行数统计 Python基础教程:计算大文件行数方法及性能比较

栏目:生活 2021-10-12 16:00:18
分享到:

如何使用Python快速高效地统计大文件总数,下面是一些实现方法和性能对比。

1.readline读取所有行使用readline方法读取所有行:

2.依次阅读每一行

依次阅读文件每行的内容,并计数:

3 .总和计数

使用sum函数进行计数:

4 .枚举枚举计数:

5 .缓冲计数

一次读取一个固定的大小,然后计算行数:

6 .厕所数量

使用wc命令调用计算行:

7 .部分计数

基于buff_count引入部分:

8.iter计数

介绍基于buff_count的itertools模块:

下面是在我的原生4c8g python3.6环境下测试100m、500m、1g和10g文件的运行时间: