Python循环、列表生成器、filter效率对比试验
本篇阅读时间约为 5 分钟。
1
前言
在编程的过程中,大家肯定会遇到一个场景,就是类似在 list、set、tuple 中根据某些条件进行过滤,筛选过后生成新的元素列表。
对于这个场景而言,在 Python 中有许多中不同的方案可以去解决,那么哪一种才是效率最高的?今天就来小小的做个实验体验下。
2
环境介绍
两台 windows 电脑,Python 版本均为 3.0+ 。代码相同,不同的是 CPU。
笔者 CPU 型号:
同学 CPU 型号:
3
测试场景代码
假设现在的场景是有一个含有 1000 个数字的列表,其中这个列表中包含正数和负数,如果让你将所有正数挑选出来并且生成新的列表,如何解决?(如果看过笔者之前小课堂的示例,就知道方案都介绍过。)
生成 1000 个 -100 到 100 的随机list:
from timeit import timeit
import random
random.seed(10) # 为了让每次随机结果相同,设置随机种子
x_list = [random.randint(-100, 100) for _ in range(1000)]
思考过后再往下看:
方案一,最常规写法 for 遍历:
def for_func():
""" for 循环测试 """
new_list = []
for x in x_list:
if x > 0:
new_list.append(x)
return new_list
方案二,列表生成式:
new_list = [x for x in x_list if x > 0]
方案三,filter高级函数:
new_list = list(filter(lambda x: x > 0, x_list))
4
测试效率
在 Python 中,有一个模块叫 timeit,此模块可以直接进行效率测速,来简单的看下官方文档如何介绍的:
如果大家有所了解,Python 解释器是有不同版本的,平时我们用的是 CPython 解释器,上面的方法即 CPython 的用法。若是在 IPython 中,则可以直接用 timeit xxxx 来进行使用。
在 CPython 中,我选择的是图中红框部分的示例代码来做演示:
如果 number 参数不写的话,默认是循环 100000 次来执行。在测试用例中,number 默认,可以进源码查看:
测试用例元素个数 1000 ,每种写法循环测试 100000 次。
结果,
我的:
同学的:
测试用例元素个数 100 ,每种写法循环测试 100000 次。
结果,
我的:
同学的:
5
拓展
关于字典和集合,也是可以使用生成器形式来进行此场景过滤的,回顾:python小课堂34 - 推导式与生成器
6
总结
综上所述,在此场景下,效率最高的列表推导式,若是简单的逻辑,推荐大家使用列表推导式写法,如果推导式满足不了需求,在考虑另外两种。
人生第一份工作总结(再见,前任)
爬虫的一些主观看法