Fork me on GitHub

python惰性序列

python中的高级特性——惰性序列
此处输入图片的描述

生成器generator

一边计算一边循环的机制,称为生成器
generator非常强大。相比于传统的for循环直接生成一个list,generator可以节省大量的空间

1
2
3
4
5
6
7
8
9
10
11
12
13
14
>>> g = (x * x for x in range(10))
>>> for n in g:
... print(n)
...
0
1
4
9
16
25
36
49
64
81

如果推算的算法比较复杂,用类似列表生成式的for循环无法实现的时候,还可以用函数来实现。
著名的斐波拉契数列(Fibonacci)

1
2
3
4
5
6
7
def fib(max):
n, a, b = 0, 0, 1
while n < max:
yield b
a, b = b, a + b
n = n + 1
return 'done'

杨辉三角

1
2
3
4
5
6
7
8
9
10
def yanghui(max):
line=[1]
while True:
yield line
nextline = line+[1]#注意这个表达
for i in range(len(line)):
if i != 0:
nextline[i] = line[i-1] + line[i]
line = nextline
return "done"

Iterable与Iterator,iter()

Iterable

python中直接作用于for循环的对象统称为可迭代对象:Iterabale.
一类是集合数据类型,如list、tuple、dict、set、str等;
一类是generator,包括生成器和带yield的generator function。
判断一个对象是否是可迭代对象,可以使用collections模块的Iterable类型判断。

Iterator

能够被next()函数调用并不断返回下一个值的对象称为迭代器:Iterator

iter()

可以使用isinstance()判断一个对象是否是Iterator对象。
可以使用iter()函数把list,dict,str获得一个Iterator对象,用next()计算。

code examples

1
2
3
>>>from collections import Iterable
>>>isinstance("abc",Iterable)
True
1
2
3
4
5
>>>from collections import Iterator
>>>isinstance([],Iterator)
False
>>>isinstance(iter([]),Iterator)
True
1
2
3
4
5
6
7
8
9
10
#注意下面的区别
>>>isinstance((x for x in range(10)),Iterator)
#返回的是一个生成器对象,不是tuple
True
>>>isinstance((),Iterator)
#tuple不是迭代器
False
>>>isinstance([x for x in range(10)],Iterator)
#返回一个list
False
    为什么list、dict、str等数据类型不是Iterator?
    这是因为Python的Iterator对象表示的是一个数据流,Iterator对象可以被next()函数调用并不断返回下一个数据,直到没有数据时抛出StopIteration错误。可以把这个数据流看做是一个有序序列,但我们却不能提前知道序列的长度,只能不断通过next()函数实现按需计算下一个数据,所以Iterator的计算是惰性的,只有在需要返回下一个数据时它才会计算。
    Iterator甚至可以表示一个无限大的数据流,例如全体自然数。而使用list是永远不可能存储全体自然数的。

惰性序列

惰性计算

惰性序列

python中的惰性序列多数指Iterator。对于存在巨大甚至无限多的元素的序列,迭代器仅仅在迭代至某个元素时才计算该元素,在此之前或者之后,元素可以不存在或者被销毁。

意义

一是这样我们就可以实现的无限序列的表示,比如全部的自然数(无穷尽),而不需要真的在内存中计算出所有的自然数(那根本不可能,因为内存也不是无限的),而是需要哪个数,计算到哪个数,或者需要哪些数,计算到那些数(比如前1000个)。
二是在大规模数据处理中起到延迟计算的作用。当你处理大规模数据时,一次性进行处理往往是不方便的。而惰性序列就可以解决这个问题,它把计算的步骤延迟到了要实际使用该数据的时候。
惰性序列可以看作是一个”流”,需要的时候从其中取一滴水。

reference

博客
博客2
教程

-------------本文结束感谢阅读-------------