在Python中，生成器（Generator） 是一种特殊的迭代器，它使用 yield 关键字来逐个返回值，而不是一次性将所有结果计算出来并存储在内存中。这种“按需生成”的特性，使得生成器在处理大数据、流式数据、惰性求值等场景中非常高效。

本文将详细讲解 Python生成器的基本原理、使用方法、常见应用场景，并通过大量示例帮助你掌握这一重要技能。

一、什么是生成器？

生成器是一种用于惰性求值的函数，它不像普通函数那样返回一个值后就结束，而是可以在执行过程中多次暂停和恢复，每次调用 next() 都会继续执行到下一个 yield 表达式。

生成器有两种形式：

生成器函数：使用 yield 的函数
生成器表达式：类似列表推导式的语法，但使用圆括号 ()

示例1：最简单的生成器函数

def simple_generator():
    yield 1
    yield 2
    yield 3

gen = simple_generator()
print(next(gen))  # 输出 1
print(next(gen))  # 输出 2
print(next(gen))  # 输出 3
print(next(gen))  # 抛出 StopIteration

注意：生成器函数不会立即执行其代码，而是返回一个生成器对象，只有在调用 next() 或在 for 循环中使用时才会逐步执行。

二、生成器的工作机制

生成器之所以能实现“按需生成”，是因为它内部维护了一个状态机。每当遇到 yield 语句时，函数会暂停执行，并保存当前的状态；下次调用 next() 时，函数从中断处继续执行。

示例2：带循环的生成器

def count_up_to(n):
    i = 1
    while i <= n:
        yield i
        i += 1

gen = count_up_to(5)
for num in gen:
    print(num)

输出：

在这个例子中，count_up_to 函数是一个生成器函数，它会在每次调用 yield 后暂停，直到下一次请求到来。

三、生成器与普通函数的区别

四、生成器表达式

除了生成器函数，我们还可以使用生成器表达式创建简洁的生成器。

示例3：生成器表达式 vs 列表推导式

# 列表推导式：一次性生成所有元素
squares_list = [x*x for x in range(10)]
print(squares_list)  # 输出完整列表

# 生成器表达式：按需生成
squares_gen = (x*x for x in range(10))
print(squares_gen)   # <generator object ...>

两者区别在于：

列表推导式一次性生成整个列表，占用内存
生成器表达式只在需要时计算下一个值，节省内存

五、生成器的常用操作

1. 使用next()获取下一个值

gen = (x for x in range(3))
print(next(gen))  # 0
print(next(gen))  # 1
print(next(gen))  # 2
print(next(gen))  # StopIteration

2. 在for循环中自动遍历

for num in count_up_to(5):
    print(num)

3. 使用send()方法传递值（协程）

def echo():
    while True:
        received = yield
        print("收到:", received)

gen = echo()
next(gen)  # 启动生成器
gen.send("你好")
gen.send("再见")

输出：

收到: 你好
收到: 再见

注意：第一次必须调用 next() 或 send(None) 来启动生成器

4. 使用throw()抛出异常

def my_gen():
    try:
        yield 1
        yield 2
    except ValueError:
        print("捕获到异常")

gen = my_gen()
print(next(gen))  # 输出 1
gen.throw(ValueError)  # 触发异常

5. 使用close()关闭生成器

def infinite_gen():
    while True:
        yield "Hello"

gen = infinite_gen()
print(next(gen))  # Hello
gen.close()       # 终止生成器

六、生成器的应用场景

场景1：处理大文件或大数据流

当处理超大文件或实时数据流时，使用生成器可以避免一次性加载所有内容到内存。

def read_large_file(file_path):
    with open(file_path, 'r', encoding='utf-8') as f:
        for line in f:
            yield line.strip()

for line in read_large_file('big_data.txt'):
    print(line)

场景2：无限序列生成器

如斐波那契数列、质数生成等。

def fibonacci():
    a, b = 0, 1
    while True:
        yield a
        a, b = b, a + b

fib = fibonacci()
for _ in range(10):
    print(next(fib))

输出前10个斐波那契数：

场景3：协程（Coroutine）通信

生成器可以作为协程使用，在异步编程中有广泛应用。

def consumer():
    while True:
        item = yield
        print("消费了:", item)

def producer(consumer_gen):
    for i in range(5):
        print("生产了:", i)
        consumer_gen.send(i)

prod = producer(consumer())
next(prod)  # 启动协程

场景4：懒加载与资源控制

例如数据库查询结果分页获取。

def query_database(limit=10):
    offset = 0
    while True:
        results = fetch_from_db(offset, limit)
        if not results:
            break
        for row in results:
            yield row
        offset += limit

七、生成器的优点与注意事项

优点：

节省内存：不一次性加载所有数据
控制流清晰：明确每个步骤
支持惰性求值：只在需要时计算
易于扩展：可组合多个生成器形成复杂逻辑

注意事项：

不支持索引访问，无法像列表一样随机读取
一旦遍历完就“耗尽”，不能重复使用
协程模式需要理解状态管理
不建议嵌套使用多个生成器，容易导致混乱

八、生成器 vs 迭代器

特性	迭代器	生成器
创建方式	自定义类实现	使用 yield 关键字
语法复杂度	稍高	简洁
内存占用	更可控	自动管理
适合场景	复杂状态控制	简单序列生成

九、总结

生成器是 Python 中实现“惰性求值”和“按需生成”的核心机制之一。它通过 yield 关键字让我们能够轻松地构建高效的、按需计算的数据源，广泛应用于大数据处理、网络请求、异步编程等领域。

通过本文的学习，你应该已经掌握了：

生成器的基本概念和工作原理
如何定义和使用生成器函数和表达式
生成器的常用操作（next、send、throw、close）
常见应用场景（大文件处理、无限序列、协程等）
生成器与迭代器的异同点

作为 Python 初学者，建议你在练习中多尝试使用生成器来优化代码结构，提升性能，并结合实际需求进行拓展。

希望这篇文章能帮助你在 Python 编程之路上越走越远！

达永编程网

程序员技术分享与交流平台

Python学不会来打我(36)生成器详解，一篇讲清所有知识点