Python Iterator และ Generator



ปัญหาของการสร้างลิสต์ทั้งก้อน

def first_n_squares(n):
    result = []
    for i in range(n):
        result.append(i ** 2)
    return result

squares = first_n_squares(10_000_000)   # สร้างลิสต์ 10 ล้านตัวในหน่วยความจำ

ถ้าเราแค่จะวนใช้ทีละตัว ไม่จำเป็นต้องเก็บทั้งหมดไว้พร้อมกัน generator (ตัวผลิตค่าทีละตัว) แก้ปัญหานี้ด้วยการ “ผลิตค่าทีละตัวเมื่อถูกขอ”

Generator ด้วย yield

เปลี่ยน return เป็น yield ฟังก์ชันก็กลายเป็น generator

def first_n_squares(n):
    for i in range(n):
        yield i ** 2


for sq in first_n_squares(5):
    print(sq)     # 0 1 4 9 16

ความต่างคือ generator ไม่คำนวณอะไรจนกว่าจะถูกวน และคำนวณทีละค่า ไม่เก็บทั้งหมด

gen = first_n_squares(10_000_000)
print(next(gen))   # 0    คำนวณแค่ตัวแรก
print(next(gen))   # 1    คำนวณตัวถัดไป
# ไม่มีลิสต์ 10 ล้านตัวในหน่วยความจำ

yield ทำงานยังไง

เมื่อโค้ดถึง yield ฟังก์ชันหยุดค้างไว้ ส่งค่าออกมา แล้วรอ พอถูกขอค่าถัดไป (next() หรือรอบถัดไปของ for) มันทำงานต่อจากจุดที่ค้าง

def countdown(n):
    print("เริ่ม")
    while n > 0:
        yield n
        n -= 1
    print("จบ")


c = countdown(3)
print(next(c))   # เริ่ม / 3
print(next(c))   # 2
print(next(c))   # 1
print(next(c))   # จบ / StopIteration

Generator expression

เหมือน list comprehension แต่ใช้วงเล็บกลม ได้ generator แทนลิสต์

squares_list = [x ** 2 for x in range(1000)]   # ลิสต์ กินหน่วยความจำ
squares_gen = (x ** 2 for x in range(1000))    # generator แทบไม่กิน

# ส่งเข้าฟังก์ชันที่วนอ่านได้เลย
total = sum(x ** 2 for x in range(1000))       # ไม่ต้องมีวงเล็บซ้อน
print(total)   # 332833500

sum(), max(), any(), all() ทำงานกับ generator ได้ดีเพราะมันวนอ่านทีละตัวอยู่แล้ว

ใช้กับข้อมูลขนาดใหญ่: อ่านไฟล์

def read_large_file(path):
    with open(path, "r", encoding="utf-8") as f:
        for line in f:
            yield line.strip()


# ประมวลผลไฟล์ 10 GB โดยใช้หน่วยความจำแค่บรรทัดเดียว
error_count = 0
for line in read_large_file("server.log"):
    if "ERROR" in line:
        error_count += 1

print(f"พบ error {error_count} รายการ")

Generator ที่ไม่มีจุดจบ

def infinite_counter(start=0):
    n = start
    while True:
        yield n
        n += 1


counter = infinite_counter(1)
for _ in range(5):
    print(next(counter))   # 1 2 3 4 5 ...

ลิสต์ทำแบบนี้ไม่ได้เพราะจะพยายามสร้างสมาชิกไม่จำกัด แต่ generator ผลิตทีละตัวจึงทำได้

itertools: เครื่องมือช่วย

import itertools

# นับไม่สิ้นสุด
for i in itertools.count(10, 2):
    if i > 20:
        break
    print(i)   # 10 12 14 16 18 20

# วนซ้ำ
colors = itertools.cycle(["แดง", "เขียว", "น้ำเงิน"])
print([next(colors) for _ in range(7)])
# ['แดง', 'เขียว', 'น้ำเงิน', 'แดง', 'เขียว', 'น้ำเงิน', 'แดง']

# หยิบแค่ N ตัวแรกจาก generator ที่ไม่มีจุดจบ
first_five = list(itertools.islice(infinite_counter(), 5))
print(first_five)   # [0, 1, 2, 3, 4]

Iterator กับ iterable ต่างกันยังไง

  • iterable — สิ่งที่วน for ได้ เช่น list, string, dict, generator
  • iterator — ตัวที่จำได้ว่าวนถึงไหนแล้ว เรียก next() กับมันได้
nums = [1, 2, 3]          # iterable
it = iter(nums)           # ได้ iterator
print(next(it))           # 1
print(next(it))           # 2

generator เป็น iterator อยู่แล้วในตัว จึงเรียก next() ได้เลย

สร้าง iterator ด้วยคลาส (__iter__ / __next__)

ทำได้ แต่ generator มักสั้นกว่าและอ่านง่ายกว่ามาก

class Countdown:
    def __init__(self, start):
        self.current = start

    def __iter__(self):
        return self

    def __next__(self):
        if self.current <= 0:
            raise StopIteration
        self.current -= 1
        return self.current + 1


for n in Countdown(3):
    print(n)   # 3 2 1

ข้อควรระวัง

generator วนได้ครั้งเดียว พอวนจบก็หมด ต้องสร้างใหม่ถ้าจะวนอีก

gen = (x for x in range(3))
print(list(gen))   # [0, 1, 2]
print(list(gen))   # []   — หมดแล้ว

เช็คความเข้าใจก่อนข้ามบท

  • อธิบายได้ว่า generator สร้างค่าทีละตัว ไม่เก็บข้อมูลทั้งก้อนในหน่วยความจำ
  • ใช้ yield และ next() ในตัวอย่างง่าย ๆ ได้
  • บอกได้ว่า generator ที่ถูกวนจนหมดแล้วจะนำกลับมาใช้ซ้ำไม่ได้ ต้องสร้างใหม่

สรุป

  • yield เปลี่ยนฟังก์ชันเป็น generator ผลิตค่าทีละตัวเมื่อถูกขอ
  • ประหยัดหน่วยความจำมากกับข้อมูลขนาดใหญ่ และรองรับลำดับที่ไม่มีจุดจบ
  • generator expression: (x for x in ...) — เหมือน comprehension แต่ขี้เกียจ
  • itertools มีเครื่องมือวนลูปขั้นสูง; generator วนได้ครั้งเดียว

บทถัดไปว่าด้วย decorator การห่อฟังก์ชันเพื่อเพิ่มความสามารถ