Python Iterator และ Generator
ปัญหาของการสร้างลิสต์ทั้งก้อน
def first_n_squares(n):
result = []
for i in range(n):
result.append(i ** 2)
return result
squares = first_n_squares(10_000_000) # สร้างลิสต์ 10 ล้านตัวในหน่วยความจำถ้าเราแค่จะวนใช้ทีละตัว ไม่จำเป็นต้องเก็บทั้งหมดไว้พร้อมกัน generator (ตัวผลิตค่าทีละตัว) แก้ปัญหานี้ด้วยการ “ผลิตค่าทีละตัวเมื่อถูกขอ”
Generator ด้วย yield
เปลี่ยน return เป็น yield ฟังก์ชันก็กลายเป็น generator
def first_n_squares(n):
for i in range(n):
yield i ** 2
for sq in first_n_squares(5):
print(sq) # 0 1 4 9 16ความต่างคือ generator ไม่คำนวณอะไรจนกว่าจะถูกวน และคำนวณทีละค่า ไม่เก็บทั้งหมด
gen = first_n_squares(10_000_000)
print(next(gen)) # 0 คำนวณแค่ตัวแรก
print(next(gen)) # 1 คำนวณตัวถัดไป
# ไม่มีลิสต์ 10 ล้านตัวในหน่วยความจำyield ทำงานยังไง
เมื่อโค้ดถึง yield ฟังก์ชันหยุดค้างไว้ ส่งค่าออกมา แล้วรอ พอถูกขอค่าถัดไป (next() หรือรอบถัดไปของ for) มันทำงานต่อจากจุดที่ค้าง
def countdown(n):
print("เริ่ม")
while n > 0:
yield n
n -= 1
print("จบ")
c = countdown(3)
print(next(c)) # เริ่ม / 3
print(next(c)) # 2
print(next(c)) # 1
print(next(c)) # จบ / StopIterationGenerator expression
เหมือน list comprehension แต่ใช้วงเล็บกลม ได้ generator แทนลิสต์
squares_list = [x ** 2 for x in range(1000)] # ลิสต์ กินหน่วยความจำ
squares_gen = (x ** 2 for x in range(1000)) # generator แทบไม่กิน
# ส่งเข้าฟังก์ชันที่วนอ่านได้เลย
total = sum(x ** 2 for x in range(1000)) # ไม่ต้องมีวงเล็บซ้อน
print(total) # 332833500sum(), max(), any(), all() ทำงานกับ generator ได้ดีเพราะมันวนอ่านทีละตัวอยู่แล้ว
ใช้กับข้อมูลขนาดใหญ่: อ่านไฟล์
def read_large_file(path):
with open(path, "r", encoding="utf-8") as f:
for line in f:
yield line.strip()
# ประมวลผลไฟล์ 10 GB โดยใช้หน่วยความจำแค่บรรทัดเดียว
error_count = 0
for line in read_large_file("server.log"):
if "ERROR" in line:
error_count += 1
print(f"พบ error {error_count} รายการ")Generator ที่ไม่มีจุดจบ
def infinite_counter(start=0):
n = start
while True:
yield n
n += 1
counter = infinite_counter(1)
for _ in range(5):
print(next(counter)) # 1 2 3 4 5 ...ลิสต์ทำแบบนี้ไม่ได้เพราะจะพยายามสร้างสมาชิกไม่จำกัด แต่ generator ผลิตทีละตัวจึงทำได้
itertools: เครื่องมือช่วย
import itertools
# นับไม่สิ้นสุด
for i in itertools.count(10, 2):
if i > 20:
break
print(i) # 10 12 14 16 18 20
# วนซ้ำ
colors = itertools.cycle(["แดง", "เขียว", "น้ำเงิน"])
print([next(colors) for _ in range(7)])
# ['แดง', 'เขียว', 'น้ำเงิน', 'แดง', 'เขียว', 'น้ำเงิน', 'แดง']
# หยิบแค่ N ตัวแรกจาก generator ที่ไม่มีจุดจบ
first_five = list(itertools.islice(infinite_counter(), 5))
print(first_five) # [0, 1, 2, 3, 4]Iterator กับ iterable ต่างกันยังไง
- iterable — สิ่งที่วน
forได้ เช่น list, string, dict, generator - iterator — ตัวที่จำได้ว่าวนถึงไหนแล้ว เรียก
next()กับมันได้
nums = [1, 2, 3] # iterable
it = iter(nums) # ได้ iterator
print(next(it)) # 1
print(next(it)) # 2generator เป็น iterator อยู่แล้วในตัว จึงเรียก next() ได้เลย
สร้าง iterator ด้วยคลาส (__iter__ / __next__)
ทำได้ แต่ generator มักสั้นกว่าและอ่านง่ายกว่ามาก
class Countdown:
def __init__(self, start):
self.current = start
def __iter__(self):
return self
def __next__(self):
if self.current <= 0:
raise StopIteration
self.current -= 1
return self.current + 1
for n in Countdown(3):
print(n) # 3 2 1ข้อควรระวัง
generator วนได้ครั้งเดียว พอวนจบก็หมด ต้องสร้างใหม่ถ้าจะวนอีก
gen = (x for x in range(3))
print(list(gen)) # [0, 1, 2]
print(list(gen)) # [] — หมดแล้วเช็คความเข้าใจก่อนข้ามบท
- อธิบายได้ว่า generator สร้างค่าทีละตัว ไม่เก็บข้อมูลทั้งก้อนในหน่วยความจำ
- ใช้
yieldและnext()ในตัวอย่างง่าย ๆ ได้ - บอกได้ว่า generator ที่ถูกวนจนหมดแล้วจะนำกลับมาใช้ซ้ำไม่ได้ ต้องสร้างใหม่
สรุป
yieldเปลี่ยนฟังก์ชันเป็น generator ผลิตค่าทีละตัวเมื่อถูกขอ- ประหยัดหน่วยความจำมากกับข้อมูลขนาดใหญ่ และรองรับลำดับที่ไม่มีจุดจบ
- generator expression:
(x for x in ...)— เหมือน comprehension แต่ขี้เกียจ itertoolsมีเครื่องมือวนลูปขั้นสูง; generator วนได้ครั้งเดียว
บทถัดไปว่าด้วย decorator การห่อฟังก์ชันเพื่อเพิ่มความสามารถ