Bash ท่อและตัวกรอง (pipes & filters)



| คือหัวใจของ Unix — เครื่องมือเล็ก ๆ ที่ทำงานเดียวเก่ง ๆ ต่อกันเป็นสายพานประกอบร่างแก้ปัญหาใหญ่ บทนี้ว่าด้วยการต่อ pipeline ให้ถูกต้องและจับ error ให้ได้

| เชื่อม stdout → stdin

cat access.log | grep "404" | wc -l
cat access.log      →  พ่นเนื้อไฟล์ออก stdout
     |              →  ต่อ stdout เข้า stdin ของตัวถัดไป
grep "404"          →  กรองเฉพาะบรรทัดที่มี 404
     |
wc -l               →  นับบรรทัด

แต่ละคำสั่งใน pipeline รัน พร้อมกัน ในคนละ process — ข้อมูลไหลผ่านทีละนิด ไม่ต้องรอตัวก่อนหน้าเสร็จทั้งหมด

สร้าง pipeline ทีละขั้น

วิธีที่ดีในการเขียน pipeline ยาว ๆ — เพิ่มทีละ stage แล้วดูผล

# ต้องการ: top 5 IP ที่เข้าเว็บบ่อยสุด
awk '{print $1}' access.log                          # ดึง IP
awk '{print $1}' access.log | sort                   # เรียง (จำเป็นก่อน uniq)
awk '{print $1}' access.log | sort | uniq -c         # นับซ้ำ
awk '{print $1}' access.log | sort | uniq -c | sort -rn        # เรียงมาก→น้อย
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -5   # เอา 5 อันดับ

จัดบรรทัดยาวให้อ่านง่าย

awk '{print $1}' access.log \
    | sort \
    | uniq -c \
    | sort -rn \
    | head -5

ตัวกรองมาตรฐาน (POSIX filters)

คำสั่งที่อ่าน stdin → ประมวลผล → เขียน stdout เอามาต่อ | ได้หมด

คำสั่งทำอะไร
grepกรองบรรทัดตาม pattern
sedแก้ไข/แทนที่ทีละบรรทัด
awkประมวลผลตามคอลัมน์ + คำนวณ
cutตัดเอาบางคอลัมน์/อักขระ
sortเรียงบรรทัด
uniqยุบบรรทัดซ้ำที่ติดกัน (ต้อง sort ก่อน)
trแปลง/ลบอักขระ
wcนับบรรทัด/คำ/อักขระ
head / tailเอา N บรรทัดแรก/ท้าย
teeเขียนลงไฟล์ และ ส่งต่อ stdout
columnจัดเป็นตาราง
xargsแปลง stdin เป็นอาร์กิวเมนต์

(รายละเอียด sort/uniq/cut/tr/sed/awk อยู่ในบทที่ 16–17 ของซีรีส์ Linux และบทที่ 35 ของซีรีส์นี้)

tee — แยกสาย

make 2>&1 | tee build.log                 # เห็นบนจอ + เก็บลงไฟล์
echo "config" | tee /etc/app.conf > /dev/null      # เขียนไฟล์ (เงียบ)
echo "1" | sudo tee /sys/.../setting              # เขียนไฟล์ที่ต้อง root (redirect > ทำแบบ sudo ไม่ได้)
./deploy.sh | tee >(logger -t deploy) | tail       # แยกไป logger ด้วย

tee สำคัญมากตอนต้องเขียนไฟล์ในบริบท sudo — sudo cmd > file ไม่ทำงาน (> รันในฐานะผู้ใช้ปกติ) แต่ cmd | sudo tee file ได้

exit status ของ pipeline

โดยปริยาย exit status ของ a | b | c = exit status ของ c ตัวสุดท้ายเท่านั้น

grep "pattern" nonexistent.txt | sort
echo $?          # 0 — sort สำเร็จ! ทั้งที่ grep ล้มเหลว (ไฟล์ไม่มี)

นี่ทำให้ error ในตัวกลางของ pipeline ถูกกลืน

set -o pipefail

set -o pipefail
grep "pattern" nonexistent.txt | sort
echo $?          # 2 — exit status ของตัวที่ล้มเหลว (grep)

pipefail = “ถ้าตัวไหนใน pipeline ล้มเหลว ให้ทั้ง pipeline คืน exit status ของตัวขวาสุดที่ล้มเหลว” — ควรใส่ในทุกสคริปต์ (ส่วนหนึ่งของ set -euo pipefail)

PIPESTATUS — exit status ของทุกตัว

tar -czf - /data | gzip -9 | ssh remote 'cat > backup.tar.gz'
echo "${PIPESTATUS[@]}"          # เช่น "0 0 0" หรือ "0 0 255"

# เช็กแต่ละตัว
tar czf - /data | split -b 1G - part_
if (( ${PIPESTATUS[0]} != 0 )); then
    echo "tar ล้มเหลว" >&2
fi

PIPESTATUS เป็น array — [0] คือตัวแรกใน pipe ต้องเก็บทันที (ถูกทับหลังคำสั่งถัดไป)

กับดัก: pipe สร้าง subshell

จากบทที่ 15 — ทุกฝั่งของ | รันในคนละ process ตัวแปรที่ตั้งข้างในหายหลัง pipe

echo "hello" | read -r x
echo "$x"        # ว่าง! read รันใน subshell

# ทางแก้: process substitution หรือ here-string
read -r x < <(echo "hello")
read -r x <<< "hello"

xargs — stdin เป็นอาร์กิวเมนต์

บางคำสั่งไม่อ่าน stdin แต่ต้องการอาร์กิวเมนต์ (rm, cp, mkdir) xargs เชื่อมช่องว่างนี้

# ผิด — rm ไม่อ่าน stdin
find . -name '*.tmp' | rm

# ถูก
find . -name '*.tmp' | xargs rm
find . -name '*.tmp' -print0 | xargs -0 rm       # -print0/-0 จัดการชื่อมีช่องว่าง

ใช้ -print0 + -0 เสมอ กับ find | xargs — ไม่งั้นชื่อไฟล์ที่มีช่องว่าง/newline พัง

options สำคัญ

xargs -0            # อ่าน input ที่คั่นด้วย null (คู่กับ find -print0)
xargs -n 1          # ส่งอาร์กิวเมนต์ทีละ 1 ตัวต่อการรัน
xargs -I {} cmd {}  # แทน {} ด้วยแต่ละ item (ตำแหน่งไหนก็ได้)
xargs -P 4          # รัน 4 process พร้อมกัน (ขนาน!)
xargs -r            # ไม่รันถ้า input ว่าง (GNU)
xargs -t            # พิมพ์คำสั่งก่อนรัน (debug)

ตัวอย่าง

# ปรับขนาดรูปทั้งหมด แบบขนาน
find . -name '*.jpg' -print0 | xargs -0 -P4 -I{} convert {} -resize 800x '{}'

# ดาวน์โหลดจากลิสต์ URL
xargs -a urls.txt -P8 -I{} curl -fsSLO {}

# ลบ branch ที่ merge แล้ว
git branch --merged | grep -v '\*\|main' | xargs -r git branch -d

-P + xargs เป็นวิธีทำงานขนานที่ง่ายที่สุดใน bash (บทที่ 28, 40)

|& — pipe รวม stderr (bash)

make |& tee build.log            # = make 2>&1 | tee build.log
gcc prog.c |& grep -i error      # กรอง error จากทั้งสองช่อง

useless use of cat

cat file.txt | grep pattern      # UUOC — cat ไม่จำเป็น
grep pattern file.txt            # grep อ่านไฟล์เองได้
grep pattern < file.txt          # หรือ redirect

cat file | wc -l                 # wc -l < file  หรือ  wc -l file

cat มีประโยชน์จริงเมื่อ: หลายไฟล์ (cat a b c | ...), ต้องการ cat -n/-A, หรือ pipeline อ่านง่ายขึ้นชัดเจน — ไม่ใช่กฎตายตัว แต่รู้ไว้ว่ามักตัดออกได้

เรื่องที่คนมักพลาด

  • exit status ของ pipe = ตัวสุดท้าย — error ตัวกลางถูกกลืน ใส่ set -o pipefail
  • PIPESTATUS ถูกทับ — เก็บทันที ps=("${PIPESTATUS[@]}")
  • cmd | while read ตัวแปรหาย — subshell ใช้ < <(cmd) (บทที่ 15)
  • find | xargs ไม่มี -print0 -0 — ชื่อไฟล์มีช่องว่างพัง หรือ -delete/-exec แทน
  • echo "$var" | cmd — ถ้า var ว่าง cmd ยังได้ 1 บรรทัดว่าง ใช้ printf '%s' "$var" หรือ <<<
  • pipe แล้วคาดว่า stderr ก็ผ่าน | — ไม่ | ส่งแค่ stdout ใช้ 2>&1 | หรือ |&
  • xargs กับ input ว่างแล้วรันคำสั่งเปล่า — rm ที่ไม่มี argument อาจ error หรือรอ stdin ใช้ xargs -r

สรุป

  • a | b = stdout ของ a → stdin ของ b — รันพร้อมกัน คนละ process
  • สร้าง pipeline ทีละ stage แล้วดูผล — จัดบรรทัดด้วย \ + | ขึ้นต้นบรรทัด
  • exit status = ตัวสุดท้าย โดยปริยาย → set -o pipefail ให้จับตัวที่พัง
  • PIPESTATUS[@] = exit status ของทุกตัว (เก็บทันที)
  • pipe = subshell → ตัวแปรใน cmd | while หาย ใช้ < <(cmd)
  • tee เขียนไฟล์ + ส่งต่อ — cmd | sudo tee file เขียนไฟล์ที่ต้อง root
  • xargs แปลง stdin เป็นอาร์กิวเมนต์ — -print0 | xargs -0, -I {}, -P N (ขนาน)
  • |& = 2>&1 | (bash), หลีกเลี่ยง UUOC (cat file | → อ่านไฟล์ตรง ๆ)

บทถัดไปว่าด้วย subshell และการจัดกลุ่มคำสั่ง — ( ) vs { }, อะไรสร้าง subshell และผลกระทบ