Bash ท่อและตัวกรอง (pipes & filters)
| คือหัวใจของ Unix — เครื่องมือเล็ก ๆ ที่ทำงานเดียวเก่ง ๆ ต่อกันเป็นสายพานประกอบร่างแก้ปัญหาใหญ่ บทนี้ว่าด้วยการต่อ pipeline ให้ถูกต้องและจับ error ให้ได้
| เชื่อม stdout → stdin
cat access.log | grep "404" | wc -lcat access.log → พ่นเนื้อไฟล์ออก stdout
| → ต่อ stdout เข้า stdin ของตัวถัดไป
grep "404" → กรองเฉพาะบรรทัดที่มี 404
|
wc -l → นับบรรทัดแต่ละคำสั่งใน pipeline รัน พร้อมกัน ในคนละ process — ข้อมูลไหลผ่านทีละนิด ไม่ต้องรอตัวก่อนหน้าเสร็จทั้งหมด
สร้าง pipeline ทีละขั้น
วิธีที่ดีในการเขียน pipeline ยาว ๆ — เพิ่มทีละ stage แล้วดูผล
# ต้องการ: top 5 IP ที่เข้าเว็บบ่อยสุด
awk '{print $1}' access.log # ดึง IP
awk '{print $1}' access.log | sort # เรียง (จำเป็นก่อน uniq)
awk '{print $1}' access.log | sort | uniq -c # นับซ้ำ
awk '{print $1}' access.log | sort | uniq -c | sort -rn # เรียงมาก→น้อย
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -5 # เอา 5 อันดับจัดบรรทัดยาวให้อ่านง่าย
awk '{print $1}' access.log \
| sort \
| uniq -c \
| sort -rn \
| head -5ตัวกรองมาตรฐาน (POSIX filters)
คำสั่งที่อ่าน stdin → ประมวลผล → เขียน stdout เอามาต่อ | ได้หมด
| คำสั่ง | ทำอะไร |
|---|---|
grep | กรองบรรทัดตาม pattern |
sed | แก้ไข/แทนที่ทีละบรรทัด |
awk | ประมวลผลตามคอลัมน์ + คำนวณ |
cut | ตัดเอาบางคอลัมน์/อักขระ |
sort | เรียงบรรทัด |
uniq | ยุบบรรทัดซ้ำที่ติดกัน (ต้อง sort ก่อน) |
tr | แปลง/ลบอักขระ |
wc | นับบรรทัด/คำ/อักขระ |
head / tail | เอา N บรรทัดแรก/ท้าย |
tee | เขียนลงไฟล์ และ ส่งต่อ stdout |
column | จัดเป็นตาราง |
xargs | แปลง stdin เป็นอาร์กิวเมนต์ |
(รายละเอียด sort/uniq/cut/tr/sed/awk อยู่ในบทที่ 16–17 ของซีรีส์ Linux และบทที่ 35 ของซีรีส์นี้)
tee — แยกสาย
make 2>&1 | tee build.log # เห็นบนจอ + เก็บลงไฟล์
echo "config" | tee /etc/app.conf > /dev/null # เขียนไฟล์ (เงียบ)
echo "1" | sudo tee /sys/.../setting # เขียนไฟล์ที่ต้อง root (redirect > ทำแบบ sudo ไม่ได้)
./deploy.sh | tee >(logger -t deploy) | tail # แยกไป logger ด้วยtee สำคัญมากตอนต้องเขียนไฟล์ในบริบท sudo — sudo cmd > file ไม่ทำงาน (> รันในฐานะผู้ใช้ปกติ) แต่ cmd | sudo tee file ได้
exit status ของ pipeline
โดยปริยาย exit status ของ a | b | c = exit status ของ c ตัวสุดท้ายเท่านั้น
grep "pattern" nonexistent.txt | sort
echo $? # 0 — sort สำเร็จ! ทั้งที่ grep ล้มเหลว (ไฟล์ไม่มี)นี่ทำให้ error ในตัวกลางของ pipeline ถูกกลืน
set -o pipefail
set -o pipefail
grep "pattern" nonexistent.txt | sort
echo $? # 2 — exit status ของตัวที่ล้มเหลว (grep)pipefail = “ถ้าตัวไหนใน pipeline ล้มเหลว ให้ทั้ง pipeline คืน exit status ของตัวขวาสุดที่ล้มเหลว” — ควรใส่ในทุกสคริปต์ (ส่วนหนึ่งของ set -euo pipefail)
PIPESTATUS — exit status ของทุกตัว
tar -czf - /data | gzip -9 | ssh remote 'cat > backup.tar.gz'
echo "${PIPESTATUS[@]}" # เช่น "0 0 0" หรือ "0 0 255"
# เช็กแต่ละตัว
tar czf - /data | split -b 1G - part_
if (( ${PIPESTATUS[0]} != 0 )); then
echo "tar ล้มเหลว" >&2
fiPIPESTATUS เป็น array — [0] คือตัวแรกใน pipe ต้องเก็บทันที (ถูกทับหลังคำสั่งถัดไป)
กับดัก: pipe สร้าง subshell
จากบทที่ 15 — ทุกฝั่งของ | รันในคนละ process ตัวแปรที่ตั้งข้างในหายหลัง pipe
echo "hello" | read -r x
echo "$x" # ว่าง! read รันใน subshell
# ทางแก้: process substitution หรือ here-string
read -r x < <(echo "hello")
read -r x <<< "hello"xargs — stdin เป็นอาร์กิวเมนต์
บางคำสั่งไม่อ่าน stdin แต่ต้องการอาร์กิวเมนต์ (rm, cp, mkdir) xargs เชื่อมช่องว่างนี้
# ผิด — rm ไม่อ่าน stdin
find . -name '*.tmp' | rm
# ถูก
find . -name '*.tmp' | xargs rm
find . -name '*.tmp' -print0 | xargs -0 rm # -print0/-0 จัดการชื่อมีช่องว่างใช้ -print0 + -0 เสมอ กับ find | xargs — ไม่งั้นชื่อไฟล์ที่มีช่องว่าง/newline พัง
options สำคัญ
xargs -0 # อ่าน input ที่คั่นด้วย null (คู่กับ find -print0)
xargs -n 1 # ส่งอาร์กิวเมนต์ทีละ 1 ตัวต่อการรัน
xargs -I {} cmd {} # แทน {} ด้วยแต่ละ item (ตำแหน่งไหนก็ได้)
xargs -P 4 # รัน 4 process พร้อมกัน (ขนาน!)
xargs -r # ไม่รันถ้า input ว่าง (GNU)
xargs -t # พิมพ์คำสั่งก่อนรัน (debug)ตัวอย่าง
# ปรับขนาดรูปทั้งหมด แบบขนาน
find . -name '*.jpg' -print0 | xargs -0 -P4 -I{} convert {} -resize 800x '{}'
# ดาวน์โหลดจากลิสต์ URL
xargs -a urls.txt -P8 -I{} curl -fsSLO {}
# ลบ branch ที่ merge แล้ว
git branch --merged | grep -v '\*\|main' | xargs -r git branch -d-P + xargs เป็นวิธีทำงานขนานที่ง่ายที่สุดใน bash (บทที่ 28, 40)
|& — pipe รวม stderr (bash)
make |& tee build.log # = make 2>&1 | tee build.log
gcc prog.c |& grep -i error # กรอง error จากทั้งสองช่องuseless use of cat
cat file.txt | grep pattern # UUOC — cat ไม่จำเป็น
grep pattern file.txt # grep อ่านไฟล์เองได้
grep pattern < file.txt # หรือ redirect
cat file | wc -l # wc -l < file หรือ wc -l filecat มีประโยชน์จริงเมื่อ: หลายไฟล์ (cat a b c | ...), ต้องการ cat -n/-A, หรือ pipeline อ่านง่ายขึ้นชัดเจน — ไม่ใช่กฎตายตัว แต่รู้ไว้ว่ามักตัดออกได้
เรื่องที่คนมักพลาด
- exit status ของ pipe = ตัวสุดท้าย — error ตัวกลางถูกกลืน ใส่
set -o pipefail PIPESTATUSถูกทับ — เก็บทันทีps=("${PIPESTATUS[@]}")cmd | while readตัวแปรหาย — subshell ใช้< <(cmd)(บทที่ 15)find | xargsไม่มี-print0 -0— ชื่อไฟล์มีช่องว่างพัง หรือ-delete/-execแทนecho "$var" | cmd— ถ้าvarว่างcmdยังได้ 1 บรรทัดว่าง ใช้printf '%s' "$var"หรือ<<<- pipe แล้วคาดว่า stderr ก็ผ่าน
|— ไม่|ส่งแค่ stdout ใช้2>&1 |หรือ|& xargsกับ input ว่างแล้วรันคำสั่งเปล่า —rmที่ไม่มี argument อาจ error หรือรอ stdin ใช้xargs -r
สรุป
a | b= stdout ของa→ stdin ของb— รันพร้อมกัน คนละ process- สร้าง pipeline ทีละ stage แล้วดูผล — จัดบรรทัดด้วย
\+|ขึ้นต้นบรรทัด - exit status = ตัวสุดท้าย โดยปริยาย →
set -o pipefailให้จับตัวที่พัง PIPESTATUS[@]= exit status ของทุกตัว (เก็บทันที)- pipe = subshell → ตัวแปรใน
cmd | whileหาย ใช้< <(cmd) teeเขียนไฟล์ + ส่งต่อ —cmd | sudo tee fileเขียนไฟล์ที่ต้อง rootxargsแปลง stdin เป็นอาร์กิวเมนต์ —-print0 | xargs -0,-I {},-P N(ขนาน)|&=2>&1 |(bash), หลีกเลี่ยง UUOC (cat file |→ อ่านไฟล์ตรง ๆ)
บทถัดไปว่าด้วย subshell และการจัดกลุ่มคำสั่ง — ( ) vs { }, อะไรสร้าง subshell และผลกระทบ