ใช้ Kubernetes pause ใน Docker เปล่าๆ

สำหรับใครที่ใช้ Kubernetes และเคยเข้าไป list container ดูภายใน node ก็จะเคยเห็น container อันนึงชื่อ pause ซึ่งจะมี 1 pause ต่อ 1 pod

EKS Pause เขียนอธิบายหน้าที่ของมันไว้ว่า

The Kubernetes pause container serves as the parent container for all of the containers in a pod. The pause container has two core responsibilities. First, it serves as the basis of Linux namespace sharing in the pod. Second, with PID (process ID) namespace sharing enabled, it serves as PID 1 for each pod and reaps zombie processes. It is responsible for creating shared network, assigning IP addresses within the pod for all containers inside this pod. If the pause container is terminated, Kubernetes will consider the whole pod as terminated and kill it and reschedule a new one.

แปลได้ว่า

Container pause ของ Kubernetes มีหน้าที่เป็น container หลักสำหรับทุก container ใน pod เดียวกัน โดย pause container มี 2 หน้าที่คือ

  1. เป็นฐานของการแชร์ Linux namespace ภายใน pod
  2. ถ้าหากเปิดการแชร์ PID (process ID) namespace ไว้ด้วยกัน มันก็จะเป็น PID 1 สำหรับแต่ละ pod ทำหน้าที่เก้บ zombie process

หน้าที่รับผิดชอบของมันคือสร้าง network ที่แชร์ กำหนด IP ภายใน pod สำหรับทุก container

ถ้าหาก pause container ถูกปิด Kubernetes จะถือว่าทั้ง pod หยุดทำงานและจะสร้าง pod ใหม่

ฟังดูยุ่งๆ ไม่เข้าใจ แต่ผมพบว่าหลังๆ มา ผมมี use case เรื่อง namespace sharing ใช้ใน Docker เปล่าๆ หลายทีแล้ว ก็เลยอยากมาให้ดูว่า namespace sharing คืออะไรและใช้นอก Docker อย่างไร

Network sharing

Is this cattle or pet

ใครที่เคยทำหลาย container ต่อ 1 pod ใน Kubernetes (sidecar pattern) จะทราบว่า localhost บน 2 container นั้นจะแชร์กัน อยากคุยกันก็ยิงผ่าน localhost ได้ หรือถ้ามีการเปิด port จะเปิดทับกันไม่ได้ ซึ่งผมพบว่าผมต้องการทำแบบนี้แต่ไม่ใช้ Kubernetes

ช่วงนี้ผมเริ่มย้าย Network ภายในบางส่วนมาใช้โปรแกรม Tailscale ซึ่งเป็นโปรแกรม VPN รูปแบบหนึ่ง ฟีเจอร์หนึ่งของ Tailscale คือสามารถแชร์เครื่องให้กับคนภายนอกได้ ใน use case ที่ผมต้องการใช้ก็คือจะเล่นเกม Minecraft กับคนอื่น ถ้าหากเปิด IP Minecraft ออก Internet แล้วไม่ดูแลก็อาจจะถูก scan และ Hack network ภายในได้ ก็เลยจะต้องเข้ามาใน VPN ก่อนจึงจะเล่นได้

ในอดีต use case ลักษณะนี้ที่จะนิยมกันก็คือใช้โปรแกรม Hamachi แต่ว่าโปรแกรม Hamachi นั้นจะมองเห็นเป็น LAN เดียวกันเข้าถึงกันได้หมด แปลว่าถ้าหากเครื่องที่เข้ามาต่อมี firewall ภายในไม่ถูกต้องอาจจะทำให้เพื่อนล้วงข้อมูลของเราได้ หรือติด worm ต่อกัน สำหรับ Tailscale นั้นจะใช้ระบบให้ 1 คน 1 network ของใครของมัน แล้วผมสามารถแชร์เครื่องให้เพื่อนได้ซึ่งจะทำให้มองเห็นเฉพาะเครื่องนั้นอยู่บน network ของเพื่อน (เครื่องที่แชร์จะไม่สามารถเปิด connection ออกไปหา network คนอื่นได้ ทำให้เราไม่สามารถ scan network เพื่อนได้เช่นกัน)

วิธีการใช้งาน Tailscale ที่ดีก็คือติดตั้งเป็น sidecar ของ Container ทำให้เราเห็น 1 container = 1 machine ใน Tailscale แล้วเราแชร์ออกไปเฉพาะ container นั้นได้ แปลว่าใครเล่น Minecraft กับผมก็เข้ามา Factorio server ไม่ได้ ถ้าไม่รู้ลิงค์แชร์ Factorio

ทีนี้เราก็เลยจะต้องติดตั้ง Tailscale บน “เครื่อง” เดียวกับ Minecraft หรือก็คือเราต้องทำให้ localhost เดียวมีทั้ง Tailscale + Minecraft ผมก็นึกถึงท่า Kubernetes ขึ้นมาเลยว่าภายใน pod ก็เป็นแบบนั้นเป๊ะ

ดังนั้น Docker compose ก็จะเป็นลักษณะนี้

version: "2.2"
services:
  minecraft:
    restart: unless-stopped
    image: itzg/minecraft-server
    tty: true
    stdin_open: true
    environment:
      EULA: 'true'
    volumes:
      - /path/to/minecraft:/data:Z
  tailscale:
    image: ghcr.io/tailscale/tailscale:latest
    restart: unless-stopped
    network_mode: service:minecraft
    cap_add:
      - NET_ADMIN
      - NET_RAW
    volumes:
      - ts_data:/state/
    devices:
      - /dev/net/tun
    environment:
      TS_HOSTNAME: minecraft
      TS_STATE_DIR: /state/
      TS_USERSPACE: 'false'
      TS_DEBUG_FIREWALL_MODE: nftables
volumes:
  ts_data: {}

ในส่วนของ Tailscale container เราจะกำหนด TS_USERSPACE=false เพราะเราจะให้ CAP_NET_ADMIN กับ container ไปเลย ซึ่งเทียบเท่ากับ privileged container ใน Kubernetes และจะทำให้ preserve source IP ไว้ได้ (Minecraft จะเห็น source IP จริง ไม่ใช่ 127.0.0.1) และมีการกำหนด network_mode: service:minecraft เพื่อบอกว่ามีการแชร์ network namespace ร่วมกับ minecraft container ทำให้ localhost เห็นทะลุกันเหมือนกับใน Kubernetes pod

ท่านี้ก็เหมือนจะดี จนกระทั่งผมเริ่ม mod Minecraft แล้วต้อง restart ก็พบว่า Tailscale network หลุด ใช้งานไม่ได้ ต้องลบสร้างใหม่อย่างเดียว และ docker-compose มันไม่ลบด้วยเพราะเราไม่ได้แก้อะไร ที่เป็นแบบนี้เพราะว่า network card หายไปแล้วตอนที่ Minecraft หยุดทำงาน ทำให้ Tailscale ไม่มีช่องทางเชื่อมต่อเน็ตอีก

ดังนั้นถ้าเรามี container ที่รันนานๆ ไม่ต้อง restart ไม่ crash เลย ก็น่าจะแก้ไขปัญหานี้ได้ ซึ่งทำให้ผมนึกถึงว่านี่คือเหตุผลเดียวกับที่ Kubernetes มี pause container ดังนั้นเราสามารถขโมย pause container ออกมาใช้ได้

services:
  pause:
    image: public.ecr.aws/eks-distro/kubernetes/pause:3.9
    restart: unless-stopped

(แล้วแก้ container อื่นๆ ให้มี network_mode: service:pause)

อันนี้คือผมขโมย pause container ของ EKS มาเลย ซึ่งน่าจะเป็น Kubernetes ที่น่าเชื่อถือตัวหนึ่งและมันหาลิงค์ง่ายดี หลังจากใช้ pause แล้วเราก็สามารถ restart Minecraft ได้เรื่อยๆ ไม่ต้อง recreate Tailscale อีกต่อไป ซึ่งดีมากๆ เพราะว่าอีกเกมหนึ่งที่เล่นกันคือ Satisfactory แล้วมัน crash บ่อยมาก ก็ปล่อย Docker restart ให้ได้เลยไม่ต้องเข้าไป recreate Tailscale ตามหลัง

PID sharing

อีกท่าหนึ่งที่ผมมีใช้งานก็คือการ share PID กัน ซึ่ง use case ที่จะใช้ก็คือผมมี container Certbot และ application ต่างๆ ที่ใช้ Cert ใน container อื่นๆ โดยแชร์ volume ให้เป็น readonly

ปัญหาก็คือปกติแล้วเวลา certbot มัน update cert ให้ มันจะ restart nginx ให้ แต่มันอยู่คนละ container กันจะทำอย่างไรดี ท่าต่อไปนี้ก็ไม่ควรทำ

  1. Mount Docker socket เข้าไปให้ certbot ก็จะทำให้มันยุ่ง container ที่ไม่เกี่ยวข้องได้
  2. Restart container อื่นด้วย cronjob ซึ่งก็พอใช้ได้ แต่มัน hack ไปหน่อย โปรแกรมบางตัวอาจจะต้อง restart ตอนเปลี่ยน cert ถ้าทำทุกวันอาจจะ disruptive
  3. Run certbot ใน host อาจจะยากตรงที่ต้องหา binary ที่มี plugin ที่ต้องการใช้งานให้ครบ
  4. ไม่ควรดัดแปลง container ให้มีหลายๆ process เช่นมี supervisor + nginx + cron + certbot

วิธีที่ทำได้ก็ยังใช้ pause container เช่นเดิม โดย

  1. สร้าง pause container ไว้ก่อน
  2. Run certbot container โดยกำหนด --pid pause เพื่อแชร์ pid namespace กับ pause
  3. Run application container โดยกำหนด --pid pause เช่นกัน

จากนั้นใน certbot เราก็ install hook ให้ killall -s HUP nginx ก็เป็นอันเรียบร้อย เพราะอยู่ใน namespace เดียวกันสามารถส่ง signal ไปหา process อื่นๆ ภายใน namespace ได้เลย

ข้อควรระวังคือไม่ควรมี container อยู่ใน pid namespace โดยไม่จำเป็นเพราะมันสามารถ list process ข้ามกันได้ และถ้า user ID ตรงกันหรือเป็น root ใน container ก็ kill process ข้ามกันได้

On Kubernetes Node Sizing

เหมือนเคยเขียนใน Facebook แต่ไม่แน่ใจ จริงๆ ก็อยากเขียนให้มัน scientific ดีๆ ลง blog บริษัท

คำถามที่ไม่มีใครตอบได้อันนึงของ Kubernetes คือ node ใช้ size อะไรดี โดยเฉพาะใน cloud ที่

  • m5.xlarge 4vCPU RAM 16GB ราคา $0.24/hr
  • m5.4xlarge 16vCPU RAM 64GB ราคา $0.96/hr

ซึ่งถ้าซื้อ m5.xlarge 4 เครื่องให้สเปคเท่ากัน มันก็ $0.96/hr อยู่ดี เลยไม่ต่างกันแล้วจะเลือกยังไง…

Fault isolation

ใน design cluster เดิมผมใช้ m5.xlarge รันอยู่

ข้อดีของวิธีนี้คือเครื่องจะเป็น single point of failure น้อย

ข้อเสียคือสมมุติว่าทุกเครื่องมันจะเหลือ CPU ประมาณ 200m เพราะมันไม่มี workload size ที่ลงได้ สมมุติว่าเรามี 10 เครื่องที่เหลือรวมกันก็ 2000m แล้ว ยังไ่มรวม memory

อีกปัญหาหนึ่งคือ workload ที่มัน burst เกิน cpu request ต่อเนื่องจะกลายเป็น noisy neighbour ให้กับ pod ข้างๆ ซึ่งแก้ไม่ได้เพราะบางทีมันก็ burst แป๊บเดียวจริงๆ เช่นตอน start อาจจะโหลดหนักมากแต่ตอนรันใช้ cpu แค่ 20m ถ้าเราใส่ cpu cap ให้มันเป็น 20m ทีนี้ start ทีนึงหลายนาที เผลอๆ connection timeout แล้ว start ไม่ติด (cloud ต่างๆ ใช้ burst model เป็นแบบเป็น credit ซึ่ง Kubernetes ไม่มี)

Bigger the better

ใน cluster ใหม่ ผมกับ director คิดกันว่าควรจะเลือกเครื่อง size ใหญ่ขึ้น

เหตุผลของผมคือเราใช้ AWS ENI ต่อเข้า pod แล้วพอเครื่องใหญ่ขึ้นจะได้ ENI มากขึ้น คิดว่าประมาณ m5.4xlarge กำลังเหมาะเพราะมันจะได้ 234 pod ซึ่งคิดว่า average case แล้วมันไม่น่า่จะอัดกันเครื่องเดียวได้ 234 pod แต่ก็มีบ้างถ้าเครื่องโดน assign แต่ workload เล็กๆ

เหตุผลของ Director ผมคือถ้าเราไปใช้ m5.8xlarge ขึ้นไป เราจะได้การันตี 10Gbps network (ต่ำกว่านี้เป็น up to) ซึ่งคิดว่ามันน่าจะช่วยให้ network เสถียรขึ้น แต่ก็คงใช้เฉพาะใน production เท่านั้น

ข้อเสียคือถ้าเครื่องมันดับ impact จะใหญ่ขึ้นมากๆ และเวลา scale up เครื่องมันจะเหลือ

จากที่ใช้งานมาจริง ก็พบว่า

  • Network มันน่าจะนิ่งและเร็วขึ้น เพราะเครื่องใหญ่แล้วโอกาสที่ workload จะรันอยู่บนเครื่องเดียวกันจะมากขึ้น
  • ส่วนมากคนจะเขียน resource request เป็น p80 ขึ้นไปแต่เวลาใช้งานจริงส่วนมากจะไม่ถึง และ workload บนเครื่องที่หลากหลายขึ้น คิดว่าน่าจะทำให้ในทางปฏิบัติทุก pod สามารถ burst ชน cpu limit ได้ตลอดเวลา เพราะไม่น่าจะมีโอกาสที่ทุก pod จะอยาก burst พร้อมกัน ซึ่งก็จะลดปัญหา noisy neighbor ไปได้
    • Google มี finding คล้ายๆ กันว่าถ้าเครื่องมันใหญ่กว่าขนาดของ workload มากๆ ทุกคนน่าจะสามารถ burst พร้อมกันได้ถ้ามันกระจายตัวดีพอ
  • rolling reboot เร็วขึ้น แต่ก่อน reboot ทั้ง cluster หลายชั่วโมง
  • resource request ส่วนที่เหลือทิ้งของเครื่องที่เต็มยังเท่าเดิมจริง แต่เครื่องมักจะไม่เต็มเพราะ Kubernetes จะเน้นกระจายมากกว่าพยายามอัดให้เต็มเป็นเครื่องๆ ไป ก็เลยเหลือทิ้งอยู่ดี

ไว้ prod เอาขึ้นแล้วน่าจะได้รู้ผลของทฤษฎีกันจริงๆ ว่าจะ work แค่ไหน