Medallion Architecture: จัดชั้นข้อมูลจากดิบ สู่สะอาด สู่พร้อมใช้

ข้อมูลที่ไหลเข้าองค์กรมาจากหลายระบบและมักสกปรก มีทั้งค่าที่หาย รูปแบบไม่ตรงกัน และรายการซ้ำ ก่อนใช้งานจึงต้องผ่านการทำความสะอาดและแปลงหลายขั้น คำถามคือควรเก็บผลลัพธ์ระหว่างทางอย่างไร Medallion Architecture เสนอให้จัดเป็นสามชั้น ชั้น Bronze เก็บข้อมูลดิบตามที่รับมาโดยไม่แก้ไข ชั้น Silver คือข้อมูลที่ทำความสะอาดและจัดรูปแบบแล้ว และชั้น Gold คือข้อมูลที่สรุปพร้อมใช้ตอบโจทย์ธุรกิจ เช่น ยอดขายรายเดือนต่อสาขา

ทำไมต้องเก็บของดิบไว้เสมอ

ชั้นที่คนมักมองข้ามคือ Bronze เพราะรู้สึกว่าเก็บของสกปรกไว้ทำไม แต่มันคือหลักฐานต้นทาง วันที่ตัวเลขในรายงานดูแปลก การมีของดิบทำให้ไล่ย้อนได้ว่าปัญหาอยู่ที่ต้นทางหรือขั้นแปลง และวันที่พบว่าสูตรแปลงผิดมาตลอด ก็แค่แก้สูตรแล้วประมวลผลใหม่จากของดิบทั้งหมดได้ ถ้าไม่มีชั้นนี้ ข้อมูลที่ถูกแปลงผิดคือความจริงเดียวที่เหลืออยู่ การแบ่งชั้นยังทำให้แต่ละขั้นมีหน้าที่ชัด ตรวจสอบง่าย และให้สิทธิ์เข้าถึงต่างกันได้ เช่น ให้ผู้ใช้ทั่วไปเห็นเฉพาะชั้น Gold

• Bronze เก็บของดิบไม่แก้ไข เป็นหลักฐานให้ย้อนตรวจและแปลงใหม่ได้
• Silver ทำความสะอาดและจัดมาตรฐาน ให้ทุกงานต่อยอดจากฐานเดียวกัน
• Gold สรุปพร้อมใช้ตามโจทย์ธุรกิจ และเป็นชั้นที่เปิดให้คนทั่วไปใช้

Medallion Architecture เป็นวิธีจัดระเบียบง่าย ๆ ที่ตอบคำถามใหญ่ของงานข้อมูล คือจะเชื่อตัวเลขนี้ได้อย่างไร เพราะทุกตัวเลขในชั้น Gold ไล่ย้อนกลับไปถึงต้นทางได้เสมอ สำหรับธุรกิจที่กำลังวางระบบข้อมูล การถามทีมว่าเราเก็บข้อมูลดิบไว้ไหม และไล่จากรายงานกลับไปถึงต้นทางได้หรือเปล่า เป็นการตรวจสุขภาพพื้นฐานที่บอกได้มากว่าระบบที่มีอยู่น่าเชื่อถือแค่ไหน