Change Data Capture: ซิงค์ข้อมูลแบบเห็นทุกการเปลี่ยนแปลง
การซิงค์ข้อมูลด้วยการดึงทั้งก้อนซ้ำ ๆ ช้าและหนัก Change Data Capture ส่งเฉพาะสิ่งที่เปลี่ยน ทำให้ข้อมูลระหว่างระบบตรงกันเกือบเรียลไทม์ โดยไม่กวนระบบหลัก เข้าใจว่ามันทำงานอย่างไร
เมื่อต้องทำให้ข้อมูลในสองระบบตรงกัน เช่น จากฐานข้อมูลหลักไปยังคลังข้อมูลสำหรับรายงาน วิธีที่ง่ายที่สุดคือดึงข้อมูลทั้งก้อนมาใหม่เป็นรอบ แต่วิธีนี้ช้า หนัก และทำให้ข้อมูลล้าสมัยระหว่างรอบ Change Data Capture หรือ CDC เปลี่ยนแนวคิด คือติดตามและส่งเฉพาะสิ่งที่เปลี่ยนไป เช่น แถวที่เพิ่ม แก้ หรือลบ ทำให้ปลายทางอัปเดตตามเกือบเรียลไทม์ โดยไม่ต้องดึงทั้งหมดซ้ำ
ทำไม CDC ถึงเบากว่าและสดกว่า
การดึงข้อมูลทั้งก้อนซ้ำ ๆ ทำให้ระบบหลักทำงานหนักและปลายทางได้ข้อมูลเป็นก้อนใหญ่แบบเป็นรอบ CDC อ่านการเปลี่ยนแปลงจากบันทึกที่ฐานข้อมูลมีอยู่แล้ว จึงกวนระบบหลักน้อย ส่งเฉพาะส่วนที่เปลี่ยนซึ่งเล็กกว่ามาก และทำให้ข้อมูลปลายทางสดเกือบตลอด นี่คือรากฐานของการทำรายงานที่ทันสมัย การซิงค์ข้อมูลข้ามระบบ และการป้อนข้อมูลสด ๆ ให้ระบบวิเคราะห์
- ส่งเฉพาะสิ่งที่เปลี่ยน แทนการดึงทั้งก้อนซ้ำ ๆ
- กวนระบบหลักน้อย เพราะอ่านจากบันทึกที่มีอยู่แล้ว
- ต้องจัดการกรณีลำดับสลับหรือส่งซ้ำ เพื่อให้ปลายทางถูกต้อง
Change Data Capture เป็นเทคนิคที่ทำให้การซิงค์ข้อมูลข้ามระบบทั้งเบาและสด สำหรับธุรกิจที่ต้องการรายงานที่ทันสมัยหรือเชื่อมหลายระบบเข้าด้วยกัน การเข้าใจว่ามีทางเลือกที่ดีกว่าการดึงทั้งก้อนเป็นรอบ ช่วยให้ออกแบบระบบข้อมูลที่ทั้งประหยัดทรัพยากรและให้ข้อมูลที่ใช้ตัดสินใจได้ทันเวลา
บริการที่เกี่ยวข้อง
รับทำ Data Platform และ BI
รวมข้อมูลจากทุกระบบไว้ชั้นเดียว กำหนดนิยามตัวชี้วัดให้ตรงกันก่อนทำรายงาน
WhaleScope
ดูโครงสร้างตลาดของทุกหมวดธุรกิจไทย บน WhaleScope
รายชื่อบริษัท ผู้เล่นรายใหญ่ และอัตราคงอยู่ของแต่ละหมวด — จากข้อมูลจดทะเบียน 2 ล้านนิติบุคคล
อ่านต่อ
Data Pipeline: เส้นทางข้อมูลจากต้นทางถึงรายงาน
ตัวเลขในรายงานไม่ได้เกิดเอง แต่เดินทางผ่านหลายขั้น ตั้งแต่เก็บ ทำความสะอาด แปลง จนถึงแสดงผล Data Pipeline คือเส้นทางนั้น ถ้าจุดใดพัง รายงานก็ผิดโดยไม่มีใครรู้
Real-time หรือ Batch: ประมวลผลข้อมูลทันทีหรือเป็นรอบ แบบไหนเหมาะกับงานคุณ
ข้อมูลบางอย่างต้องเห็นทันที เช่น สต็อกและการทุจริต บางอย่างรอเป็นรอบได้ เช่น รายงานสรุปรายวัน การเลือก Real-time หรือ Batch ให้ถูก ช่วยประหยัดต้นทุนและความซับซ้อนได้มาก
Data Contract: ข้อตกลงที่กันข้อมูลพังเงียบระหว่างทีม
เมื่อทีมหนึ่งเปลี่ยนโครงสร้างข้อมูลโดยไม่บอก รายงานและระบบปลายทางพังเงียบ ๆ Data Contract คือข้อตกลงชัดเจนว่าข้อมูลจะมีหน้าตาอย่างไร เพื่อให้เปลี่ยนแปลงได้โดยไม่ทำของคนอื่นพัง
Function Calling: ให้ AI เรียกใช้ระบบและคืนผลเป็นโครงสร้างที่ใช้ต่อได้
AI ที่ตอบเป็นข้อความอิสระ นำไปต่อในระบบยาก Function Calling ให้ AI คืนผลเป็นโครงสร้างชัดเจนและเรียกฟังก์ชันของเราได้ ทำให้ต่อ AI เข้ากับระบบจริงได้อย่างน่าเชื่อถือ