Chunking: ตัดเอกสารให้ AI ค้นเจอคำตอบที่ใช่

เมื่อสร้างระบบให้ AI ตอบจากคลังเอกสารของบริษัท ขั้นตอนที่คนมองข้ามแต่สำคัญมากคือ Chunking หรือการตัดเอกสารยาว ๆ ออกเป็นชิ้นเล็กก่อนนำไปเก็บเพื่อค้นหา เพราะเวลามีคำถาม ระบบจะดึงชิ้นที่เกี่ยวข้องที่สุดไปให้ AI ใช้ตอบ ถ้าตัดชิ้นไม่ดี ชิ้นที่ดึงมาก็จะไม่ตรงคำถาม ทำให้ AI ตอบผิดหรือขาดข้อมูลทั้งที่คำตอบมีอยู่ในเอกสาร

ใหญ่ไปหรือเล็กไป ต่างก็มีปัญหา

ถ้าตัดชิ้นใหญ่เกินไป แต่ละชิ้นจะมีหลายเรื่องปนกัน ทำให้การค้นหาไม่แม่นและ AI ได้ข้อมูลที่ไม่เกี่ยวมาปน ถ้าตัดเล็กเกินไป ชิ้นหนึ่งอาจขาดบริบทที่จำเป็นต่อการเข้าใจ เช่น ตัดกลางประโยคหรือแยกหัวข้อออกจากเนื้อหา วิธีที่ดีมักตัดตามโครงสร้างที่มีความหมาย เช่น ตามหัวข้อหรือย่อหน้า และให้แต่ละชิ้นมีบริบทพอที่จะเข้าใจได้ด้วยตัวเอง

• ตัดตามโครงสร้างที่มีความหมาย เช่น หัวข้อและย่อหน้า
• ให้แต่ละชิ้นมีบริบทพอเข้าใจได้เอง ไม่ตัดกลางความคิด
• ทดสอบด้วยคำถามจริง แล้ววัดว่าดึงชิ้นที่ใช่มาหรือไม่

Chunking เป็นตัวอย่างว่าคุณภาพของระบบ AI ที่ตอบจากข้อมูลบริษัท ขึ้นกับงานเบื้องหลังการค้นหามากพอ ๆ กับตัวโมเดล ธุรกิจที่ลงแรงตัดและจัดโครงสร้างเอกสารให้ดี มักได้คำตอบที่ตรงและเชื่อถือได้กว่า โดยไม่ต้องเปลี่ยนไปใช้โมเดลที่แพงขึ้น เพราะโมเดลที่เก่งแค่ไหน ก็ตอบได้ดีเท่าข้อมูลที่ถูกดึงมาให้เท่านั้น