Context Window: ขีดจำกัดความจำของ AI ที่ต้องออกแบบรับมือ

AI แบบโมเดลภาษาไม่ได้จำทุกอย่างที่เคยคุยหรือเคยอ่าน มันมองเห็นเฉพาะข้อความที่ถูกส่งเข้าไปในคำขอครั้งนั้น ซึ่งมีขนาดจำกัด เรียกว่า Context Window เหมือนโต๊ะทำงานที่วางเอกสารได้จำกัด อยากให้มันช่วยเรื่องไหน ต้องวางเอกสารเรื่องนั้นบนโต๊ะ ถ้าเกินขนาด ข้อมูลส่วนแรก ๆ จะถูกตัดทิ้ง และแม้จะยัดเข้าไปได้ ยิ่งใส่มากก็ยิ่งจ่ายแพงขึ้นต่อครั้ง และโมเดลก็ยิ่งจับประเด็นสำคัญได้ยากขึ้น

คัดก่อนส่ง ดีกว่าส่งทั้งหมด

ความเข้าใจผิดที่พบบ่อยคือ ถ้าอยากให้ AI รู้เรื่องบริษัท ก็ส่งเอกสารทั้งหมดเข้าไปทุกครั้ง วิธีนี้ทั้งแพง ทั้งช้า และคำตอบมักแย่ลงเพราะข้อมูลที่ไม่เกี่ยวไปกลบข้อมูลที่เกี่ยว ระบบที่ดีจึงคัดเฉพาะชิ้นที่ตรงกับคำถามส่งเข้าไป ซึ่งเป็นหัวใจของเทคนิคอย่าง RAG ส่วนบทสนทนายาว ๆ ก็ใช้การสรุปความเดิมแทนการแนบทุกข้อความ การจัดการว่าอะไรควรอยู่บนโต๊ะของ AI ในแต่ละครั้ง กลายเป็นทักษะสำคัญของการสร้างระบบ AI ที่ทั้งแม่นและคุ้มต้นทุน

• ข้อมูลที่ส่งเข้าไปมีขนาดจำกัด และคิดเงินตามปริมาณ
• ยิ่งใส่ข้อมูลไม่เกี่ยวมาก คำตอบยิ่งเบลอ ไม่ใช่ยิ่งฉลาด
• คัดชิ้นที่ตรงคำถาม และสรุปบทสนทนายาวแทนการแนบทั้งหมด

Context Window เป็นข้อจำกัดพื้นฐานที่อธิบายพฤติกรรมแปลก ๆ ของ AI ได้หลายอย่าง เช่น ทำไมแชตยาว ๆ แล้วมันลืมเรื่องต้นบทสนทนา หรือทำไมค่าใช้จ่ายพุ่งเมื่อแนบเอกสารใหญ่ สำหรับธุรกิจ การเข้าใจข้อจำกัดนี้ช่วยให้ประเมินได้ว่าระบบที่กำลังจะซื้อหรือสร้าง ออกแบบการคัดข้อมูลมาดีแค่ไหน ซึ่งมีผลตรงต่อทั้งคุณภาพคำตอบและค่าใช้จ่ายรายเดือน