เมื่อไม่มีใครเข้าใจระบบที่ AI สร้างขึ้น

ทีมเล็ก ๆ ทีมหนึ่งใช้ AI สร้างระบบจัดการคำสั่งซื้อเสร็จภายในสองสัปดาห์ สิ่งที่เคยประเมินว่าต้องใช้เวลาสองเดือน เสร็จเร็วจนทุกคนตื่นเต้น ระบบทำงานได้สวยงาม จนกระทั่งครึ่งปีผ่านไป ลูกค้ารายใหญ่รายหนึ่งร้องเรียนว่ายอดผิด และเมื่อทีมเปิดโค้ดขึ้นมา ไม่มีใครจำได้ว่าส่วนนี้ทำงานอย่างไร เพราะไม่มีใครเป็นคนเขียนมันจริง ๆ

นี่คือสิ่งที่เราเรียกได้ว่าหนี้ความเข้าใจ มันต่างจากหนี้ทางเทคนิคทั่วไป เพราะปัญหาไม่ได้อยู่ที่โค้ดเขียนไม่ดี โค้ดอาจสะอาดและเป็นระเบียบด้วยซ้ำ แต่ปัญหาคือไม่มีมนุษย์คนไหนในทีมที่เคยใช้สมองคิดผ่านตรรกะนั้น จึงไม่มีใครมีแบบจำลองในหัวว่าระบบควรทำงานอย่างไรเมื่อเจอกรณีที่ไม่คาดคิด

ทำไมความเร็วถึงน่าหลงใหลขนาดนั้น

เราไม่ควรหลอกตัวเองว่าการเขียนโค้ดด้วย AI เป็นเรื่องไร้สาระ มันเปลี่ยนเศรษฐศาสตร์ของการสร้างซอฟต์แวร์ไปจริง ๆ สิ่งที่เคยแพงและใช้เวลานานกลายเป็นเรื่องเร็วและถูก ทีมเล็กทำสิ่งที่เคยต้องใช้ทีมใหญ่ได้ และต้นแบบที่เคยกินเวลาหลายเดือนเกิดขึ้นได้ในวันเดียว นั่นคือคุณค่าที่ปฏิเสธไม่ได้

แต่ความเร็วนั้นซ่อนการแลกเปลี่ยนไว้อย่างเงียบ ๆ เมื่อมนุษย์เป็นคนเขียนโค้ด เขาสร้างความเข้าใจไปพร้อมกัน การต่อสู้กับปัญหาคือกระบวนการเรียนรู้ระบบ แต่เมื่อ AI ข้ามขั้นตอนนั้นไป เราได้ผลลัพธ์โดยไม่ได้ความเข้าใจ และความเข้าใจนั่นเองคือสิ่งที่เราต้องใช้ในวันที่ทุกอย่างพัง

ลองคิดถึงสามปีข้างหน้า เมื่อระบบเติบโต มีคนใช้มากขึ้น และมีกฎเกณฑ์ใหม่เข้ามา ถ้าไม่มีใครเข้าใจฐานเดิม ทุกการเปลี่ยนแปลงจะกลายเป็นการเดา ทีมจะใช้ AI สร้างทับของเดิมที่ไม่เข้าใจ จนระบบกลายเป็นชั้นของสิ่งที่ไม่มีใครรับผิดชอบได้ และความรับผิดชอบที่เลือนหายไปนี่เองที่ทำให้เกิดความเสี่ยงที่มองไม่เห็น

• ถ้าระบบให้คำตอบผิด เราจะรู้ได้อย่างไรว่ามันผิด ในเมื่อไม่มีใครรู้ว่าคำตอบที่ถูกควรมาจากตรรกะแบบไหน
• ใครในทีมสามารถอธิบายให้พนักงานใหม่ฟังได้ว่าระบบนี้ทำงานอย่างไร
• เราใช้ AI เพื่อสร้างสิ่งที่เราจะต้องดูแลต่อ หรือสิ่งที่จะถูกทิ้งภายในไม่กี่เดือน
• เมื่อเกิดเหตุฉุกเฉินตอนตีสอง มนุษย์คนไหนคือคนที่เข้าใจระบบมากพอจะตัดสินใจ

คำถามที่ดีกว่าคำว่าเร็วแค่ไหน

คำถามที่คมขึ้นไม่ใช่ AI สร้างให้เราได้เร็วแค่ไหน แต่คือ หลังจาก AI สร้างเสร็จ ใครคือคนที่เข้าใจมันพอจะรับผิดชอบ ความเร็วในการสร้างกับความสามารถในการดูแลเป็นคนละเรื่องกัน และระบบที่จะอยู่กับเรานานควรถูกประเมินด้วยอย่างหลัง ไม่ใช่อย่างแรก

ที่ Whale Task เราใช้ AI ในงานทุกวัน และเรามองว่ามันเป็นเครื่องมือที่ทรงพลังเมื่อมีมนุษย์ที่เข้าใจคอยกำกับ สิ่งที่เราระวังที่สุดไม่ใช่ว่า AI จะเขียนโค้ดผิด แต่คือการที่ทีมจะสูญเสียความเข้าใจในสิ่งที่ตัวเองดูแล เพราะวันที่ต้องตัดสินใจเรื่องยาก เครื่องมือจะช่วยได้แค่ไหน สุดท้ายก็ขึ้นอยู่กับว่ามีใครเข้าใจมันจริงหรือเปล่า