ความแม่นยำ 99.8% ไม่ได้แปลว่าโมเดลตรวจจับการฉ้อโกงของคุณจะดีเสมอไป

ความแม่นยำ 99.8% ไม่ได้แปลว่าโมเดลตรวจจับการฉ้อโกงของคุณจะดีเสมอไป

เคยสงสัยไหมว่าทำไมโมเดลที่ดูเหมือนจะฉลาดสุด ๆ ด้วยความแม่นยำเกือบเต็มร้อยถึงยังทำงานได้ไม่ดีนักในบางสถานการณ์ โดยเฉพาะกับการตรวจจับสิ่งผิดปกติอย่างการฉ้อโกง? หลายคนอาจจะคิดว่าความแม่นยำสูงขนาดนั้นต้องเป็นโมเดลที่ยอดเยี่ยมแน่นอน

แต่ในโลกของการตรวจจับการทุจริต ตัวเลข 99.8% อาจเป็นเพียงภาพลวงตาที่ซ่อนปัญหาใหญ่เอาไว้

ทำไมความแม่นยำถึงหลอกตาได้?

หัวใจของปัญหาอยู่ที่ข้อมูลที่มีความ ไม่สมดุล อย่างรุนแรง

ลองนึกภาพการทำธุรกรรมบัตรเครดิต มีการทำธุรกรรมหลายล้านครั้งในแต่ละวัน แต่มีเพียงส่วนน้อยมาก ๆ ที่เป็นการฉ้อโกง อาจจะแค่ 0.2% เท่านั้น

ถ้าเราสร้างโมเดลที่ “ฉลาด” มาก ๆ โดยการบอกว่า “ทุกธุรกรรมปกติ ไม่มีการฉ้อโกงเลย” โมเดลนี้จะมีความแม่นยำถึง 99.8% ทันที เพราะมันทายถูกถึง 99.8% ของข้อมูลทั้งหมด

แต่ในทางปฏิบัติ โมเดลนี้ไร้ประโยชน์สิ้นดี เพราะมันไม่สามารถจับการฉ้อโกงได้เลยแม้แต่ครั้งเดียว ซึ่งเป็นสิ่งที่เราต้องการมากที่สุด

ทำความเข้าใจกับ Confusion Matrix

เพื่อจะประเมินโมเดลให้ถูกทาง เราต้องรู้จักกับ Confusion Matrix หรือเมทริกซ์ความสับสนก่อน มันคือตารางที่บอกว่าโมเดลของเราทายถูกทายผิดอย่างไรบ้าง โดยแบ่งเป็น 4 กรณีหลัก:

• True Positive (TP): โมเดลทายว่า มีฉ้อโกง และ เป็นฉ้อโกงจริง (จับผู้ร้ายได้)
• True Negative (TN): โมเดลทายว่า ไม่มีฉ้อโกง และ ไม่มีฉ้อโกงจริง (ปล่อยผู้บริสุทธิ์)
• False Positive (FP): โมเดลทายว่า มีฉ้อโกง แต่ ไม่มีฉ้อโกงจริง (จับผิดตัว หรือแจ้งเตือนผิด)
• False Negative (FN): โมเดลทายว่า ไม่มีฉ้อโกง แต่ เป็นฉ้อโกงจริง (ปล่อยผู้ร้ายไป)

ในกรณีการฉ้อโกง 0.2% โมเดลที่บอกว่า “ไม่มีฉ้อโกงเลย” จะมีค่า TP และ FP เป็นศูนย์ แต่มี TN สูงลิบ (99.8% ของข้อมูล) และมี FN เท่ากับจำนวนการฉ้อโกงทั้งหมด (0.2%) ซึ่งเป็นสิ่งที่เราต้องการลดให้มากที่สุด

ตัวชี้วัดที่สำคัญกว่า: Precision และ Recall

เมื่อความแม่นยำธรรมดาใช้ไม่ได้ผล เราต้องหันมาใช้ตัวชี้วัดที่เหมาะสมกับเป้าหมายของเรามากขึ้น นั่นคือ Precision และ Recall (หรือความแม่นยำและความครอบคลุม)

• Precision (ความแม่นยำเชิงบวก): บอกว่า “จากที่โมเดลบอกว่า มีฉ้อโกง กี่เปอร์เซ็นต์ที่ เป็นฉ้อโกงจริง?” (TP / (TP + FP)) ตัวชี้วัดนี้สำคัญมากเมื่อเราต้องการลด False Positive หรือการแจ้งเตือนผิดพลาดให้มากที่สุด เช่น ไม่ต้องการให้ลูกค้าถูกปฏิเสธธุรกรรมบ่อย ๆ โดยไม่มีเหตุผล

• Recall (ความครอบคลุม / ความอ่อนไหว): บอกว่า “จาก การฉ้อโกงจริงทั้งหมด กี่เปอร์เซ็นต์ที่โมเดลสามารถ ตรวจจับได้?” (TP / (TP + FN)) ตัวชี้วัดนี้สำคัญมากเมื่อเราต้องการลด False Negative หรือการพลาดการฉ้อโกงให้มากที่สุด เช่น ไม่ต้องการให้มีธุรกรรมฉ้อโกงใด ๆ รอดไปได้

ในกรณีการตรวจจับการฉ้อโกง Recall มักจะเป็นสิ่งที่เราให้ความสำคัญเป็นพิเศษ เพราะการพลาดการฉ้อโกงแต่ละครั้งหมายถึงความเสียหายทางการเงิน ในขณะเดียวกันก็ต้องพยายามรักษาระดับ Precision ไม่ให้ต่ำเกินไป เพื่อไม่ให้ระบบแจ้งเตือนมั่วซั่วจนเกินไป

สรุปความสำคัญ

การเลือกใช้ ตัวชี้วัดที่เหมาะสม เป็นหัวใจสำคัญในการสร้างโมเดลที่มีประสิทธิภาพ ไม่ใช่แค่ดูที่ความแม่นยำรวมเท่านั้น สำหรับปัญหาที่มีข้อมูลไม่สมดุลและผลลัพธ์บางอย่างมีความสำคัญมากกว่าอีกอย่าง การเข้าใจ Confusion Matrix และการประเมินด้วย Precision, Recall, หรือแม้แต่ F1-Score (ค่าเฉลี่ยแบบฮาร์มอนิกของ Precision และ Recall) จะช่วยให้มองเห็นภาพรวมของโมเดลได้ชัดเจนและนำไปปรับปรุงให้ตอบโจทย์การใช้งานจริงได้ดีที่สุด