เผยกลไกปริศนา: ทำไม LLM ถึงมอง ‘จุดเดิม’ ซ้ำๆ เสมอ?
LLM หรือ Large Language Model สร้างความตื่นเต้นด้วยความสามารถอันน่าทึ่ง แต่มีกลไกซ่อนอยู่ซึ่งฟังดูแปลกประหลาดและสวนทางกับสัญชาตญาณ นั่นคือปรากฏการณ์ที่เรียกว่า Attention Sinks
Attention Sinks คืออะไร?
ลองจินตนาการถึง LLM ว่าเป็นนักอ่านที่เก่งกาจ แต่มีนิสัยแปลกๆ คือ ไม่ว่าจะอ่านข้อความยาวแค่ไหน ก็มักจะหันกลับไป “จ้องมอง” ที่ โทเค็น ไม่กี่คำแรกของข้อความนั้นซ้ำแล้วซ้ำเล่าอย่างไม่ลดละ
นี่คือแก่นของ Attention Sinks มันคือปรากฏการณ์ที่ความสนใจของโมเดลถูกดึงดูดไปที่ โทเค็น แรกๆ ของลำดับอินพุตอย่างสม่ำเสมอ แม้ว่า โทเค็น เหล่านั้นจะไม่มีความเกี่ยวข้องโดยตรงกับข้อมูลที่กำลังประมวลผลอยู่ก็ตาม
มันไม่ใช่แค่การมองผ่านๆ แต่เป็นการให้ “น้ำหนักความสนใจ” ที่สูงเป็นพิเศษแก่ โทเค็น เหล่านั้น ราวกับเป็นจุดอ้างอิงสำคัญที่ขาดไม่ได้สำหรับโมเดล
ทำไมถึงเกิดปรากฏการณ์นี้?
สาเหตุหลักของ Attention Sinks มาจากสถาปัตยกรรมพื้นฐานของ Transformer ซึ่งเป็นหัวใจสำคัญของ LLM ต่างๆ
ในสถาปัตยกรรมนี้ มีส่วนสำคัญที่เรียกว่า การเชื่อมต่อแบบ Residual (Residual Connections) หรือ Skip Connections ซึ่งช่วยให้ข้อมูลจากเลเยอร์ก่อนหน้าสามารถส่งผ่านไปยังเลเยอร์ถัดไปได้โดยตรง ทำให้ข้อมูลจาก โทเค็น เริ่มต้นนั้นมีโอกาสที่จะคงอยู่และส่งผลกระทบต่อการทำงานในเลเยอร์ที่ลึกขึ้นได้ตลอดเวลา
โทเค็น แรกๆ เหล่านี้ เช่น [CLS] หรือ <s> ในบางโมเดล ทำหน้าที่คล้ายกับ “ตัวยึด” หรือ “จุดสมอ” ที่ความสนใจของโมเดลสามารถเกาะเกี่ยวได้ โมเดลจึงใช้ โทเค็น เหล่านี้เป็นจุดอ้างอิงคงที่ ซึ่งช่วยให้การคำนวณความสนใจมีเสถียรภาพมากขึ้น
พูดง่ายๆ คือ เป็นผลพลอยได้จากการออกแบบโมเดล ที่กลายเป็นพฤติกรรมที่ฝังรากลึกอยู่ใน “สมอง” ของ AI
ผลลัพธ์ที่น่าประหลาดใจ และประโยชน์ที่คาดไม่ถึง
ฟังดูแล้วอาจจะแปลก เพราะ LLM ควรจะให้ความสนใจกับส่วนที่เกี่ยวข้องที่สุด เหมือนที่มนุษย์เราอ่านแล้วจับใจความสำคัญ แต่สำหรับ LLM กลับมีพฤติกรรมที่สวนทางเช่นนี้
อย่างไรก็ตาม ปรากฏการณ์ Attention Sinks นี้กลับมีประโยชน์อย่างไม่น่าเชื่อ โดยเฉพาะเมื่อต้องประมวลผล บริบท ที่มีความยาวมากๆ
ใน บริบท ที่ยาวเหยียด ซึ่งโมเดลอาจประสบปัญหาในการรักษาความสนใจให้ครอบคลุมและแม่นยำตลอดทั้งลำดับ Attention Sinks กลับช่วยเป็นเหมือน “หลักยึด” ที่ทำให้ความสนใจโดยรวมของโมเดลมีเสถียรภาพมากขึ้น
มันช่วยให้โมเดลสามารถ “กระจาย” ความสนใจไปยังส่วนอื่นๆ ของ บริบท ได้อย่างมีประสิทธิภาพมากขึ้น โดยมี โทเค็น แรกๆ เป็นเหมือน “แกนกลาง” ที่คอยรักษาความสมดุล
บางคนมองว่านี่เป็น “บั๊ก” ที่กลับกลายเป็น “ฟีเจอร์” ที่มีประโยชน์ ช่วยขยาย หน้าต่างบริบท (Context Window) ที่ใช้งานได้จริงให้กว้างขึ้นอย่างไม่ตั้งใจ
การทำความเข้าใจ Attention Sinks เปิดมุมมองใหม่ให้เห็นว่า LLM ทำงานแตกต่างจากความคิดที่เราคาดการณ์ไว้เพียงใด มันเผยให้เห็นความซับซ้อนที่น่าสนใจของสถาปัตยกรรม Transformer และกระตุ้นให้เกิดการค้นคว้าต่อไป เพื่อไขความลับและนำไปพัฒนา AI ให้ฉลาดล้ำยิ่งขึ้นในอนาคต