นักวิจัยใช้ Sudoku ทดสอบ AI พบยังมีจุดอ่อนด้านตรรกะ

ดูเหมือนว่าความสามารถของ AI ที่จะทำข้อสอบแพทย์หรือกฎหมายได้คะแนนสูงๆ อาจจะยังไม่ได้หมายความว่ามันมีความสามารถในการให้เหตุผลเชิงตรรกะที่สมบูรณ์แบบ เมื่อผลการศึกษาล่าสุดได้นำเกมที่ดูเรียบง่ายอย่าง Sudoku มาเป็นเครื่องมือทดสอบ และพบว่า AI ที่เก่งที่สุดในปัจจุบันก็ยังมีจุดบอดที่น่าเป็นห่วง

Contents

ทำไมต้องเป็น “Sudoku”?การทดลองและผลลัพธ์ที่น่าประหลาดใจ จุดอ่อนสำคัญ: “ตรรกะภาพรวม” ที่ล้มเหลว บทวิเคราะห์: “เข้าใจ” หรือแค่ “จำลองความเข้าใจ”?อ้างอิง (References)

ทำไมต้องเป็น “Sudoku”?

ทีมนักวิจัยจาก มหาวิทยาลัยแคลิฟอร์เนีย เออร์ไวน์ (UCI) เลือกใช้ Sudoku เพราะมันเป็นบททดสอบ “ตรรกะบริสุทธิ์” ที่สมบูรณ์แบบ

มีกฎตายตัว: กฎของเกมนั้นง่ายและชัดเจน คือในแต่ละแถว, แต่ละคอลัมน์, และแต่ละกล่อง 3×3 จะต้องมีเลข 1-9 เพียงตัวเดียว
ไม่ต้องการความรู้ภายนอก: การแก้ปริศนาไม่ต้องอาศัยความรู้รอบตัวใดๆ เลย ใช้เพียงการอนุมานและตรรกะล้วนๆ
ทดสอบการให้เหตุผล: สามารถตรวจสอบกระบวนการคิดของ AI ได้แบบทีละขั้นตอนว่ามันใช้เหตุผลอะไรในการเติมตัวเลขแต่ละช่อง

การทดลองและผลลัพธ์ที่น่าประหลาดใจ

นักวิจัยได้ทำการทดสอบกับโมเดล AI ชั้นนำทั้งหมด ไม่ว่าจะเป็น GPT-4o, Claude 3 Opus, และ Gemini 2.5 Pro โดยไม่ได้แค่สั่งให้มันแก้ปริศนา แต่สั่งให้มัน “อธิบายกระบวนการคิด” ในแต่ละขั้นตอนด้วย

ผลลัพธ์ที่ได้คือ:

ปริศนาง่ายๆ… สบายมาก: สำหรับ Sudoku ระดับง่ายและปานกลาง AI ทุกตัวสามารถแก้ได้อย่างรวดเร็วและแม่นยำเกือบ 100%
เจอของยาก… เริ่มออกอาการ: เมื่อเจอกับปริศนาระดับยาก (Hard) หรือยากมาก (Evil) ที่ต้องใช้การอนุมานหลายชั้น อัตราความสำเร็จของ AI กลับลดลงอย่างฮวบฮาบ

จุดอ่อนสำคัญ: “ตรรกะภาพรวม” ที่ล้มเหลว

ข้อผิดพลาดที่ AI ทำบ่อยที่สุดคือ การล้มเหลวของ “ตรรกะในภาพรวม” (Global Logic) พูดให้เข้าใจง่ายคือ AI มักจะมองเห็นแค่ “ภาพใกล้” แต่ “ลืมภาพไกล” ตัวอย่างเช่น AI อาจจะเติมเลข 5 ลงในช่องได้อย่างถูกต้องตามกฎของกล่อง 3×3 ที่มันกำลังพิจารณาอยู่ แต่กลับ “ลืม” ไปว่าในแถวแนวนอนเดียวกันนั้น มีเลข 5 อยู่แล้วในคอลัมน์ที่อยู่ห่างออกไป

ที่น่ากังวลไปกว่านั้นคือ เมื่อถูกขอให้อธิบายเหตุผลที่ผิดพลาด AI มักจะ “สร้างเรื่องขึ้นมา” (Confabulate) โดยยืนยันอย่างมั่นใจว่าได้ตรวจสอบทั้งแถวและคอลัมน์ดีแล้ว ทั้งที่ในความเป็นจริงไม่ได้ทำ ซึ่งแสดงให้เห็นว่ามันไม่ได้ “เข้าใจ” กฎจริงๆ

บทวิเคราะห์: “เข้าใจ” หรือแค่ “จำลองความเข้าใจ”?

ดร. เอมิลี่ แพตเตอร์สัน ผู้นำการวิจัย สรุปว่า ผลลัพธ์นี้ชี้ให้เห็นถึงขีดจำกัดพื้นฐานของสถาปัตยกรรม LLM ในปัจจุบัน พวกมันเก่งอย่างเหลือเชื่อในการ “จับคู่รูปแบบ” (Pattern Matching) จากข้อมูล Sudoku หลายพันล้านตัวอย่างที่เคยเห็นมา แต่ไม่ได้สร้าง “โมเดลในใจ” (Mental Model) ของกระดานและกฎเกณฑ์ขึ้นมาจริงๆ เมื่อเจอปริศนาที่ไม่คุ้นเคยและต้องใช้ตรรกะลึกซึ้ง ความสามารถในการคาดเดาของมันจึงพังทลายลง

ผลการศึกษานี้ได้จุดประกายคำถามสำคัญว่า หากเรายังไม่สามารถไว้วางใจ AI ที่มีกฎเกณฑ์ง่ายๆ อย่าง Sudoku ได้ เราจะสามารถเชื่อมั่นในตรรกะของมันได้อย่างเต็มที่กับงานที่สำคัญอย่างการเขียนโค้ดที่ต้องการความปลอดภัยสูง, การวิเคราะห์ข้อมูลทางการแพทย์ หรือการตัดสินใจทางกฎหมายได้จริงหรือ?