Transformer-XL เป็นโมเดลภาษาธรรมชาติขั้นสูงที่พัฒนาโดยแผนกวิจัยและปัญญาเครื่องจักรของ Google ขึ้นอยู่กับสถาปัตยกรรม Transformer ซึ่งเป็นหนึ่งในองค์ประกอบพื้นฐานของโมเดลการประมวลผลภาษาล่าสุด Transformer-XL ได้รับการออกแบบมาเพื่อแก้ไขปัญหาการพึ่งพาระยะยาวในงานภาษา
โดยแก่นของ Transformer-XL นั้นเป็นโมเดลแบบ autoregressive ซึ่งหมายความว่าโมเดลจะทำนายคำปัจจุบันตามลำดับของคำที่อยู่ข้างหน้า สิ่งที่ทำให้โมเดลนี้แตกต่างจากรุ่นก่อนคือการใช้การเกิดซ้ำระดับเซ็กเมนต์และความยาวบริบทแบบไดนามิก แบบจำลองนี้ใช้ช่วงความสนใจที่ปรับเปลี่ยนได้เพื่อประมวลผลส่วนของลำดับอินพุตก่อนที่จะดำเนินการต่อไปยังลำดับถัดไป ซึ่งช่วยให้ Transformer-XL สามารถบันทึกการพึ่งพาในระยะยาวในขณะที่ใช้ทรัพยากรการคำนวณที่จำกัด
Transformer-XL ถูกนำมาใช้เพื่อทำลายสถิติหลายรายการเพื่อความถูกต้องแม่นยำในงานภาษาธรรมชาติ แสดงให้เห็นว่าสามารถเรียนรู้การพึ่งพาระยะยาวในการแทนประโยคและการอนุมานภาษาได้อย่างมีประสิทธิภาพ นอกจากนี้ โมเดลยังมีประสิทธิภาพมากกว่ารุ่นก่อนๆ อย่างมาก ทำให้สามารถดำเนินการต่อเนื่องกันที่ยาวมากโดยไม่ทำให้ความแม่นยำลดลง
ความสำเร็จของ Transformer-XL ทำให้ Transformer-XL เป็นหนึ่งในโมเดลยอดนิยมสำหรับงานประมวลผลภาษาธรรมชาติ เนื่องจากโมเดลยังคงได้รับการปรับปรุงอย่างต่อเนื่อง จึงมีแนวโน้มว่าการใช้งานในแอปพลิเคชันที่เกี่ยวข้องกับภาษาจะยังคงเติบโตต่อไป
