Lemmatization هي عملية اختزال الكلمات المصروفة (أو المشتقة في بعض الأحيان) إلى شكلها الأساسي، أو جذرها، من خلال مراعاة المتغيرات في الكلمة، مثل الأزمنة المختلفة أو صيغ الجمع. يتم ذلك عادةً عن طريق تحديد جذر الكلمة ثم تعيين جميع الكلمات التي لها نفس الجذر لمدخل مشترك أو إدخال في القاموس.
إنها خطوة مهمة في العديد من مهام معالجة اللغة الطبيعية (NLP)، مثل وضع علامات على جزء من الكلام والتحليل واسترجاع المعلومات. يساعد Lemmatization على الجمع بين أشكال مختلفة من الكلمة عند معالجة كميات كبيرة من النص. على سبيل المثال، الكلمات "يحسب" و"يحسب" و"يحسب" جميعها لها نفس الجذر، لذلك يمكن للمترجم أن يعين كل واحدة منها إلى ليما واحدة.
في علم اللغة، غالبًا ما يتم استخدام lemmatization جنبًا إلى جنب مع الجذوع، والتي عادةً ما تقوم بعمل أقل تعقيدًا في اختزال الكلمات إلى جذرها. غالبًا ما يقوم القائمون على إزالة لواحق الكلمات بشكل عشوائي، في حين يجمع lemmatization بين أشكال مختلفة من الكلمة باستخدام الاستدلالات التي تركز على الخصائص الفردية لكل كلمة.
لدى Lemmatization العديد من التطبيقات العملية في مهام معالجة اللغة، وتوسيع قدرات محركات البحث وتحسين دقة عمليات البرمجة اللغوية العصبية الأخرى. من خلال إضفاء الطابع الدقيق على مجموعات البيانات، يمكن لبرامج معالجة اللغة الطبيعية بعد ذلك تطبيق نماذج أكثر تعقيدًا تتطلب نماذج كلمات متسقة كمدخلات.
تعتمد عملية ترجمة الكلمات على السياق ويمكن أن تختلف اعتمادًا على اللغة ومهام البرمجة اللغوية العصبية المحددة المستخدمة. لذلك، من المهم التأكد من استخدام الأساليب المناسبة للغة ومهمة معينة. تتوفر العديد من حزم البرامج لترجمة النص بمجموعة متنوعة من اللغات، بدءًا من الخوارزميات البسيطة وحتى نماذج التعلم الآلي المتقدمة.
