تعد عملية تجريف الويب عملية استخراج البيانات من مواقع الويب باستخدام الروبوتات والبرامج النصية الآلية، عادةً بغرض إنشاء "قاموس بيانات" لموقع ويب.
يمكن استخدام تجريف الويب لجمع المعلومات من مواقع الويب، مثل أسعار المنتجات والمراجعات والمزيد. إنها عملية بسيطة نسبيًا، وتتطلب برنامجًا متخصصًا للوصول إلى HTML لموقع ويب و"استخلاص" المحتوى منه. يمكن للبرنامج استخراج النصوص أو الصور أو حتى معلومات الاتصال حسب ما يرغب فيه المستخدم. يمكن بعد ذلك تخزين هذه البيانات المستخرجة في قاعدة بيانات أو جدول بيانات، مما يسمح للمستخدم بالبحث بسرعة عن عناصر محددة أو الوصول إلى كميات كبيرة من البيانات.
غالبًا ما يتم استخدام تجريف الويب في أبحاث السوق وجمع المعلومات الاستخبارية. قد تستخدمها الشركات لمقارنة منتجاتها وأسعارها مع منتجات المنافسين، أو معرفة الميزات التي يبحث عنها العملاء، أو تحديد الاتجاهات في طلبات العملاء. قد يستخدمها علماء البيانات والمحللون لاستخراج كميات كبيرة من البيانات المتعلقة بمجال بحث معين. يمكن أيضًا استخدام استخراج الويب لإنشاء "قاموس بيانات" لموقع ويب، مما يسهل على الأشخاص فهم بنية مواقع الويب ومحتواها.
يمكن أيضًا اعتبار تجريف الويب أداة لفهرسة الويب والبحث، حيث يمكنه تغذية محتوى موقع الويب إلى محرك بحث أو دليل عبر الإنترنت. كما يتم استخدامه أحيانًا لتجميع المحتوى، مثل جمع القصص الإخبارية والمحتويات الأخرى ليتم دمجها في موجز أخبار واحد.
يتمتع تجريف الويب بالعديد من المزايا، مثل كونه سريعًا وفعالًا؛ ومع ذلك، من المهم أن تكون على دراية بالمسائل القانونية التي قد تنشأ عن استخراج البيانات. لدى بعض البلدان قوانين ولوائح بشأن استخدام استخلاص البيانات من الويب، كما أن بعض مواقع الويب لديها تقنية مكافحة استخلاص البيانات من أجل منع ذلك. بالإضافة إلى ذلك، قد تكون بعض المواقع قد نفذت إجراءات لإيقاف الوصول من برامج استخراج البيانات من الويب أو أنواع معينة من عمليات النسخ. لذلك، من المهم أن تكون على دراية بكيفية تعامل موقع الويب مع عملية تجريف الويب قبل محاولة جمع البيانات منه.
