Dalam postingan ini, kita akan membahas praktik terbaik web scraping, dan karena saya yakin banyak dari Anda yang memikirkannya, saya akan segera membahas masalah yang ada di ruangan ini. Apakah itu sah? Kemungkinan besar ya.
Mengikis situs pada umumnya legal, tetapi dengan alasan tertentu yang masuk akal (teruslah membaca).
Juga tergantung pada lokasi geografis Anda, dan karena saya bukan jin, saya tidak tahu di mana Anda berada, jadi saya tidak bisa memastikannya. Periksa undang-undang setempat Anda, dan jangan mengeluh jika kami memberikan “nasihat buruk”, haha.
Terlepas dari leluconnya, di sebagian besar tempat tidak apa-apa; hanya saja jangan menjadi a$$hole tentang hal itu, dan jauhi materi berhak cipta, data pribadi, dan hal-hal di balik layar login.
Kami merekomendasikan untuk mengikuti praktik terbaik web scraping berikut:
1. Hormati robots.txt
Apakah Anda ingin tahu rahasia menggores situs web dengan damai? Hormati saja file robots.txt situs web tersebut. File ini, terletak di akar situs web, menentukan halaman mana yang boleh di-scrap oleh bot dan halaman mana yang terlarang. Mengikuti robots.txt juga penting karena dapat mengakibatkan pemblokiran IP Anda atau konsekuensi hukum tergantung di mana Anda berada.
2. Tetapkan tingkat perayapan yang wajar
Untuk menghindari kelebihan beban, pembekuan, atau kerusakan server situs web, kendalikan laju permintaan Anda dan sertakan interval waktu. Dengan kata yang lebih sederhana, lakukan kecepatan perayapan dengan mudah. Untuk mencapai hal ini, Anda dapat menggunakan Scrapy atau Selenium dan menyertakan penundaan dalam permintaan.
3. Putar agen pengguna dan alamat IP
Situs web dapat mengidentifikasi dan memblokir bot scraping dengan menggunakan string agen pengguna atau alamat IP. Ubah agen pengguna dan alamat IP sesekali dan gunakan serangkaian browser sebenarnya. Gunakan string agen pengguna dan sebutkan diri Anda di dalamnya sampai batas tertentu. Tujuan Anda adalah menjadi tidak terdeteksi, jadi pastikan melakukannya dengan benar.
4. Hindari menggores halaman login
Anggap saja menggores sesuatu di belakang login pada umumnya salah. Benar? Oke? Saya tahu banyak dari Anda akan melewatkan bagian itu, tetapi bagaimanapun… Cobalah untuk membatasi pengikisan pada data publik, dan jika Anda perlu melakukan pengikisan di belakang login, mungkin mintalah izin. Saya tidak tahu, tinggalkan komentar tentang bagaimana Anda akan melakukan hal ini. Apakah Anda mengikis sesuatu di balik login?
5. Parsing dan bersihkan data yang diekstrak
Data yang diambil sering kali tidak diproses dan mungkin berisi informasi yang tidak relevan atau bahkan tidak terstruktur. Sebelum analisis, data perlu diproses terlebih dahulu dan dibersihkan menggunakan pemilih regex, XPath, atau CSS. Lakukan dengan menghilangkan redundansi, memperbaiki kesalahan dan menangani data yang hilang. Luangkan waktu untuk membersihkannya karena Anda membutuhkan kualitas untuk menghindari sakit kepala.
6. Tangani konten dinamis
Sebagian besar situs web menggunakan JavaScript untuk menghasilkan konten halaman, dan ini merupakan masalah bagi teknik pengikisan tradisional. Untuk mendapatkan dan mengikis data yang dimuat secara dinamis, seseorang dapat menggunakan browser tanpa kepala seperti Puppeteer atau alat seperti Selenium. Fokus hanya pada aspek yang diminati untuk meningkatkan efisiensi.
7. Menerapkan penanganan kesalahan yang kuat
Kesalahan perlu diperbaiki untuk mencegah kegagalan program yang disebabkan oleh masalah jaringan, pembatasan kecepatan, atau perubahan struktur situs web. Coba lagi permintaan yang gagal, patuhi batas kecepatan dan, jika struktur HTML telah berubah, ubah penguraiannya. Catat kesalahannya dan ikuti aktivitas untuk mengidentifikasi masalah dan cara mengatasinya.
8. Hormati persyaratan layanan situs web
Sebelum menggores situs web, disarankan untuk membaca persyaratan layanan situs web tersebut. Beberapa dari mereka tidak mengizinkan pengikisan atau memiliki beberapa peraturan dan ketentuan yang harus dipatuhi. Jika istilahnya ambigu, seseorang harus menghubungi pemilik situs web untuk mendapatkan informasi lebih lanjut.
9. Pertimbangkan implikasi hukumnya
Pastikan Anda diizinkan untuk mengikis dan menggunakan data tersebut secara legal, termasuk masalah hak cipta dan privasi. Dilarang mengikis materi berhak cipta atau informasi pribadi apa pun milik orang lain. Jika bisnis Anda terpengaruh oleh undang-undang perlindungan data seperti GDPR, pastikan Anda mematuhinya.
10. Jelajahi metode pengumpulan data alternatif
Disarankan untuk mencari sumber data lain sebelum melakukan scraping. Ada banyak situs web yang menyediakan API atau kumpulan data yang dapat diunduh dan ini jauh lebih nyaman dan efisien daripada melakukan scraping. Jadi, periksalah apakah ada jalan pintas sebelum mengambil jalan panjang.
11. Melaksanakan penjaminan dan pemantauan kualitas data
Identifikasi cara di mana Anda dapat meningkatkan kualitas data yang diambil. Periksa scraper dan kualitas data setiap hari untuk mengidentifikasi kelainan apa pun. Terapkan pemantauan otomatis dan pemeriksaan kualitas untuk mengidentifikasi dan menghindari masalah.
12. Mengadopsi kebijakan pengumpulan data formal
Untuk memastikan Anda melakukannya dengan benar dan sah, siapkan kebijakan pengumpulan data. Cantumkan di dalamnya aturan, rekomendasi, dan aspek hukum yang harus diketahui oleh tim Anda. Hal ini mengesampingkan risiko penyalahgunaan data dan memastikan bahwa semua orang mengetahui aturannya.
13. Tetap terinformasi dan beradaptasi terhadap perubahan
Web scraping merupakan bidang aktif yang ditandai dengan munculnya teknologi baru, masalah hukum, dan situs web yang terus diperbarui. Pastikan Anda mengadopsi budaya belajar dan fleksibilitas sehingga Anda berada di jalur yang benar.
Menyelesaikannya!
Jika Anda akan bermain dengan beberapa mainan cantik yang kami miliki (bantulah diri Anda sendiri dan cari beberapa perpustakaan Python), maka… baiklah, mohon bersikap sopan, dan juga berhati-hatilah jika Anda memilih untuk mengabaikannya. saran pertama.
Berikut beberapa praktik terbaik yang kami bicarakan:
- Hormati robots.txt
- Kontrol kecepatan perayapan
- Putar identitas Anda
- Hindari area pribadi
- Bersihkan dan parsing data
- Tangani kesalahan secara efisien
- Jadilah baik, patuhi aturan
Ketika data menjadi semakin berharga, web scraper akan menghadapi pilihan:
Hormati file robots.txt, ya atau tidak? Terserah kamu.
Beri komentar di bawah, apa pendapat Anda tentang hal itu?
