Crawl dan Index – Sebelum sebuah halaman tampil, ada dua tahapan yang dilakukan oleh mesin pencari. Kedua proses ini harus berjalan dengan baik agar halaman sukses berada di tempat yang diinginkan.
Crawl
Ini adalah proses jelajah oleh spider mesin pencari ke sebuah website melalui yang namanya tautan. Selama tautan masih menggunakan rel do-follow, maka Googlebot akan terus menjelajah link sampai menemukan konten-konten baru.
Crawl Budget
Crawl budget adalah jumlah rata-rata tautan yang dijelajahi oleh Googlebot sebelum pergi meninggalkan blog anda. Makanya kemudian ada teknik optimasi crawl budget, agar Googlebot dapat menjelajahi sebanyak mungkin halaman-halaman penting dengan waktu sedikit mungkin.
Crawl budget sangat penting diperhatikan, terutama oleh website dengan jumlah halaman yang sangat besar, seperti ecommerce atau web media.
Indexing
Indexing adalah proses penyimpanan data-data blog ke dalam database Google sebelum diranking dan dimunculkan di pencarian. Index dan crawl saling berhubungan erat.
Jika sebuah blog sulit untuk dicrawl, maka otomatis index-nya juga akan bermasalah. Dan jika index bermasalah, maka rank juga akan kesulitan naik atau kalaupun ngerank, tidak di posisi yang diinginkan.
baca artikel lengkap tentang cara kerja seo
Tips Mengoptimalkan Crawl dan Index
HANYA INDEKS HALAMAN-HALAMAN YANG PENTING SAJA
Melakukan penyaringan halaman membuat crawl budget Anda semakin optimal, maka sebaiknya blok Googlebot dari mengcrawl link-link yang tidak penting. Beberapa link yang tidak penting, antara lain:
- Kategori
- Tags
- Author
- Konten yang membutuhkan login
- Hasil pencarian
PERBAIKI PERFORMA BLOG
Semakin cepat loading web, maka semakin mudah Googlebot menjelajahi link-link penting di blog Anda.
PERIKSA LINK ERROR DAN SEGERA PERBAIKI
Link error 4XX atau 5XX adalah dua masalah utama yang sering dijumpai. Jika ada, lakukan perbaikan dengan segera agar crawl budget tidak sia-sia.
PASANG SITEMAP DAN SUBMIT KE GOOGLE CONSOLE
Ini penting, dan nantinya akan kita bahas di materi berikutnya. Sitemap memberikan petunjuk alur tautan kepada Googlebot. Ini menjadi semacam jembatan bagi mesin pencari untuk menemukan tautan-tautan di dalam blog kita.
CEGAH ORPHAN LINK/PAGE
Googlebot secara default tidak bisa menemukan link yang tidak terkait dengan link lain, atau halaman yang terpisah dari navigasi utamanya.
Cara yang paling mudah untuk memastikan semua halaman yang penting tercrawl dan terindeks dengan baik adalah dengan menerapkan internal link yang baik.
HINDARI HALAMAN DUPLIKAT
Hukum baku dan harus jadi catatan penting adalah, bahwa Google menyukai blog yang punya 1 link untuk 1 konten unik. Jadi, hindari membiarkan Googlebot mengindeks url berupa parameter (ukuran, warna, tipe) di mana konten di dalamnya sama. Nanti kita akan belajar Canonical juga, di materi-materi berikutnya.. Insya Allah.
