Indexed, though blocked by robots.txt" dan cara mengatasinya.
Maksud "Indexed, though blocked by robots.txt"
Ketika Anda melihat status "Indexed, though blocked by robots.txt" di Google Search Console atau alat SEO lainnya, itu berarti:
- Halaman tersebut telah diindeks oleh Google: Ini berarti Googlebot (perayap web Google) telah menemukan dan memproses konten halaman tersebut, serta menyimpinkannya dalam indeks Google. Oleh karena itu, halaman tersebut bisa muncul di hasil pencarian Google.
- Googlebot DIBLOKIR untuk MERAYAPInya oleh robots.txt: Pada saat yang sama, file robots.txt di situs web Anda memberi tahu Googlebot untuk tidak merayapi halaman atau bagian tertentu dari situs Anda.
Mengapa ini bisa terjadi?
Ini adalah situasi yang sedikit kontradiktif dan seringkali membingungkan. Biasanya terjadi karena salah satu dari beberapa alasan:
- Perubahan robots.txt setelah indeks awal: Halaman tersebut mungkin diindeks sebelum Anda menambahkan aturan pemblokiran di robots.txt. Googlebot sudah tahu tentang halaman itu dan telah mengindeksnya, tetapi sekarang Anda memintanya untuk tidak merayapinya lagi.
- Link internal atau eksternal yang kuat: Meskipun diblokir oleh robots.txt, jika ada banyak link internal atau eksternal yang kuat menunjuk ke halaman tersebut, Google mungkin memutuskan untuk mengindeksnya hanya berdasarkan sinyal tautan tersebut, meskipun tidak dapat merayapi isinya sepenuhnya. Dalam kasus ini, Google mungkin hanya menampilkan judul dan cuplikan singkat (misalnya, "Deskripsi tidak tersedia karena permintaan robots.txt").
- Kesalahan konfigurasi robots.txt: Anda mungkin secara tidak sengaja memblokir halaman yang seharusnya tidak diblokir.
- Perayapan berdasarkan cache: Terkadang, Google dapat mengindeks informasi berdasarkan versi yang di-cache sebelumnya dari halaman tersebut sebelum aturan robots.txt diterapkan atau diubah.
Dampak dari status ini:
- Visibilitas yang buruk: Meskipun bisa muncul di hasil pencarian, cuplikan (snippet) yang ditampilkan mungkin tidak akurat atau tidak ada sama sekali ("Deskripsi tidak tersedia"). Ini mengurangi daya tarik halaman bagi pengguna.
- Potensi masalah SEO: Jika halaman tersebut penting dan Anda ingin halaman tersebut memiliki peringkat yang baik, status ini menghambat kemampuan Google untuk memahami kontennya sepenuhnya, sehingga membatasi potensi peringkatnya.
- Sumber kebingungan: Ini bisa menjadi indikasi bahwa ada sesuatu yang salah dalam strategi perayapan dan pengindeksan situs Anda.
Cara Mengatasinya
Untuk mengatasi masalah "Indexed, though blocked by robots.txt", Anda perlu memutuskan apa tujuan Anda untuk halaman tersebut:
Opsi 1: Anda INGIN halaman tersebut diindeks dan dirayapi (Direkomendasikan untuk halaman penting)
Jika halaman tersebut adalah halaman yang penting bagi SEO dan Anda ingin Google merayapi dan mengindeksnya sepenuhnya, ikuti langkah-langkah ini:
Periksa dan Edit File robots.txt Anda:
- Buka file robots.txt Anda (biasanya terletak di namadomainanda.com/robots.txt).
- Cari baris yang memblokir halaman atau direktori tempat halaman tersebut berada.
- Hapus atau komentari (dengan menambahkan # di depannya) baris Disallow yang relevan.
- Contoh: Jika Anda melihat Disallow: /halaman-anda/, hapus baris tersebut. Atau jika Anda melihat Disallow: /direktori-anda/, hapus baris tersebut jika Anda ingin semua halaman di direktori tersebut dirayapi.
- Pastikan sintaks robots.txt Anda benar setelah perubahan. Anda bisa menggunakan alat penguji robots.txt di Google Search Console (di bagian "Settings" -> "Crawling" -> "robots.txt tester").
Periksa Tag noindex (Jika ada):
- Meskipun pesan ini secara khusus menyebutkan robots.txt, ada baiknya juga memeriksa apakah halaman tersebut memiliki tag meta noindex di bagian <head> HTML-nya. Jika ada noindex, Google akan mengindeksnya, tetapi tidak akan menampilkannya di hasil pencarian (atau akan sangat membatasi penampilannya).
- Contoh: <meta name="robots" content="noindex"> atau <meta name="googlebot" content="noindex">.
- Jika Anda menemukan tag noindex dan ingin halaman tersebut diindeks, hapus tag tersebut.
Kirim Ulang Peta Situs (Sitemap):
- Setelah Anda memperbarui robots.txt (dan mungkin menghapus noindex), kirim ulang sitemap Anda melalui Google Search Console. Ini akan memberi tahu Google untuk merayapi ulang situs Anda.
Minta Pengindeksan Ulang (Opsional, tetapi direkomendasikan):
- Di Google Search Console, gunakan alat "URL Inspection Tool" untuk halaman yang bermasalah.
- Masukkan URL halaman, lalu klik "Request Indexing." Ini akan mempercepat proses Google dalam mengunjungi dan memproses ulang halaman tersebut.
Opsi 2: Anda TIDAK INGIN halaman tersebut diindeks (Direkomendasikan untuk halaman internal/tidak penting)
Jika halaman tersebut adalah halaman yang tidak Anda inginkan muncul di hasil pencarian Google (misalnya, halaman admin, halaman terima kasih setelah formulir, halaman keranjang belanja, dll.), Anda perlu memastikan bahwa Google tidak mengindeksnya sama sekali.
Hapus Pemblokiran di robots.txt (Ini penting!):
- Meskipun terdengar berlawanan, Anda harus menghapus aturan Disallow di robots.txt untuk halaman ini. Mengapa? Karena Google perlu merayapi halaman tersebut untuk melihat instruksi noindex. Jika robots.txt memblokir perayapan, Google tidak akan pernah melihat tag noindex.
Tambahkan Tag Meta noindex ke Halaman:
Di bagian <head> HTML halaman yang ingin Anda sembunyikan dari indeks, tambahkan tag meta ini:
HTML:
<meta name="robots" content="noindex, follow">
- noindex: Memberi tahu Google untuk tidak mengindeks halaman ini.
- follow: Memberi tahu Google untuk tetap mengikuti tautan di halaman ini (ini opsional, tetapi direkomendasikan jika Anda memiliki tautan penting di halaman ini).
Kirim Ulang Peta Situs (Sitemap) (Opsional):
- Jika halaman tersebut ada di sitemap, hapus dari sitemap Anda untuk mencegah Google mencoba merayapinya lagi.
Minta Pengindeksan Ulang (Opsional):
- Menggunakan alat "URL Inspection Tool" di Google Search Console dan "Request Indexing" dapat mempercepat proses Google untuk menemukan tag noindex. Setelah Google merayapi ulang halaman dan melihat tag noindex, halaman tersebut seharusnya akan dihapus dari indeks.
Ringkasan Perbedaan Krusial:
- robots.txt: Mencegah perayapan oleh bot. Jika bot tidak bisa merayapinya, ia mungkin masih mengindeksnya berdasarkan tautan, tetapi dengan informasi yang terbatas.
- Tag noindex: Membolehkan perayapan, tetapi memberi tahu bot untuk tidak mengindeks halaman tersebut (tidak menampilkannya di hasil pencarian).
Penting: Jika Anda ingin halaman tidak diindeks sama sekali, cara yang paling efektif adalah dengan menggunakan tag meta noindex DAN memastikan robots.txt tidak memblokir perayapan halaman tersebut.
Dengan memahami tujuan Anda untuk setiap halaman dan menerapkan langkah-langkah yang tepat, Anda dapat mengatasi masalah "Indexed, though blocked by robots.txt" dan memastikan situs web Anda dioptimalkan dengan benar untuk mesin pencari.
No comments