Home » » Mengapa Googlebot mendapatkan error ketika mencoba untuk mengakses file robots.txt kita?

Mengapa Googlebot mendapatkan error ketika mencoba untuk mengakses file robots.txt kita?


Mengapa Googlebot mendapatkan error ketika mencoba untuk mengakses file robots.txt kita?
Hal yang hebat tentang Google adalah, memberikan webmaster semua bantuan yang mereka butuhkan untuk mendapatkan situs web mereka ke dalam indeks Google. Ada alat yang bagus yang tersedia di Google Webmaster Tools disebut 'Ambil sebagai Googlebot'. Alat ini, seperti yang kita bahas dalam Tips SEO kami untuk start-up, bisa sangat membantu mendiagnosis kesalahan dan mendapatkan sebuah website dalam indeks Google lebih cepat. Sebuah file robots.txt digunakan untuk merangkak efisiensi, dan mencegah halaman tertentu dari yang merangkak dll Kadang-kadang meskipun, Googlebot mungkin mengalami kesulitan mengambil file robots.txt Anda. Berikut adalah solusi dari Google untuk masalah ini.


Pertanyaan awal ditanyakan o forum GWT harus dengan merangkak inefisiensi. The Googlebot tidak dapat merayapi file robots.txt 50% dari waktu, meskipun file bisa diambil dari host lain dengan tingkat keberhasilan 100%. Perlu dicatat bahwa ini adalah pada server nginx polos dan sejumlah mit.edu, sehingga harus memiliki cukup baik up-waktu. Jadi masalah tampaknya dengan Google, kan?


Kadang-kadang, orang mencoba cloaking di situs Web mereka. Cloaking berarti konten bersembunyi dari crawler, sehingga konten yang berbeda disajikan untuk crawler dan pengguna. Jadi apa yang pengguna mungkin melihat di situs Web mereka mungkin banyak berbeda dari apa yang crawler seperti Googlebot lihat. Tidak hanya ini praktek SEO yang buruk, juga dapat memiliki konsekuensi.

Selama cloaking, orang terkadang membuat kesalahan, dan akhir-up reverse-cloaking. Jadi sementara browser dan agen pengguna melihat situs web baik, crawler tidak melihat konten apapun. Membuat kesalahan semacam itu adalah seperti memangkas kaki Anda sendiri. Jadi ini bisa menjadi salah satu alasan untuk masalah ini.

Seperti yang kita diskusikan tentang di awal, Ambil sebagai Googlebot fitur di Google Webmaster Tools adalah alat yang cukup mengagumkan. Anda dapat menggunakannya untuk mengambil file robots.txt Anda. t akan memberitahu Anda ketika ada masalah. Banyak orang mungkin tidak mengetahui hal ini, tapi kadang-kadang, web host mereka mungkin bergantian antara sistem yang berbeda dan host. Jadi tingkat keberhasilan 50% mungkin menyumbang salah satu host yang tidak benar dikonfigurasi. Anda mungkin ingin menghubungi perusahaan hosting Anda tentang hal ini.

Kedua bisa menjadi penyebab paling mungkin untuk kesalahan merangkak robot.txt. Apakah ini membantu? Harap beritahu kami. Dan menantikan untuk pertanyaan SEO lebih dari jawaban mereka.