Robots.txt di webmastertool tidak sama
Tulisannya mungkin membosankan, langsung aja ke point mengatasi masalah robots.txt yang tidak sama ketika di fetch di webmaster tool, dan beberapa solusinya adalah :- Pindah Hosting
- Kembali ke hosting sebelumnya
- Manfaatkan property dengan www, karena biasanya masalah ini berlaku pada property http://namadomain.com, jadi cobalah menggunakan http://www.namadomain.com untuk membuat property di webmaster tool
Ini hal yang baru saja dialami beberapa hari yang lalu pada salah satu website milik saya, hal ini baru diketahui setelah ada pemberitahuan dari google bahwa ada kerusakan parah yang menyebabkan banyak halaman penting di blokir, ini harus segera diperbaiki.
Setelah di cek di Google Webmastertool, ternyata permasalahannya terdapat pada penguji Robots.txt dimana konten file robot.txt telah memblokir folder utama website tersebut. dan ini bukan file robot.txt yang ada di hosting website saya. Kenapa bisa demikian?
isi daripada file robots.txt yang ada di hosting saya adalah sebagai berikut :
User-agent: *
Disallow:/cgi-bin/
Sitemap:/sitemap.xml
User-agent: *
Disallow: / --> tanda / ini berarti disallow semua
User-agent: MJ12boot
Disallow: /
User-agent: rogerbot
Disallow: /
User-agent: dotbot
Disallow: /
Saya coba submit kembali robots.txt sampai puluhan kali, teteap saja yang terbaca bukan robots.txt milik saya, dan anehnya ketika file robots.txt dihapus dari server, webmastertool masih menampilkan konten robots diatas.
Jelas, konten robots tersebut telah memblokir konten website dari folder utama terlebih pada useragent yang pertama dimana tanda bintang merupakan cakupan global untuk semua perayap.
Memperbaiki robots.txt di webmastertool yang tidak mau berubah
Seperti diketahui, untuk mengubah konten robots.txt di webmastertool adalah cukup dengan mengirim kembali robots.txt yang sudah diperbaiki, kemudian tunggu beberapa menit untuk refresh halaman dan melihat konten robot yang sudah diperbaiki.Namun ketika beberapa kali mengirim ulang konten robot tetap tidak berubah dan hanya berisi badbot diatas.
if robots.txt on webmastertool cannot be changed [Solved]
Kebetulan saya menggunakan 2 hosting di server berbeda, dan permasalahan robots.txt ini berhasil diatasi setelah memindahkan Name Server ke hosting yang lain.Setelah kurang lebih 1jam memindahkan Name Server ke hosting yang lain, kini konten robots.txt sudah sesuai dengan robots.txt milik saya yang ada di hosting lain, sengaja saya membuat sedikit perbedaan pada file robots.txt di setiap hosting tersebut untuk mengetahui dari hosting mana robots ini di ambil.
Jadi, permasalahan robots.txt ini terselesaikan setelah mengganti Name Server atau setelah memindahkan hosting ke server yang lain. So... masalahnya ada dimana coba?