Let's make this life Easy, as well as you can
Mengulas berbagai cerita kehidupan mulai dari tradisi hingga teknologi, tips, solusi, informasi, internet, pekerjaan, hiburan, Kesehatan, mitos, fakta, klenik, unik bahkan mistik yang diulas berdasarkan pengalaman serta dari berbagai referensi, semoga bermanfaat
Untuk keperluan Search Engine Optimization, adanya file robots.txt memang sangat mempengaruhi, Robots.txt berfungsi untuk mengatur mana dan konten apa saja yang diizinkan atau tidak diijinkan untuk terindex oleh mesin telusur. Namun bagaimana jika robots.txt tersebut ketika di fetch kontennya beruubah menjadi disallow untuk semua folder website?

Robots.txt di webmastertool tidak sama

Tulisannya mungkin membosankan, langsung aja ke point mengatasi masalah robots.txt yang tidak sama ketika di fetch di webmaster tool, dan beberapa solusinya adalah :
  1. Pindah Hosting
  2. Kembali ke hosting sebelumnya
  3. Manfaatkan property dengan www, karena biasanya masalah ini berlaku pada property http://namadomain.com, jadi cobalah menggunakan http://www.namadomain.com untuk membuat property di webmaster tool
Oke, Lanjuuuttt..., Tulisan lanjut itu pake huruf "L" ya, jangan pake huruf "K".

Ini hal yang baru saja dialami beberapa hari yang lalu pada salah satu website milik saya, hal ini baru diketahui setelah ada pemberitahuan dari google bahwa ada kerusakan parah yang menyebabkan banyak halaman penting di blokir, ini harus segera diperbaiki.

Setelah di cek di Google Webmastertool, ternyata permasalahannya terdapat pada penguji Robots.txt dimana konten file robot.txt telah memblokir folder utama website tersebut. dan ini bukan file robot.txt yang ada di hosting website saya. Kenapa bisa demikian?

isi daripada file robots.txt yang ada di hosting saya adalah sebagai berikut :

User-agent: *
Disallow:/cgi-bin/

Sitemap:/sitemap.xml

Namun yang terdeteksi di webmastertool malah berbeda dan ini jelas bukan milik saya, seperti dibawah ini, kita sebut saja Badbot :

User-agent: *
Disallow: / --> tanda / ini berarti disallow semua

User-agent: MJ12boot
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: dotbot
Disallow: /

Saya coba submit kembali robots.txt sampai puluhan kali, teteap saja yang terbaca bukan robots.txt milik saya, dan anehnya ketika file robots.txt dihapus dari server, webmastertool masih menampilkan konten robots diatas.

Jelas, konten robots tersebut telah memblokir konten website dari folder utama terlebih pada useragent yang pertama dimana tanda bintang merupakan cakupan global untuk semua perayap.

Memperbaiki robots.txt di webmastertool yang tidak mau berubah

Memperbaiki robots.txt di webmastertool yang tidak mau berubahSeperti diketahui, untuk mengubah konten robots.txt di webmastertool adalah cukup dengan mengirim kembali robots.txt yang sudah diperbaiki, kemudian tunggu beberapa menit untuk refresh halaman dan melihat konten robot yang sudah diperbaiki.

Namun ketika beberapa kali mengirim ulang konten robot tetap tidak berubah dan hanya berisi badbot diatas.

if robots.txt on webmastertool cannot be changed [Solved]

Kebetulan saya menggunakan 2 hosting di server berbeda, dan permasalahan robots.txt ini berhasil diatasi setelah memindahkan Name Server ke hosting yang lain.

Setelah kurang lebih 1jam memindahkan Name Server ke hosting yang lain, kini konten robots.txt sudah sesuai dengan robots.txt milik saya yang ada di hosting lain, sengaja saya membuat sedikit perbedaan pada file robots.txt di setiap hosting tersebut untuk mengetahui dari hosting mana robots ini di ambil.

Jadi, permasalahan robots.txt ini terselesaikan setelah mengganti Name Server atau setelah memindahkan hosting ke server yang lain. So... masalahnya ada dimana coba?

Labels: , ,



| Cari Kenapa Robots.txt berubah di : AOL | Ask | Bing | DuckDuckGo | Microsoft | Google | ixquick | Yahoo | Yandex | Yippy | MySearch