Meningkatkan kualitas hosting untuk tujuan SEO
Banyak blog lain yang membahas tentang trik dan dunia SEO, disini saya hanya akan berbagi pengalaman ketika berusaha meningkatkan kualitas hosting agar tidak terlalu sering down ketika mendapat pengunjung membludak dalam satu waktu yang sama."Ada harga, ada kualitas", berpegang pada hal itu, sayapun mencoba menggunakan hosting yang harganya cukup expensive alias cukup mahal meski masih Shared, tujuannya untuk membackup server sebelumnya yang selalu down ketika mendapat banyak pengunjung.
Pada server sebelumnya ketika real time visitor mencapai 1000 visitor, maka server akan down selama 30 - 120menit bahkan sampai 6 jam. Dan sepertinya hosting yang cukup mahal itu memang stabil, ini terbukti dari meningkatnya statistik pengunjung Real Time dari Google analytic yang masih tetap bisa diakses meski real time visitor mencapai diatas 1500.
Saat itu saya berpikir "Gak percuma mengeluarkan biaya besar, jika hasilnya akan besar juga".
Shared hosting yang mahal itu mulai bermasalah.
30 hari berlalu saya menggunakan hosting baru, Blog pun mengalami peningkatan penghasilan sebesar kurang lebih 60%.Namun, menginjak bulan kedua saya cukup terkejut ketika mendapat pemberitahuan dari google webmastertool dan juga Bing bahwa ada kerusakan parah pada blog tersebut yang berakibat hilangnya seluruh konten blog di semua pencarian internet.
Sebelum masuk ke webmastertool, pertama tama saya cek blog, namun sepertinya aman-aman saja. Lantas sayapun masuk ke google webmastertool, dan saya pun terkejut ketika melihat laporan kesalahan perayapan. Lebih dari 200.000 blog konten di blok oleh robots.txt
Hebatnya pengaruh Robots.txt
Mengetahui hal itu, saya cek penguji robots.txt di webmastertool dan ternyata isi robots.txt tersebut :User-agent: *
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: rogerbot
Disallow: /
User-agent: dotbot
Disallow: /
Saya terkejut dan heran, kenapa saya begitu bodoh menggunakan script robots.txt seperti itu, Jelas ini memblokir seluruh konten blog agar tidak dirayapi. Tapiiiii..... saya juga yakin, ini bukan robots.txt yang saya buat. Ya... itu bukan robots.txt milik blog saya karena setelah di cek melalui websitenya langsung isinya memang beda.
Untuk mengetahui alasan dan cara memperbaikinya, silahkan Baca [Kenapa robots.txt berubah dengan sendirinya].
Pindah hosting ini ternyata kesalahan fatal
Mengetahui ada yang janggal dengan fetch robots.txt tersebut, sayapun berkomunikasi dengan perusahaan webhosting yang digunakan untuk dapat segera mengatasi permasalahan ini. Namun, yang saya terima dari penjelasan mereka cenderung menyalahkan saya karena salah menggunakan skrip robots.txtRobots.txt tersebut tidak dapat diubah padahal saya sudah mengubah konten robots txt tersebut, bahkan ketika saya menghapus file robots.txt di hosting, yang terbaca hanyalah robot txt diatas.
3 bulan berlalu, kondisi blog semakin parah, pengunjung menurun drastis hingga realtime visitor cuma 20-40 visitor dan berdampak pada penghasilan juga. Katakan saja jika sebelumnya ketika blog masih menggunakan hosting lama bisa mendapat $200-$250/bulan, kini semakin kritis... cuma mendapat sekitar $40.
Saya cukup stress menghadapi masalah ini dan akhirnya saya memutuskan untuk kembali ke hosting sebelumnya. Dan pada saat menulis artikel ini semuanya berfungsi normal, terutama robot.txt, pengunjungpun mulai berangsur membaik, ini terlihat dari realtime visitor antara 350-450 visitor.
Dalam hal ini siapa yang harus disalahkan? penyedia hosting baru? sementara mereka mengklaim bahwa kesalahan ada pada saya. atau Human Error yang telah mengubah DNS agar terhubung ke robots.txt lain?
Oh ya, jika mengubah Name Server maka proses propagasinya memerlukan waktu cukup lama, biasanya diatas 2 jam, bahkan bisa mencapai 1 hari. Namun di DNS propagasi di Google Webmastertool terbilang cepat, khusus untuk fetch robots.txt cuma memerlukan waktu 5-10 menit untuk mendeteksi ke server mana Domain Blog kita terhubung.
Semoga kejadian yang saya alami ini tidak dialami oleh blogger lain yang hendak pindah hosting untuk tujuan perbaikan kualitas blog.