Let's make this life Easy, as well as you can
Mengulas berbagai cerita kehidupan mulai dari tradisi hingga teknologi, tips, solusi, informasi, internet, pekerjaan, hiburan, Kesehatan, mitos, fakta, klenik, unik bahkan mistik yang diulas berdasarkan pengalaman serta dari berbagai referensi, semoga bermanfaat
Adalah hal yang wajar bagi setiap pemilik website atau blog untuk memiliki pengunjung dan pelanggan yang banyak, tujuannya cuma satu yaitu agar pesan promosinya mudah ditemukan di internet. Untuk Blogger... banyak pengunjung-iklan -penghasilan besar.

Meningkatkan kualitas hosting untuk tujuan SEO

Banyak blog lain yang membahas tentang trik dan dunia SEO, disini saya hanya akan berbagi pengalaman ketika berusaha meningkatkan kualitas hosting agar tidak terlalu sering down ketika mendapat pengunjung membludak dalam satu waktu yang sama.

"Ada harga, ada kualitas", berpegang pada hal itu, sayapun mencoba menggunakan hosting yang harganya cukup expensive alias cukup mahal meski masih Shared, tujuannya untuk membackup server sebelumnya yang selalu down ketika mendapat banyak pengunjung.

Pada server sebelumnya ketika real time visitor mencapai 1000 visitor, maka server akan down selama 30 - 120menit bahkan sampai 6 jam. Dan sepertinya hosting yang cukup mahal itu memang stabil, ini terbukti dari meningkatnya statistik pengunjung Real Time dari Google analytic yang masih tetap bisa diakses meski real time visitor mencapai diatas 1500.

Saat itu saya berpikir "Gak percuma mengeluarkan biaya besar, jika hasilnya akan besar juga".

Shared hosting yang mahal itu mulai bermasalah.

30 hari berlalu saya menggunakan hosting baru, Blog pun mengalami peningkatan penghasilan sebesar kurang lebih 60%.

Namun, menginjak bulan kedua saya cukup terkejut ketika mendapat pemberitahuan dari google webmastertool dan juga Bing bahwa ada kerusakan parah pada blog tersebut yang berakibat hilangnya seluruh konten blog di semua pencarian internet.

Sebelum masuk ke webmastertool, pertama tama saya cek blog, namun sepertinya aman-aman saja. Lantas sayapun masuk ke google webmastertool, dan saya pun terkejut ketika melihat laporan kesalahan perayapan. Lebih dari 200.000 blog konten di blok oleh robots.txt

Hebatnya pengaruh Robots.txt

Mengetahui hal itu, saya cek penguji robots.txt di webmastertool dan ternyata isi robots.txt tersebut :

User-agent: *
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: rogerbot
Disallow: /

User-agent: dotbot
Disallow: /

Saya terkejut dan heran, kenapa saya begitu bodoh menggunakan script robots.txt seperti itu, Jelas ini memblokir seluruh konten blog agar tidak dirayapi. Tapiiiii..... saya juga yakin, ini bukan robots.txt yang saya buat. Ya... itu bukan robots.txt milik blog saya karena setelah di cek melalui websitenya langsung isinya memang beda.

Untuk mengetahui alasan dan cara memperbaikinya, silahkan Baca [Kenapa robots.txt berubah dengan sendirinya].

Pindah hosting ini ternyata kesalahan fatal

Hebatnya fungsi robots.txtMengetahui ada yang janggal dengan fetch robots.txt tersebut, sayapun berkomunikasi dengan perusahaan webhosting yang digunakan untuk dapat segera mengatasi permasalahan ini. Namun, yang saya terima dari penjelasan mereka cenderung menyalahkan saya karena salah menggunakan skrip robots.txt

Robots.txt tersebut tidak dapat diubah padahal saya sudah mengubah konten robots txt tersebut, bahkan ketika saya menghapus file robots.txt di hosting, yang terbaca hanyalah robot txt diatas.

3 bulan berlalu, kondisi blog semakin parah, pengunjung menurun drastis hingga realtime visitor cuma 20-40 visitor dan berdampak pada penghasilan juga. Katakan saja jika sebelumnya ketika blog masih menggunakan hosting lama bisa mendapat $200-$250/bulan, kini semakin kritis... cuma mendapat sekitar $40.

Saya cukup stress menghadapi masalah ini dan akhirnya saya memutuskan untuk kembali ke hosting sebelumnya. Dan pada saat menulis artikel ini semuanya berfungsi normal, terutama robot.txt, pengunjungpun mulai berangsur membaik, ini terlihat dari realtime visitor antara 350-450 visitor.

Dalam hal ini siapa yang harus disalahkan? penyedia hosting baru? sementara mereka mengklaim bahwa kesalahan ada pada saya. atau Human Error yang telah mengubah DNS agar terhubung ke robots.txt lain?

Oh ya, jika mengubah Name Server maka proses propagasinya memerlukan waktu cukup lama, biasanya diatas 2 jam, bahkan bisa mencapai 1 hari. Namun di DNS propagasi di Google Webmastertool terbilang cepat, khusus untuk fetch robots.txt cuma memerlukan waktu 5-10 menit untuk mendeteksi ke server mana Domain Blog kita terhubung.

Semoga kejadian yang saya alami ini tidak dialami oleh blogger lain yang hendak pindah hosting untuk tujuan perbaikan kualitas blog.

Label: , ,

Bagikan ke :
facebook google+ twitter BBM

Tulisan Hebatnya pengaruh Robots.txt ini ditulis pada 3/11/2017, Admin akan berusaha sebaik mungkin agar informasi ini sesuai dengan kondisi saat ini (Terupdate), harap maklum jika informasi yang terkandung dalam artikel ini sudah kadaluarsa
| Cari Hebatnya pengaruh Robots.txt di : AOL | Ask | Bing | DuckDuckGo | Microsoft | Google | ixquick | Yahoo | Yandex | Yippy | MySearch