Untuk keperluan Search Engine Optimization, adanya file robots.txt memang sangat mempengaruhi, Robots.txt berfungsi untuk mengatur mana dan konten apa saja yang diizinkan atau tidak diijinkan untuk terindex oleh mesin telusur. Namun bagaimana jika robots.txt tersebut ketika di fetch kontennya beruubah menjadi disallow untuk semua folder website?
Read more ยปLabels: Blogger, google, Webmaster