NE DEMEK?

Robots.txt, web sitenizin kök dizininde bulunur ve sitenizi taramaya mevrut arama motorlarına ne sayfalarınızı tarayıp hangilerini dizinlerine ekleyebileceklerini söyleyen bir komut dosyasıdır. Sitenize mevrut botlar burada yer kayran komutları izlem ederek hareket eder.Kendiniz hazırladığınız ya da bir metanetli muharrirına hazÄ