Представете си, че има помощни начини за оптимизация за търсачки (seo, search engine optimization), освен ключовите думи в съдържанието, хиперлинковете и т.н. За щастие има – чрез файла „robots.txt“
Какво всъщност представлява „robots.txt“ и за какво служи?
Всъщност това е един крайно прост за съставене текстов файл, който помага на уебмастърите да насочат ботовете към важното съдържание, като им забранят определени страници/папки на сървъра.
По този начин вместо да разсейвате бота на търсачката към страницата „За контакти“, примерно, можете да я забраните. И вместо да се скита из нея, той ще се скита из важното съдържание.
Как да го използваме?
Ето как изглежда един готов „robots.txt“ файл:
User-Agent: *
Disallow: script.php
Disallow: /dir1/
Disallow: /scr
Първият параметър представлява за кои ботове да важи забраната. В случая използвам звездичка, тоест към всички. Списък с ботовете по интернет можете да прегледате тук.
Както виждате, има четири типа забрана за ботовете. Първият случай, който забранява файла „script.php“, забранява единствено него. Тоест ботът няма да се разсея към него. Втория случай с „dir1“ забранява индексирането на всичко в конкретната директория. Следващата забрана е за всички папки, които започват с това име.
И последен съвет – когато оставите празно поле след „Disallow“, забранявате на бота да индексира целия сайт.
Винаги помнете да поставяте „robots.txt“ в главната директория (началото) на вашия сървър.
