Това са двата файла, които най-често се бъркат един с друг, и нито един не прави това, което хората очакват. Файлът robots.txt казва на кроулърите кои адреси могат да поискат на сайта ви. XML картата на сайта им казва кои адреси съществуват и кои смятате за важни. Google е изричен по въпроса, който нанася най-много щети: robots.txt не е механизъм за държане на страница извън Google.
На прост език
Две бележки, оставени за майстор, който работи в сградата ви.
Едната е залепена на врата: не влизай в тази стая. Другата е списък със задачи: това е всичко, което трябва да се направи, и кога всяко нещо е пипано за последно.
Табелата на вратата контролира къде ходи майсторът. Не прави стаята невидима. Някой в коридора все пак може да каже на други, че стаята съществува, и да я опише от прага, без да влиза.
Списъкът със задачи е списък. Не задължава никого да направи всичко в него. Просто значи, че нищо важно не е пропуснато, защото е било в шкаф, който никой не е отворил.
Защо това е важно за вашия сайт
Двата файла са малки, стоят на място, където повечето хора никога не поглеждат, и двата могат да махнат сайт от резултатите с един ред. Това е най-високото съотношение последствие към усилие в цялото техническо SEO, работата сайтът да остане достъпен и четим.
Конкретната опасност е, че robots.txt редовно се използва като инструмент за поверителност от хора, които не са прочели какво прави. Да блокираш страница и да очакваш да изчезне от търсенето дава обратното на желаното: резултат без описание, който изглежда по-зле, отколкото страницата е изглеждала.
Как работи всъщност
Robots.txt. Стои в корена на сайта и управлява трафика от кроулъри. Google описва две легитимни употреби: намаляване на натоварването, когато сървърът би се затруднил от заявки на кроулъри, и избягване на обхождане на неважни или почти еднакви страници.
Трите ограничения. Google ги изброява ясно. Правилата не са принудителни: добре възпитаните кроулъри ги спазват, други може и да не. Различните кроулъри тълкуват синтаксиса различно. И адрес, забранен в robots.txt, все пак може да бъде индексиран, ако други сайтове линкват към него, и да се появи в резултатите без описание.
Капанът. Google предупреждава, че комбинирането на правила за обхождане с правила за индексиране може да ги накара да се взаимоизключат. Правилото noindex е написано вътре в страницата, така че кроулър, блокиран да я вземе, никога не го чете. Блокиране и noindex едновременно гарантира, че noindex ще бъде игнориран.
Ресурсни файлове. Можете да блокирате скриптове, стилове и изображения с robots.txt, но Google предупреждава срещу това, когато липсата им прави страницата по-трудна за разбиране. Страница с блокиран стилов файл е страница, която Google вижда различно от посетителите ви.
XML карти на сайта. Картата на сайта изброява страници, видеа и други файлове, заедно с информация като кога всеки е обновяван за последно и кои алтернативни езикови версии съществуват. Позицията на Google дали ви трябва е необичайно спокойна: ако страниците на сайта са правилно свързани, обикновено може да открие повечето от него.
Когато помага. Google назовава случаите: големи сайтове, където е трудно да се гарантира, че всяка страница има входящ линк. Нови сайтове с малко външни линкове, защото кроулърите идват, следвайки линкове отдругаде. Сайтове с много видеа или изображения, или които се появяват в Google News. И сайтове с архиви от изолирани или слабо свързани помежду си страници.
Лимити. Един файл с карта на сайта побира до 50 000 адреса или 50 MB некомпресиран, което дойде първо. Картите за изображения и видеа обикновено удрят лимита за размер преди този за брой. Отвъд всеки от двата се използва sitemap index, файл, който изброява други карти.
Нито един файл не дава индексиране. Картата на сайта е помощ за откриване, а формулировката на Google е тъпа: подаването ѝ е само подсказка, без гаранция, че дори ще бъде свалена или използвана за обхождане. Присъствие в карта на сайта не е ангажимент на Google да запази или покаже страницата.
Как изглежда на практика
Екип чете, че Googlebot губи време по неважни файлове, и решава да помогне, като блокира папката със стиловете, скриптовете и изображенията на темата.
Страниците още се зареждат перфектно за посетителите. За Google вече се рендират като нестилизиран текст без изображения, защото ресурсите за показването им са зад врата с надпис „не влизай“.
Промяната е направена за по-ефективно обхождане и е влошила разбирането на всяка страница в сайта. Така изглеждат повечето щети от robots.txt: добронамерена оптимизация без видим симптом.
Какво хората обикновено грешат
„Блокирахме го, значи е скрито.“ Google казва, че блокиран адрес все пак може да се появи в резултатите, ако други сайтове линкват към него. Robots.txt контролира ходенето, не говоренето.
„За сигурност: блокирай го и сложи noindex.“ Взаимоизключват се. Изберете едното, а за държане на страница извън резултатите изберете noindex с разрешено обхождане.
„Картата на сайта индексира страниците.“ Помага на Google да ги намери. Това, което следва, е индексиране, отделният процес на анализ на страницата и решение дали да се запази.
„Всеки сайт има нужда от карта.“ Google казва, че добре свързаните сайтове обикновено се откриват и без нея. Решение за проблем с откриването, не подразбиране.
Какво можете да направите
Отворете вашдомейн.com/robots.txt в браузър още сега. Отнема десет секунди и от време на време обяснява цяла година объркване.
След всяко пускане, редизайн или смяна на хостинг проверете дали не е останал ред Disallow: / от тестовата среда. Този единствен ред е отговорен за повече внезапни изчезвания от всяка друга причина.
Оставете стиловете, скриптовете и изображенията си обхождаеми, освен ако имате конкретна причина и сте проверили как изглежда страницата без них.
Използвайте noindex, не robots.txt, за страници, които искате извън резултатите, и се уверете, че тези страници остават обхождаеми, за да може правилото да се прочете.
Подайте картата на сайта в Google Search Console и прочетете отчета за нея после. Карта, която изброява адреси с редирект, грешка или блокиране, казва на Google, че собственият ви списък е ненадежден.
Генерирайте картата автоматично. Ръчно поддържаната е точна около месец.
Думи, които ще чуете
Disallow. Инструкцията в robots.txt даден път да не се заявява.
Noindex. Правило вътре в страницата, което казва на търсачките да не я пазят в индекса си.
Sitemap index. Файл, който изброява няколко карти на сайта, когато една не стига.
User-agent. Името, с което кроулърът се идентифицира, използвано за насочване на правилата в robots.txt.
За robots.txt, карта на сайта, кроулър и индекс вижте Как работи търсенето. За SERP, запитване и Search Console вижте Какво е SEO?
