Wielu operatorów witryn jest niespokojnych. Najwyraźniej koniecznie musisz mieć plik o nazwie robots.txt. Co to jest?
Windows + Linux / angielski / Open Source. Jeśli masz stronę główną, zwykle chcesz, aby ją znaleziono. To wielka frustracja, gdy Twoja własna strona nie pojawia się w Google. Może to być spowodowane plikiem robots.txt. Ale tylko jeśli tam jest. Ten plik może zrobić tylko jedno: zabraniać.
W pliku robots.txt możesz uniemożliwić automatycznym programom przeglądającym Internet przez całą dobę dostęp do Twoich stron. Możesz ogłosić zakaz dla wszystkich tych robotów lub dla niektórych. Możesz zablokować swoje strony całkowicie lub tylko niektóre obszary.
Jeśli plik nie istnieje, nie ma żadnych zakazów. Twoje strony są otwarte dla wszystkich wyszukiwarek. Jeśli nadal nie pojawiasz się w Google, pojawia się zupełnie inne pytanie: Czy zarejestrowałeś już swoje strony? Najlepiej zrobić to od razu. Wystarczy wpisać adres tutaj:
https://www.google.com/webmasters/tools/submit-url
Aby to zrobić, musisz zalogować się na swoje konto Google.
Aby brakujący plik robots.txt stanowił problem, serwer również musiałby zostać nieprawidłowo skonfigurowany. Wtedy robot mógłby spróbować uzyskać dostęp do pliku i napotkać nietypowe komunikaty o błędach, powodując przerwanie procesu. Ale ten przypadek jest bardzo mało prawdopodobny.
Jeśli chcesz utworzyć plik robots.txt, zapisz go w głównym folderze swojego serwera WWW. Jeśli chcesz, aby każdy mógł zrobić wszystko, napisz w nim:
Agent użytkownika: *
Uniemożliwić:
Wiersz „User-Agent” wskazuje, kogo dotyczy zakaz. * oznacza: dla każdego. Linia „Disallow” wyraża zakaz. Jeśli nie ma nic więcej, oznacza to, że wszystkie dostępy są dozwolone.
Więcej na ten temat:Kurtyna w górę, oto Twoja strona internetowa: Jak stworzyć stronę internetową przy niewielkim wysiłku
