Analyse av robots.txt

Hjemmeside
Hjemmesides bilde
Avlogget
Bidragsyter
Ble med: 17.06.2008

For de som ikke vet hva «robots.txt» er; det er en fil hvor man kan spesifisere hvilke deler av nettstedet som kan indekseres av søkerobotene, og hvilke websider og kataloger som ikke skal indekseres.

Robots.txt analyse

For å være sikker på at du ikke nekter indeksering av URLer kan man bruke denne ressursen. Dette er en robots.txt analyzer (nytt vindu).

Den fungerer ved at man putter inn en URL, deretter laster den ned robots.txt fra nettstedet ditt og ser om filen tillater indeksering av URLen du puttet inn eller ei.

Dette sikrer deg mot at du ufrivillig nekter indeksering av URLer du ønsker indeksert.

Hjemmeside
Hjemmesides bilde
Avlogget
Bidragsyter
Ble med: 17.06.2008
Analyse av robots.txt

Har blitt gjort oppmerksom på at linken til robots.txt ovenfor ikke lenger fungerer, så hvis den ikke fungerer når du leser dette, så er dette et annet (og kanskje bedre alternativ).

Google Webmaster Console

Alle hjemmesider bør legges inn i Google webmaster console. Dette gir Google opplysninger om nettstedet ditt, samtidig som du får informasjon om nettstedets ytelse i søkemotorene fra Google.

Google Webmaster Console har mange nyttige funksjoner, og en av disse er en robots.txt tester.

Google Search Console

For å få GSC, så må du først legge inn nettstedet ditt og følge prosessen for å verifisere at du eier nettstedet. Dette blir forklart av Google på en enkel måte.

Når du har lagt inn hjemmesiden din, så kan du gå inn i denne menyen:

Velg "robots.txt Tester" i Google Search Console

Du vil da få opp denne siden som viser din live robots.txt fil.

robots.txt tester i Google Webmaster Tools

Svar på forumemnet

(If you're a human, don't change the following field)
Your first name.
Innholdet i dette feltet blir holdt privat og vil ikke bli vist offentlig.