Hvis du har en hjemmeside på nettet, vil den før eller senere bli snappet opp av søkemotorene. Det søkemotorer gjør er å sende roboter, eller såkalte spidere, til nettstedet ditt. Disse går gjennom websidene din i et forrykende tempo, og indekserer hele nettstedet.

Videre kjøres all informasjon gjennom algoritmer for å avgjøre hvor viktig siden din er i forhold til diverse ord og fraser. Dette er grunnlaget for hvordan websiden din rangeres i søkemotorene.

Så hva er robots.txt

robots.txt er et verktøy for webmastere. Standarden man bruker i robots.txt er et samarbeid mellom de største søkemotorene (Google, Bing og Yahoo).

Med robots.txt kan webmastere definere hvordan roboter fra søkemotorene skal oppføre seg på nettstedet.

For eksempel kan man nekte robotene å indeksere deler av eller hele nettstedet, om man ønsker det.

Hvordan lage robots.txt

Man oppretter enkelt og greit ei fil som heter robots.txt. Denne lastes så opp til webhotellet, og legges i rotkatalogen (den første mappen hvor også index-filen ligger).

Når en spider kommer til nettstedet, vil den først laste ned robots.txt, sjekke hvilke regler du har satt opp, og deretter følge dem under videre indeksering av nettstedet.

Regler i robots.txt

Det vanligste er å begynne robots.txt med følgende linjer:

Kommentering i robots.txt

Alle linjer med nummertegnet (#) er kommentert ut, det betyr at disse linjene ikke har noen betydning, men kun er for egen referanse.

User-agent i robots.txt

Med User-agent: * sier man at reglene gjelder for alle roboter, uavhengig av hvilken søkemotor de kommer fra. Stjernen (*) er et wild card som betyr alle.

Sitemap i robots.txt

Har man et sitemap (nettstedskart) til websiden, kan dette defineres ved å bruke Sitemap:. Dette er valgfritt, men et nettstedskart hjelper søkemotorene å indeksere samtlige websider på nettstedet ditt.

Hvis du ikke har et sitemap, kan du lese mer om hvordan man lager sitemap og sender det inn til søkemotorene her.

Nekte roboter å indeksere kataloger i robots.txt

Deretter begynner vi å nekte robotene indeksering av spesifiserte kataloger. Har man ressurser (bilder, CSS, HTML osv) i noen av disse katalogene, så vil de ikke bli indeksert.

Nekte roboter å indeksere visse URLer i robots.txt

Til slutt nekter man robotene å indeksere et par andre ressurser, som hent-passord.php og send-epost.php.

Mer om robots.txt

For ytterligere hjelp med robots.txt, kan du godt spørre her i foraet, eventuelt kan du lese deg frem på websidene til robotstxt.org. Ressursen er på engelsk, men meget lettlest.