Hvis du er kommet ind på denne side, har du sandsynligvis arbejdet med SEO et par år. Du har sandsynligvis hørt om det dér X-robots-tag, men kan ikke helt hitte ud af, hvad det er i virkeligheden.
På denne side kan du læse mere om, hvordan du kan bruge X-robots-tag til at justere, hvordan Google præsenterer dit indhold i søgeresultaterne. Du kan også angive side-niveauindstillinger ved at inkludere et meta-tag på HTML-sider eller i en HTTP-header.
Du kan også bruge tekstniveauindstillinger kan specificeres med data-nosnippet-attributtet på HTML-elementer inden for en side. Før du læser videre, har du brug for at vide hvad X-Robots-tag er.
Hvad er X-Robots-tag?
X-Robots-Tag er en HTTP-header, der giver webmastere mulighed for at styre, hvordan søgemaskiner indekserer specifikt indhold på deres websites. Denne header kan bruges til at give instruktioner til søgemaskiner om, hvordan de skal behandle en bestemt URL eller filtype, selvom indholdet ikke er i HTML-format (f.eks. billeder, PDF-filer, videoer osv.).
Når X-Robots-Tag er sat i HTTP-responsen for en given URL, kan den indeholde forskellige direktiver, såsom:
noindex: Instruerer søgemaskiner om ikke at indeksere indholdet.nofollow: Fortæller søgemaskinerne ikke at følge links på siden.nosnippet: Forhindrer søgemaskiner i at vise et uddrag (snippet) af indholdet i søgeresultaterne.noarchive: Forhindrer søgemaskiner i at gemme en cachelagret version af siden.unavailable_after: Angiver en dato og tid, hvor søgemaskiner ikke længere skal indeksere siden.
For eksempel, hvis du har en PDF-fil, og du ikke ønsker, at den skal indekseres af søgemaskiner, kan du inkludere følgende HTTP-header i serverens respons for den specifikke PDF-fil:
X-Robots-Tag: noindex
Dette vil instruere søgemaskiner om ikke at indeksere den pågældende PDF-fil.
X-Robots-Tag er især nyttig for indhold, der ikke er i HTML-format, da traditionelle meta-tags (som dem, der bruges i HTML <head> sektionen) ikke kan anvendes på sådanne filtyper.
Brug af robots meta-tag Robots meta-tag giver dig mulighed for at styre, hvordan en specifik side skal indekseres og præsenteres for brugerne i Google Søgeresultater. Placer robots meta-tag i <head>-sektionen af en given side. Hvis du bruger et CMS som Wix eller WordPress, kan du muligvis ikke redigere din HTML direkte. I stedet kan dit CMS have en søgemaskineindstillings-side eller en anden mekanisme til at fortælle søgemaskiner om meta-tags.
Brug af X-Robots-Tag HTTP-header X-Robots-Tag kan bruges som et element af HTTP-header-responsen for en given URL. Enhver regel, der kan bruges i et robots meta-tag, kan også specificeres som en X-Robots-Tag.
Gyldige indekserings- og serveringsregler Der er forskellige regler, der kan bruges til at styre indeksering og servering af et uddrag med robots meta-tag og X-Robots-Tag. Disse regler er ikke følsomme over for store og små bogstaver.
Brug af data-nosnippet HTML-attribut Du kan angive tekstdele af en HTML-side, der ikke skal bruges som et uddrag. Dette kan gøres på et HTML-elementniveau med data-nosnippet HTML-attributten på span, div og section-elementer.
Brug af strukturerede data Robots meta-tags styrer mængden af indhold, som Google automatisk trækker fra websider til visning som søgeresultater. Men mange udgivere bruger også schema.org-strukturerede data til at gøre specifik information tilgængelig for søgepræsentation.
Praktisk implementering af X-Robots-Tag Du kan tilføje X-Robots-Tag til en websides HTTP-responser gennem konfigurationsfilerne til din websides webserver-software.
Kombinering af robots.txt-regler med indekserings- og serveringsregler Robots meta-tags og X-Robots-Tag HTTP-headers opdages, når en URL gennemsøges. Hvis en side er forhindret i at blive gennemsøgt gennem robots.txt-filen, vil oplysninger om indekserings- eller serveringsregler ikke blive fundet og vil derfor blive ignoreret.
Du kan læse mere om X-robots-tag på Google developers
Kort om forfatteren
Jeg hedder Mikkel og jeg arbejder med SEO i Horsens.
Jeg er vist nok ved at være en gammel mand. Jeg har arbejdet med SEO siden 2006.
Jeg har sideløbende arbejdet med Google Ads og dataanalyse (GTM, GA4, Google Sheets og Python)