Hvad er Googlebot?
Googlebot er betegnelsen for Googles web crawler, som er et computerprogram, hvis formål det er at gennemgå hele world wide web for websider, indeksere dem og gøre dem søgbare.
Andre søgemaskiner har deres egne web crawlers – fx kaldes Microsofts søgemaskine Bings web crawler for “Bingbot”.
Den måde, som Googlebot gennemgår nettet på, er ved at følge eller “crawle” alle de links, der findes på alle websites på hele the world wide web. Når den følger disse links finder den både frem til nye websites på nettet og nye undersider på allerede eksisterende hjemmesider samt nyt indhold, der måtte være tilføjet til hjemmesider, der allerede ér indekseret i forvejen.
For altid at kunne præsentere brugerne med de senest opdaterede versioner af alle websites i søgeresultaterne, og for at sikre sig at websitet stadig findes, er Googlebot nødt til med jævne mellemrum at komme tilbage og crawle det samme site igen og igen. Og det gælder for alle websites, der findes på nettet, og da der findes millioner af websites med millioner af millioner af undersider, siger det sig selv at det er en endog meget resursekrævende manøvre.
Indblik i Googlebots arbejde
Hvis man gerne vil vide, hvornår Googlebot sidst har været forbi en specifik underside på sit website, er det muligt at se det i Googles eget værktøj: Google Search Console. Her går man ind under: Indstillinger > Statistik for crawl >Crawlanmodninger og så får man en oversigt over alle undersiderne på sit website med angivelse af dato og tidspunkt for hvornår Googlebot sidst har været forbi og indeksere dem.
Det er også muligt at lave et hurtigt tjek på, hvilke undersider på sit website, der er indekseret i Google ved at bruge følgende søgningskommando direkte i Googles søgefelt i browseren: “site: domæne.dk”. Her vil de søgeresultater, der dukker op, vise alle de undersider, der er indekseret i Google for det angivne domæne.
Hvis man af den ene eller anden årsag ønsker at forhindre Googlebot i at indeksere sit website, eller specifikke undersider på sit site, er det muligt at gøre ved hjælp af den såkaldte robot.txt-fil. Her kan man specificere, hvilke sider, man ikke ønsker skal indekseres.
I starten nævnte vi at Googlebot crawler nettet og finder frem til websites via links fra det ene website til det andet – på denne måde opdager Googlebot nye sites og indekserer dem, og rangerer dem i rækkefølge udfra relevans i forhold til hinanden i søgeresultaterne.
Det er derfor linkbuilding og indgående links til et website er så vigtigt, hvis man gerne vil opnå en høj rangering af sit website i søgeresultaterne. Det samme gør sig gældende lokalt på dit eget website, der er nødt til at være interne links, der peger på rundt på de forskellige undersider på sitet, så Googlebot kan følge linksne rundt på dit site og dermed indeksere alle undersiderne, så de kan blive synlige i Googles søgeresultater, og ikke kun forsiden.
OPSUMMERING
Googlebot er navnet på Googles webcrawler, som har til opgave at gennemgå hele nettet for websider, indeksere dem og gøre dem søgbare. For at gøre det lettere for Googlebot at indeksere sit website, er det en god idé at gøre brug af intern linkbuilding, hvor man linker mellem de forskellige undersider på sin hjemmeside.
I Google Search Console er det muligt at følge med i, hvornår og hvilke undersider på sit site at Googlebot har besøgt.