Indeksering refererer til prosessen der søkemotorer som Google, Bing, og andre skanner og katalogiserer innholdet på nettsider, slik at de kan presentere relevante resultater til brukere som søker etter informasjon.
Prosessen utføres av crawlere - bots som søkemotorene benytter for å samle, tyde og analysere informasjonen som senere benyttes til å generere søkeresultatene.
Administratorer av nettsider kan benytte en fil kalt robots.txt for å definere vilkårene for disse crawlerne, inkludert om man ikke ønsker at en side eller domene skal crawles og indekseres.
Nylig kan man også definere om man tillater at informasjonen benyttes til trening av AI modeller.