Sökmotorn uppgift är att visa relevanta sidor på de sökord eller sökfraser som anges vid en sökning.
Så här fungerar sökmotorer:
För att samla in alla hemsidor som finns online använder sökmotorerna små program sk sökrobotar (spindlar). Sökrobotarna är små program samlar in länkar och innehåll på de sidor de besöker. Sökrobotarna kommer till olika sidor genom att följa länkar. Sökroboten börjar med startsidan och följer sedan HTML länkar.
Insamlad data läggs i olika kategorier i en stor databas. När en sökning gör används denna data i databasen för att leverera ett så relevant sökresultat som möjlig. Begreppet indexering betyder registrering i databsen.
Google uppdaterar registret minst en gång var tredje månad och det sker en fortlöpande uppdatering av delar av innehållet.
Vad som är viktigt för värdering av hur en sidan placeras i sökresultat bestäms av de sk algoritmerna. Algoritmerna(regler) är hemliga och ändras ständigt. Algoritmerna mellan olika sökmotorer skiljer en del.
Sökrobotarna kan stöta på hinder t ex länkar som är i gjorda med javascrip. Sidor byggda i frames och flash är också hinder eller försvårar för sökrobotarna . Övrigt som kan ställa till bekymmer med indexeringen är cookies, session IDs, DHTM.
Med robot.txt kan man ange vad man inte vill skall indexeras. Denna fil placeras i rooten. t ex www.flygbolag/robot.txt.
Se till att sökroboten kan följa länkar och samla in information.