Definicija Web Spideringa in spletnih pajkov

Pajki so programi (ali avtomatizirani skripti), ki se po spletu iščejo po spletu in iščejo podatke. Pajki potujejo skozi URL-je spletnih strani in lahko podatke iz spletnih strani, kot so e-poštni naslovi. Pajki se uporabljajo tudi za vnašanje informacij na spletnih mestih za iskalnike.

Pajki, ki se imenujejo tudi iskanje po spletnem iskalniku, in niso vsi prijazni v svojem namenu.

Spletne strani Spamerjev za zbiranje informacij

Google, Yahoo! in drugi iskalniki niso edini, ki se zanimajo za pajkanje spletnih strani - tako so tudi scammers in spammers.

Spameri uporabljajo pajke in druga avtomatizirana orodja za iskanje e-poštnih naslovov (na internetu se ta praksa pogosto imenuje „žetev“) na spletnih mestih in jih nato uporabi za ustvarjanje spam seznamov.

Pajki so tudi orodje, ki ga iskalniki uporabljajo za iskanje dodatnih informacij o vaši spletni strani, vendar niso označeni, spletno mesto brez navodil (ali »dovoljenj«) o tem, kako iskati po vašem spletnem mestu, lahko predstavlja velika tveganja za varnost informacij. Pajki potujejo po naslednjih povezavah in so zelo spretni pri iskanju povezav do baz podatkov, programskih datotek in drugih informacij, do katerih morda ne želite, da bi imele dostop.

Spletni skrbniki si lahko ogledajo dnevnike, da bi videli, kaj so pajki in drugi roboti obiskali na svojih spletnih mestih. Te informacije pomagajo skrbnikom spletnih mest vedeti, kdo indeksira njihovo spletno mesto in kako pogosto.

Te informacije so uporabne, ker webmasterjem omogočajo, da natančno prilagodijo svoje SEO in posodobijo datoteke robot.txt, da prepovejo nekaterim robotom, da bodo v prihodnje preiskali njihovo spletno mesto.

Nasveti za zaščito vaše spletne strani od neželenih robot pajki

Obstaja precej preprost način, da neželene pajke obdržite iz svojega spletnega mesta. Tudi če niste zaskrbljeni zaradi zlonamernih pajkov, ki pajkajo po vašem spletnem mestu (zamegljevanje e-poštnega naslova vas ne bo zaščitilo pred večino pajkov), morate iskalnikom ponuditi pomembna navodila.

Vse spletne strani morajo imeti datoteko v korenskem imeniku, imenovano datoteka robots.txt. Ta datoteka vam omogoča, da spletnim pajkom naročite, kje želite, da si ogledujejo indeksne strani (razen če ni drugače določeno v meta podatkih določene strani, da niso indeksirane), če so iskalnik.

Tako kot lahko poveste, da želite iskati pajke, kamor želite, da brskajo, jim lahko poveste tudi, kje ne smejo iti in celo blokirajo določene pajke s celotnega spletnega mesta.

Pomembno je vedeti, da bo dobro sestavljena datoteka robots.txt imela izjemno vrednost za iskalnike in bi lahko bila tudi ključni element pri izboljšanju uspešnosti vašega spletnega mesta, vendar pa bodo nekateri roboti roboti še vedno prezrli vaša navodila. Zato je pomembno, da ves čas posodabljate vso programsko opremo, vtičnike in aplikacije.

Sorodni članki in informacije

Zaradi razširjenosti pridobivanja informacij, ki se uporablja za nezaželene namene (spam), je bila leta 2003 sprejeta zakonodaja, ki je določena dejanja prepovedala. Ti zakoni o varstvu potrošnikov spadajo pod zakon CAN-SPAM iz leta 2003.

Pomembno je, da si vzamete čas, da preberete o CAN-SPAM aktu, če vaše podjetje sodeluje pri kakršnem koli množičnem pošiljanju ali pridelavi informacij.

Več o zakonih za preprečevanje neželene pošte in o tem, kako ravnati s pošiljatelji neželene elektronske pošte, in o tem, kaj si kot lastnik podjetja ne morete storiti, lahko preberete v naslednjih členih:

• Zakon CAN-SPAM 2003
• Pravila CAN-SPAM Act za neprofitne organizacije
• 5 CAN-SPAM pravila Small Business Lastniki morajo razumeti