» »

Dovoljenje za pobiranje podatkov z drugega spletnega mesta

Dovoljenje za pobiranje podatkov z drugega spletnega mesta

matox ::

Pozdravljeni!

Spisano imam skripto, ki mi iz neke vladne spletne strani pobira zame pomembne podatke. Podatke želim imeti čim bolj točne (na 5-10 min posodablanje). API-ja zato spisanega nimajo.

Ti se mi pojavi vprašanje. Moram imeti dovoljenje s strani administratorja, da lahko na vsake 10 min pokličem njihovo stran? Bojim se, da bi mi blokirali dostop, če bi ugotovili, da imam skripto, ki pobira te podatke. Ima kdo izkušnje s tem?

Stran bo imela nekje 500-1000 obiska na mesec naj soripto izvedem tako, da se podatki osvežijo ob vsakem page loadu ali naj podatke pobiram na server in njih osvežujem na server side?

Lp, matox

brodul ::

Naceloma ni fino, delati zahtevek na vi za vsak zatevek na streznik. A vendar kdaj ne gre (www.trola.si npr.).
Odvisno kaj vleces dol iz strani.

Ce se le, da lahko naredis caching streznik/nekineki vmes, pa se odlocis kako bos invalidiral vsebino. Ponavadi pri tem niti ni treba (veliko) spreminjati programske kode. Mogoce bo koristilo ce poves v katerem jeziku mas napisan backend.

Druga varjanta pa je da spravljas podatke v svojo bazo, samo z tem je vec dela, niti ni neki potrebno. Zna pa bit koristno, ce hoces potem delati se analizo podatkov ali pa iskanje.

Samo pri 500-1000 obiskov na mesec najbrs nic od tega ni potrebno.

Glede dovoljenj se seveda treba napisat vir. Kar se zahtevkov tice jih pac poskusas drzat v nekem normalnem merilu. Ce cachiras rezultate npr. 1 minuto, jih najbrs ne bos naredil veliko, spet ne moremo reci tako na pamet. Lahko si prijazen pa das useragent nekaj da te bodo ljudje lahko nasli lahko pa se delas da si IE 8.
Bodo pa ljudje zelo jezni in te blockali, ce se ti bo skripta zalopala in bos delal 100 zahtevkov na sekundo.
Pretending to be a mature adult is so exhausting.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Nova spletna stran, pomoč!

Oddelek: Izdelava spletišč
318700 (8247) gnomee
»

Optimizacija strani za mysgl bazo

Oddelek: Izdelava spletišč
131296 (1080) mjakop
»

Izdelava web serverja

Oddelek: Izdelava spletišč
141391 (1184) poweroff

Postavitev strežnika

Oddelek: Izdelava spletišč
242160 (1775) cahahopie
»

Hočen zaslužit s bannerji!

Oddelek: Omrežja in internet
261742 (1431) rc-car

Več podobnih tem