Forum » Programiranje » [Python] Shranjevanje PDF rezultatov in 429 error
[Python] Shranjevanje PDF rezultatov in 429 error
Matija82 ::
Hotel sem prenesti vse PDF, ki sem jih našel preko "site:https://www.tralala.com filetype:pdf" ukaza (direkten dostop do direktorija je zavrnjen ampak PDF-je lahko shranim preko tega iskanja).
Ker je nekje 150 rezultatov sem hotel uporabiti BeautifulSoup in googlesearch knjižnici, da bi to avtomatiziral ampak vseskozi dobivam 429 error, ne glede ali hočem dobiti samo seznam povezav ali če hočem dejansko downloadat datoteke.
Probal sem spremeniti num_results na 10 (samo za test) in delay na 2s ampak vseeno dobim ta error.
A moram zdaj počakat nekaj časa (ker sem predhodno poizkušal brez delaya in vsemi rezultati) ali lahko kodo kako modificiram, da to bo steklo?
Ker je nekje 150 rezultatov sem hotel uporabiti BeautifulSoup in googlesearch knjižnici, da bi to avtomatiziral ampak vseskozi dobivam 429 error, ne glede ali hočem dobiti samo seznam povezav ali če hočem dejansko downloadat datoteke.
in raise_for_status raise HTTPError(http_error_msg, response=self) requests.exceptions.HTTPError: 429 Client Error: Too Many Requests for url: https://www.google.com/sorry/index?continue=https://www.google.com/search%3Fq%3Dsite%253Ahttps%253A%252F%252F
Probal sem spremeniti num_results na 10 (samo za test) in delay na 2s ampak vseeno dobim ta error.
A moram zdaj počakat nekaj časa (ker sem predhodno poizkušal brez delaya in vsemi rezultati) ali lahko kodo kako modificiram, da to bo steklo?
Ahim ::
Najbrz v response headerju pise kaksen je rate limit in cez koliko casa lahko spet poskusas.
Vredno ogleda ...
Tema | Ogledi | Zadnje sporočilo | |
---|---|---|---|
Tema | Ogledi | Zadnje sporočilo | |
» | RTV 4D na Kodi ali Samsung TV (strani: 1 2 )Oddelek: Zvok in slika | 14914 (2635) | ales74 |
» | Katera zmrznjena pica? (strani: 1 2 3 )Oddelek: Loža | 33962 (20135) | joze67 |
» | Fake traffic generatorOddelek: Omrežja in internet | 2270 (1466) | HotBurek |
» | fifa 13 pc problemOddelek: Igre | 1137 (1066) | Jakob_X |
» | [Ubuntu server] mail poslan iz serverja zazna kot vsiljeno pošto (strani: 1 2 )Oddelek: Omrežja in internet | 9165 (8135) | shorvat |