» »

[Python] Shranjevanje PDF rezultatov in 429 error

[Python] Shranjevanje PDF rezultatov in 429 error

Matija82 ::

Hotel sem prenesti vse PDF, ki sem jih našel preko "site:https://www.tralala.com filetype:pdf" ukaza (direkten dostop do direktorija je zavrnjen ampak PDF-je lahko shranim preko tega iskanja).

Ker je nekje 150 rezultatov sem hotel uporabiti BeautifulSoup in googlesearch knjižnici, da bi to avtomatiziral ampak vseskozi dobivam 429 error, ne glede ali hočem dobiti samo seznam povezav ali če hočem dejansko downloadat datoteke.

in raise_for_status
    raise HTTPError(http_error_msg, response=self)
requests.exceptions.HTTPError: 429 Client Error: Too Many Requests for url: https://www.google.com/sorry/index?continue=https://www.google.com/search%3Fq%3Dsite%253Ahttps%253A%252F%252F


Probal sem spremeniti num_results na 10 (samo za test) in delay na 2s ampak vseeno dobim ta error.

A moram zdaj počakat nekaj časa (ker sem predhodno poizkušal brez delaya in vsemi rezultati) ali lahko kodo kako modificiram, da to bo steklo?

Ahim ::

Najbrz v response headerju pise kaksen je rate limit in cez koliko casa lahko spet poskusas.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

RTV 4D na Kodi ali Samsung TV (strani: 1 2 )

Oddelek: Zvok in slika
6514914 (2635) ales74
»

Katera zmrznjena pica? (strani: 1 2 3 )

Oddelek: Loža
12533962 (20135) joze67
»

Fake traffic generator

Oddelek: Omrežja in internet
192270 (1466) HotBurek
»

fifa 13 pc problem

Oddelek: Igre
51137 (1066) Jakob_X
»

[Ubuntu server] mail poslan iz serverja zazna kot vsiljeno pošto (strani: 1 2 )

Oddelek: Omrežja in internet
799165 (8135) shorvat

Več podobnih tem