web scraping ideje

Pozdravljeni.


Iščem ideje za uporabne/zanimive/smiselne web scraping projekte.

- Ena ideja so artikli, ki se prodajajo v spletnih trgovinah (to dejansko imam za Špar/Mercator/Tuš CC). Kaj bi se potem dalo s temi podatki naprej naredit? Koga bi zanimali ti podatki?
- Druga ideja je, da bi naredil crawler, ki bi šel po home page-ih, potem bi pa lahko z "SQL" sintaktso iskal; Najdi vse strani, kjer se pojavi beseda "jogurt" v H1 tagu, najdi vse strani, kjer v HEAD-u ni description tag-a, najdi vse strani, ki imajo TABLE tag v BODY-ju, najdi vse strani, ki jih gosti xyz provajder itn. Ta stvar bi mogoče bila zanimiva za iskanje nepotimalnih strani...

Še kakšne druge ideje?

Kako dolgo traja da pobereš podatke iz teh trgovin?
Jih kam shranjujes?

Če imaš cene in povežeš še hofer, lidl, ..., bi lahko naredil neke vrste ceneje.si za hrano, sicer je vprašanje, če bi bili trgovci tega veseli.

Če imaš poleg tega še hranilne vrednosti in se povežeš še s kulinarika.net ali kaj podobnega lahko narediš ideje za kuho in koliko te pride kosilo, ter kje najceneje kupiš vse sestavine, z lokacijo lahko celo narediš optimizrano shopping listo.

Če imaš iskalnik po h1,h2 itd. bi lahko naredil neke vrste 3d web iskalnik, kjer je h1 izbočena ploskev, h2 manj izbočena ploskev itd., kak VR oz. AR Google bi kar zanimivo lahko tako izgledal.

Ko sem začel s temi podatki trgovin, sem imel v mislih idejo, da bi naredil za ~100 (spletnih) trgovin, program bi bil pa namenjen trgovcem, da bi imeli vsakodnevno osvežen pogled na "tržišče";

- zlistaj vse nove produkte (vsak dan so novi), ter tistih, ki jih ni več (v spletni trgovini)
- zlistaj vse produkte, katerim se je spremenila cena (in so v kategoriji "mleko", od proizvajalca X, ...)
- zlistaj vse produkte, ki so bili dodani/odstranjeni iz popusti/promocije/akcije
- zlistaj vse produkte proizvajalca X od vseh trgovin (ki jih ne prodaja trgvoina Y)

To še moram malo raziskat in povprašat. Zadevo sem potem mislil razširit na trgovine s cotami (nama...), elektronika (bigabn...), gradbeni material (merkur, impos...).

HotBurek kako si se pa učil tega scrapanja, kje si začel, je kak tutorial, knjiga ali kaj podobnega glede tega?

Hvala že vnaprej za odgovor.

HotBurek je 20. feb 2020 ob 18:41 izjavil:

Jst sem slišal, da imajo zajem podatkov na POSu, tako da vidijo, kje kdaj in kaj se prodaja. Mogoče manjši nimajo tega sistema (Nielsen).

Kaj bi uporabnikom to koristilo? Lahko primerja ceno jogurtov. Monetiziral bi pa kako? :)

App - reklame, spletna stran podobna ceneje.si - reklame, ...

HotBurek je 20. feb 2020 ob 18:41 izjavil:

Jst sem slišal, da imajo zajem podatkov na POSu, tako da vidijo, kje kdaj in kaj se prodaja. Mogoče manjši nimajo tega sistema (Nielsen).

Kaj bi uporabnikom to koristilo? Lahko primerja ceno jogurtov. Monetiziral bi pa kako? :)


VV, Python (requests.packages.urllib3) + beautifulsoup4 (za HTML) + json (za json to object). Naučil sem se iz potrebe/želje po tem, da poberem podatke dol in potem dolga pot različnih poskusov. :)

Da še dodam + za risanje grafov (bokeh).

Bokeh iris: https://docs.bokeh.org/en/latest/docs/g...

Preko reklam v appu ali na strani, preko rangiranja prikazovanja trgovin itd. Trgovci so pripravljeni pošteno plačati za dobro targetirane oglase.
Sploh če veš kaj ima uporabnik na nakupovalnem listku.

Ah torej imaš osnoven scraping brez nekega procesiranja zadaj? Torej znova in znova skeniras celotno trgovino?

Potem še scrapaj akcije (za upokojence, nad 2€, dva za ceno enega itd.), Tukaj bo verjetno potreben OCR pdfjev (letakov).

MisterR je 20. feb 2020 ob 18:12 izjavil:

Potem lahko narediš podrobno primerjavo cen:
- izdelek, teža (kg,ml,L itd), cena, cena na enoto (kg,ml,L itd)
- povežeš vse skupaj v aplikacijo "nakupovalni listek" in ko oseba doda "jogurt" predlaga vse jogurte, ko doda "navadni jogurt" predlaga samo navadne, ko doda "jogurt 500ml" doda samo 500ml itd..

Nekaj takega sem želel sam izdelati, pa mi je žal takrat zmanjkalo časa za učenje kakih naprednih metod scrapanja.

Jaz mislim, da ni toliko problem scrapat/pridobivat vsebino od slovenskih trgovcev za tvoj nakupovalni listek (na kakršenkoli način že to počneš), večji problem je npr. LCA jagodni jogurt iz Tuša "uparit" z LCA jagodnim jogurtom iz Mecatorja, kategorizirat pravilno izdelke, pravilno določit ceno glede na količino (itak imajo količino različni trgovci različno zavedeno, kako boš kilo pomaranč iz mercatorja primerjal z lamberčkom pomaranč iz Hoferja?) in tako dalje.

Glede scrapanja - nekaj opcij, za katere se mi zdi, da so aktualne:

1. Pure html stran, ki jo lahko rekurzivno "preskeniraš" za vse a href tage in jih pač vse obiščeš (primer: Hofer webpage). Za Hoferjevo trgovino sem to pred kratkim naredil, ful enostavno, potem pa pač dodaš še neko svojo custom logiko - določiš tage v katerih se nahajajo artikli in te shraniš v DB.
2. Javascript app, za katero rabiš nek engine, da jo poženeš v tvojem programu (sam sem uporabljal https://www.npmjs.com/package/puppeteer). To je že bolj težavno, v bistvu niti ne vem, če je to pravilen pristop... Fora je, da z običajnim HTTP GET requestom ne dobiš vsebine, kot je na voljo v brskalniku, ki ima svoj Javascript engine, na podlagi katerega zgenerira HTML tage iz SPA kode. Primer: Mercator Spletna trgovina.
3. Izvohaš REST API, ki ga prej omenjena aplikacija uporablja in poskušaš podatke direktno pridobivat prek njega. Če je ta API ful zaščiten, se pod nosom obriši.
4. High tech machine learning in prepoznavanje objektov z reklamnega prospekta. Ideja: mercatorjevo pdf reklamo spustiš čez to in stvar ti sama prepozna zelenjavo, sadje, salame itd.
5. Najameš človeka, da ročno pregleda prospekte vsak teden in vpisuje izdelke v bazo. Če se ne motim, tudi ceneje.si nima kar vse avtomatizirano in imajo v končni fazi tudi ljudi, ki urejajo vsebino.

@HotBurek: Sam sem imel idejo izdelat neko čist enostavno Android aplikacijo za primerjanje cen hrane, ampak se mi kar hitro potem ni več dalo :) Mogoče bi mi bilo lažje v skupini. Je pa IMHO ful neizkoriščenega potenciala tu, npr. zakaj bi moral človek gledat vse te prospekte od Mercatorja, Hoferja, Eurospina in ostalih trgovcev. Saj točno vem, kaj od hrane rabim, zato hočem imeti app v katerem zavedem, katera hrana me zanima in naj me ta app avtomatično obvešča o "killer deals".
To pregledovanje reklamnih letakov in iskanje akcij je eno nepotrebno zabijanje časa, ki ga nimam.