Skripta za Bolho. @ Slo-Tech

Forum » Programiranje »
Skripta za Bolho.

Skripta za Bolho.

111111111111 :: 23. jul 2019, 14:10

Ima kdo kakšno rešitev, da bi spremljla bolho za male oglase in iskala določene besede v novih oglasih?

Npr. da me opozori ko pride nov oglas, ki vsebuje besedo LEGO.

Hvala že v naprej.

Cr00k :: 23. jul 2019, 14:28

111111111111 je 23. jul 2019 ob 14:10 izjavil:

Ima kdo kakšno rešitev, da bi spremljla bolho za male oglase in iskala določene besede v novih oglasih?

Npr. da me opozori ko pride nov oglas, ki vsebuje besedo LEGO.

Hvala že v naprej.

Mogoče lahko uporabiš Google Alert? Sicer pa res kakšnega custom crawlerja naštimat.

AnotherMe :: 23. jul 2019, 14:35

In kako bi se lotil izdelat takega crawlerja?

Js recimo kupujem avto, sem izbirčen kakega bi imel, mudi se mi pa ne - in bi mi pasalo imet neko skriptico, ki bi recimo vsako uro pogledala, če je kaj primernega na avtonetu in mi poslala email...

pixelzgaming :: 23. jul 2019, 14:36

v pythonu si lahko v par vrsticah napišeš skripto ki ti na xy minut preveri če je prišlo kaj novega. Načinov kako se to naredi je miljon. poglej si kak BeautifulSoup tutorial, notification si lahko pošlješ v obliki maila recimo.

Komp: 2600X | 16GB DDR4 | 500GB NVMe | 10 + 10 + 6 + 4 TB HDD | GTX 1060 6GB
Telefon: S23 Ultra
Avto: Megane MK4 GTLine

kow :: 23. jul 2019, 16:08

AnotherMe je 23. jul 2019 ob 14:35 izjavil:

In kako bi se lotil izdelat takega crawlerja?

Js recimo kupujem avto, sem izbirčen kakega bi imel, mudi se mi pa ne - in bi mi pasalo imet neko skriptico, ki bi recimo vsako uro pogledala, če je kaj primernega na avtonetu in mi poslala email...

Uporabljam distill.io.

BladE_ :: 23. jul 2019, 16:26

Je bilo v tej temi že govora o tem. Pisal sem tudi avtorju skripte za kaj več ampak ni bilo odgovra in sem pozabil na to...

Mogoče pa je tale distill.io(@kow, hvala!) boljša rešitev... Uporablja še kdo?

Akcija - Reakcija

HotBurek :: 23. jul 2019, 16:34

Za tiste, ki imate interes za lasten razvoj, učenje...

En sample v Python-u, za avto.net, iz katerega se da naprej gradit. Al pa kot motivacijo, da narediš čisto nov bot.

#!/usr/bin/python3.7

# import
import time;
import datetime;
import traceback;
import requests.packages.urllib3;

# avoid InsecureRequestWarning
requests.packages.urllib3.disable_warnings();

# define
headers = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64; rv:66.0) Gecko/20100101 Firefox/66.0"};
timeout = 4;

# avto.net url
url = "https://www.avto.net/Ads/results_100.asp?oglasrubrika=1&prodajalec=2";

# current ads
currentads = [];

# class car ad
class carad:
    id = "";
    date = "";
    time = "";
    desc = "";
    price = "";

# functions
def getdate():

    dtstart = datetime.datetime.now();
    day = dtstart.day;

    if len(str(day)) == 1:
        day = "0" + str(day);
    month = str(dtstart.month);
    if len(str(month)) == 1:
        month = "0" + str(month);
    _date = str(dtstart.year) + "-" + str(month) + "-" + str(day);

    return _date;


def gettime():

    dtstart = datetime.datetime.now();
    second = dtstart.second;

    if second < 10:
        second = "0" + str(second);
    minute = dtstart.minute;
    if minute < 10:
        minute = "0" + str(minute);
    hour = dtstart.hour;
    if hour < 10:
        hour = "0" + str(hour);
    _time = str(hour) + "-" + str(minute) + "-" + str(second);

    return _time;

# main entry
if __name__ == "__main__":

    print("[" + getdate() + " " + gettime() + "] " + "Start");

    while (True):

        try:

            request = requests.get(url, headers=headers, allow_redirects=True, verify=False, timeout=timeout);
            request.encoding = "windows-1250";

            if request.status_code == 200:

                response = request.text;

                while (response.find("../Ads/details.asp?id=") > -1):

                    response = response[response.find("../Ads/details.asp?id=") + len("../Ads/details.asp?id="):];

                    addId = "";
                    description = "";
                    price = "";

                    if response.find("\"") < 9:

                        addId = response[:response.find("\"")];

                    response = response[response.find("\""):];

                    if response.find("alt=\"") > 0:

                        description = response[response.find("alt=\"") + len("alt=\""):];

                        if description.find("\"") > 0:

                            description = description[:description.find("\"")];

                    if response.find("ResultsAdPriceRegular\">") > 0:

                        price = response[response.find("ResultsAdPriceRegular\">") + len("ResultsAdPriceRegular\">"):];

                        if price.find("<") > 0:

                            price = price[:price.find("<")];

                    if len(addId) == 8:

                        isNew = True;

                        for item in currentads:
                            if item.id == addId:
                                isNew = False;
                                break;

                        if isNew:
                            cad = carad();
                            cad.id = str(addId);
                            cad.date = getdate();
                            cad.time = gettime();
                            cad.desc = description;
                            cad.price = price;

                            currentads.extend([cad]);

                            print("[" + getdate() + " " + gettime() + "] https://www.avto.net/Ads/details.asp?id=" + str(addId) + " | " + price + " | " + description);

            else:
                print("[" + getdate() + " " + gettime() + "] " + "Response code: " + str(request.status_code));

            print("[" + getdate() + " " + gettime() + "] " + "Sleeping for 40 seconds .", end =" ");
            time.sleep(5);
            print("35 .", end =" ");
            time.sleep(5);
            print("30 .", end =" ");
            time.sleep(5);
            print("25 .", end =" ");
            time.sleep(5);
            print("20 .", end =" ");
            time.sleep(5);
            print("15 .", end =" ");
            time.sleep(5);
            print("10 .", end =" ");
            time.sleep(5);
            print("5 .");
            time.sleep(5);

        except KeyboardInterrupt:

            print("[" + getdate() + " " + gettime() + "] " + "Stop");
            break;

root@debian:/# iptraf-ng
fatal: This program requires a screen size of at least 80 columns by 24 lines
Please resize your window

Zgodovina sprememb…

spremenilo: HotBurek (23. jul 2019 ob 16:38)

extr3m3 :: 23. jul 2019, 17:10

@HotBurek - hvala!

o_O

c3p0 :: 23. jul 2019, 17:20

Pa upaš, da te ne bannajo, oz. delaš requeste ne preveč pogosto.

xardas :: 23. jul 2019, 19:06

BeautifulSoup, lxml, Portia, VisualPing...nekaj ti bo že ustrezalo ;)

Zgodovina sprememb…

spremenilo: xardas (23. jul 2019 ob 19:06)

111111111111 :: 24. jul 2019, 07:22

Google Alert dela super, ampak za vse oglase. Filtri besed mi nočejo delat. :D

111111111111 :: 26. jul 2019, 08:43

Google alert na bolhi pobira samo oglase za prodajo domačih živali. :D Kupi kdo zajkljo?

Moram poskusiti katerega od drugih.

i33a :: 29. jul 2019, 11:06

Kako bi se pa lotili zasnove baze za nek tak bot?
Bi hranili vse oglase za določen filter? Ali le datum zadnje objave? Ter potem na podlagi datuma objave pošiljali nova obvestila?

RockyS :: 29. jul 2019, 22:21

Jaz imam skripto (python) za nepremičnine.net in bolha.com , če kdo rabi lahko delim.

Če pa mislite, da bi lahko skupaj izboljšali skripto, pa lahko dam git repo kot public?

@i33a jaz shranjujem v txt file prejšnega ki ga je našel, tako da imam kasneje za primerjavo (skripta se zažene vsakih 30min med 6:00 in 22:00)

111111111111 :: 29. jul 2019, 22:46

Mene bi precej zanimala, github mi ne pomaga, ker sem v pythonu bolj švoh. Nazadnje programiral leta 2010. :) Mater leti čas.

extr3m3 :: 30. jul 2019, 07:00

111111111111 je 29. jul 2019 ob 22:46 izjavil:

Mene bi precej zanimala, github mi ne pomaga, ker sem v pythonu bolj švoh. Nazadnje programiral leta 2010. :) Mater leti čas.

o_O

-ninja-91- :: 30. jul 2019, 08:27

BigBoss :: 30. jul 2019, 08:39

Jaz sem na zadnje programiral (bolj resno, bash skripte in autoit ne štejejo) nekje 20 let nazaj.
Bi pa tisto za nepremicnine potreboval ...

tnx, če jo deliš.

Zgodovina sprememb…

spremenil: BigBoss (30. jul 2019 ob 08:39)

vilonja :: 30. jul 2019, 14:10

@RockyS

Tudi jaz se priporocam za skripto. Lp

Spura :: 30. jul 2019, 14:18

111111111111 je 23. jul 2019 ob 14:10 izjavil:

Ima kdo kakšno rešitev, da bi spremljla bolho za male oglase in iskala določene besede v novih oglasih?

Npr. da me opozori ko pride nov oglas, ki vsebuje besedo LEGO.

Hvala že v naprej.

Kako naj te opozori.

111111111111 :: 30. jul 2019, 14:35

Pošlje mail.

RockyS :: 31. jul 2019, 17:32

Primer filtrov (greš na bolha.com , na klikaš filtre vse kar je za www.bolha.com skopiraš v bolha_apartments_params)
cron pa si pač vsak sam nastavi
parse.py

# -*- coding: utf-8 -*-
import bs4, requests, smtplib, config

# Download page
bolha_host = 'http://www.bolha.com' #no backslash
bolha_apartments_params = '/nepremicnine/stanovanja/?reType=4-sobno%7C%7C5+in+večsobno%7C%7C4.5-sobno&viewType=30&location=Podravska%2FMaribor%2FCenter%2F%7C%7CPodravska%2FMaribor%2FKoroška+vrata%2F%7C%7CPodravska%2FMaribor%2FOstalo%2F%7C%7CPodravska%2FMaribor%2FTabor%2F%7C%7CPodravska%2FMaribor%2FKamnica%2F%7C%7CPodravska%2FMaribor%2FKošaki%2F%7C%7CPodravska%2FMaribor%2FStudenci%2F%7C%7CPodravska%2FMaribor%2FTezno%2F&adTypeH=00_Prodam%2F&sort=0'

# we will store only new ones so they will be sent in email
new_real_estates = []


def send_email():
    if len(new_real_estates) > 0:
        email_subject = "Subject: Novi oglasi"
        email_body = 'Oglej si na \n' + "\n".join(new_real_estates)

    else:
        email_subject = "Subject: Ni novih oglasov"
        email_body = 'Ni novih oglasov'

    conn = smtplib.SMTP(config.email_smtp, config.email_smtp_port)  # smtp address and port
    conn.ehlo()  # call this to start the connection
    conn.starttls()  # starts tls encryption. When we send our password it will be encrypted.
    conn.login(config.email_username, config.email_password)
    header = 'To:' + config.email_to + '\n' + 'From: ' + config.email_from + '\n' + email_subject + ' \n'
    msg = header + '\n ' + email_body + ' \n\n'

    if config.send_email_when_no_results == 1:
        conn.sendmail(config.email_from, config.email_to, msg.encode('utf-8'))
    conn.quit()


def get_bolha_apartments_ads():
    get_bolha_apartments_page = requests.get(bolha_host + bolha_apartments_params)
    get_bolha_apartments_page.raise_for_status()  # if error it will stop the program
    # Parse text for real estates
    bolha_apartments_page = bs4.BeautifulSoup(get_bolha_apartments_page.text, 'html.parser')

    for apartments in bolha_apartments_page.find_all(lambda tag: tag.name == 'div' and tag.get('class') == ['ad'],
                                                     limit=2)[1:]:
        for link in apartments.find_all('h3'):
            href = link.find('a')['href']

            file_apartments = open('bolhaapartments.txt', 'a+')
            file_apartments .seek(0)
            text = file_apartments .readline().rstrip()

            if text != href:
                file_apartments .truncate(0)
                file_apartments .write(href)
                tt = bolha_host + href
                new_real_estates.append(tt)
            file_houses.close()


get_bolha_apartments_ads()
send_email()

config.py

email_from = 'xxx@xxx.xxx'
email_to = 'xxx@xxx.xxx'
email_smtp = 'mail.xxx.xxx'
email_smtp_port = 587
email_username = ''
email_password = ''
send_email_when_no_results = 1

Zgodovina sprememb…

spremenil: RockyS (31. jul 2019 ob 17:34)

Spura :: 31. jul 2019, 22:55

Jst sm tut naredu skripto, sicer v Clojure, ki je hostana na githubu.

Lahko si zdownloadas kar pakiran Jar in pozenes z javo:

java -jar bolha.jar

plus opcije.

Jar je tukaj: https://github.com/RokLenarcic/bolha/re...

Lahko pa pozenes s clj komando:

Instalacija za clj https://www.clojure.org/guides/getting_...

Potem pozenes z

clj -Sdeps '{:deps {bolha {:git/url "https://github.com/RokLenarcic/bolha.git" :sha "6bd10d8607a0de3e5dde077a7a79199ee12ed5e1"}}}' -m bolha

in dodas opcije na koncu, brez opcij ti bo izpisalo mozne opcije.

Example opcij:

--host smtp.gmail.com --mail 'rok.lenarcic@gmail.com' --user rok.lenarcic --pass password --port 587 --tls --query lego

Zgodovina sprememb…

spremenil: Spura (31. jul 2019 ob 22:57)

RockyS :: 1. avg 2019, 07:17

Dobra zadeva!

t-zonaz :: 1. avg 2019, 15:30

Kakšna varianta za mobitel?

t-zonaz

Spura :: 1. avg 2019, 18:04

V kaksnem smislu za mobitel? A da bi ti mobitel to skos skeniral? Ti bo vso baterijo skurilo. Poleg tega pa tele skripte itak posiljajo email za katerega predvidevam da dobis obvestilo na telefonu.

i33a :: 14. okt 2019, 23:05

Pozdravljeni, sem pred časom videl temo in sem spisal eno skrpto, ki obiskuje določen URL na avto.net vsake npr. 15 min.
Po nekaj iteracijah vedno dobim napako:

 Max retries exceeded with url:

.
Torej Avto.net ne pusti več takih zahtev in s tem nekako preprečuje DOS napad. Mi je pa zanimivo, ker se to pojavi, tudi ko je ena zahteva na 15 min, kar se mi ne zdi ravno pogosto.
Obstaja kakšen način kako to zaobiti in na recimo 15-30min pridobivati podatke?

XLapsus :: 14. okt 2019, 23:24

Meni dela bp cronjob na 5min brez kakšnih posebnih nastavitev.

i33a :: 14. okt 2019, 23:26

Kako pa daješ requeste? S kakšno knjižnico?

XLapsus :: 15. okt 2019, 09:28

Rabim en request (v bistvu dva, ker preverjam dve strani) na 5min. Uporabljen kar PHP

file_get_contents(url)

planina91 :: 2. apr 2020, 11:37

Google Alert
https://www.google.com/alerts?hl=sl#

Primer pri meni za iskanje:

GTX site:bolha.com/nvidia-graficne-kartice

Traja pa malenkost dlje, da google poindeksira bolho.

Vredno ogleda ...

	Tema	Sporočila	Ogledi	Zadnje sporočilo
	Tema	Sporočila	Ogledi	Zadnje sporočilo
»	Postavitev mySQL M01O Oddelek: Programiranje	9	2080 (1658)	M01O 26. mar 2018 19:57:32
»	[Python3] Izvajanje ukazov po določenem času filips Oddelek: Programiranje	21	1317 (927)	noraguta 9. dec 2017 17:44:08
»	Fake traffic generator poweroff Oddelek: Omrežja in internet	19	2056 (1252)	HotBurek 12. okt 2017 15:11:55
»	[C#] Simobilov Glasnik zigi Oddelek: Programiranje	13	4171 (1251)	Mrch 19. feb 2009 10:17:17
»	asp-problem z datumom appz Oddelek: Izdelava spletišč	11	1302 (1166)	Old-Death 25. dec 2002 21:32:27

Več podobnih tem

Forum » Programiranje » Skripta za Bolho.

Skripta za Bolho.

Skripta za Bolho.

111111111111 :: 23. jul 2019, 14:10

Cr00k :: 23. jul 2019, 14:28

AnotherMe :: 23. jul 2019, 14:35

pixelzgaming :: 23. jul 2019, 14:36

kow :: 23. jul 2019, 16:08

BladE_ :: 23. jul 2019, 16:26

HotBurek :: 23. jul 2019, 16:34

extr3m3 :: 23. jul 2019, 17:10

c3p0 :: 23. jul 2019, 17:20

xardas :: 23. jul 2019, 19:06

111111111111 :: 24. jul 2019, 07:22

111111111111 :: 26. jul 2019, 08:43

i33a :: 29. jul 2019, 11:06

RockyS :: 29. jul 2019, 22:21

111111111111 :: 29. jul 2019, 22:46

extr3m3 :: 30. jul 2019, 07:00

-ninja-91- :: 30. jul 2019, 08:27

BigBoss :: 30. jul 2019, 08:39

vilonja :: 30. jul 2019, 14:10

Spura :: 30. jul 2019, 14:18

111111111111 :: 30. jul 2019, 14:35

RockyS :: 31. jul 2019, 17:32

Spura :: 31. jul 2019, 22:55

RockyS :: 1. avg 2019, 07:17

t-zonaz :: 1. avg 2019, 15:30

Spura :: 1. avg 2019, 18:04

i33a :: 14. okt 2019, 23:05

XLapsus :: 14. okt 2019, 23:24

i33a :: 14. okt 2019, 23:26

XLapsus :: 15. okt 2019, 09:28

planina91 :: 2. apr 2020, 11:37

Vredno ogleda ...

Forum » Programiranje »
Skripta za Bolho.