[Python] Response encoding

Ker slepo zaupaš nekomu, ki je v 'Content-Type' zapisal, da je UTF-8, dejansko pa zajeta vsebina ni pravilen UTF-8 ali pa sploh ni UTF-8?

Če hočeš da ignorira neveljavne znake uporabi:
response.content.decode(response.encoding, errors='ignore')

Ok, to mi je dosti pomagalo.

Sem prvo nastavitl na "ignore", a rezultat ni bil isti, kot ga vrača funkcija text za response objekt.

Potem sem pa pogruntal, da lahko grem pogledat, kako je ta (text) funkcija narejena in sem hitro našel, da uporablja "replace".

Se pravi, končna rešitev:

response.content.decode(response.encoding, errors="replace");

Pa je tist kar dobis iz serverja res utf-8 ? Glede na error, ki si ga dobil bi rekel da ne.
Za foro probaj dekodirati v latin-1

mm&r, to sedaj gledam in ja, so smotani znaki na output-u.

Naredil sem test (glej sliko spodaj):

- Levo zgoraj utf-8 + errors=replace
- Desno zgoraj iso-8859-1 (zanimivo, da za ta encoding ne vrača error-jev sploh)
- Spodaj na sredini: firefox view-source



mr_chai, sem poizskusil tudi z latin-1, a je isti šmorn, kot iso-8859-1.

Tole je pa link do serverja, ki vrača to, kar pač vrača:

https://shop.itallibri.de/Letteratura-i...

Isto so grabljice.

Encoding je 100% utf-8: ga vrne tako na HTTP, kot na HTML.

Problem je tam okrog enojnega narekovaja (l'incubo). Tam ne vem, kaj se nahaja.

Kako bi lahko za določeno pozicijo, en korak nazaj, en pa naprej, prebral bay-te iz responsa?

Posamezen byte lahko izpišem, ampak ugibam, da morajo biti po 4-je skupaj.

Tako, da si lahko naredil nek kratek string baytov, namesto vseh špagetov.

Zdejle sem šel "korak po korak" gledat v tist del stringa, kjer se pojavi napaka.

Tole je ta master class koda:

import requests;

url = "https://shop.itallibri.de/Letteratura-italiana/Le-notti-difficili::733.html";

response = requests.get(url);

index_1 = 272;

print("hex string" + "\t\t\t\t" + "str(bytes)" + "\t\t\t" + "utf-8");

for i in range(0, 6):

    hex_string = str(hex(response.content[index_1])) + " " + \
        str(hex(response.content[index_1 + 1])) + " " + \
        str(hex(response.content[index_1 + 2])) + " " + \
        str(hex(response.content[index_1 + 3]));

    # print(hex_string);

    bytes_1 = bytes.fromhex(hex_string.replace("0x", ""));

    # print(bytes_1);
    
    index_1 = index_1 + 4;

    print(hex_string + "\t\t" + str(bytes_1) + "\t\t\t\t" + "->>>" + str(bytes_1.decode("utf-8")) + "<<<-");

Output:

hex string			str(bytes)			utf-8
0x6f 0x73 0x61 0x2c		b'osa,'				->>>osa,<<<-
0x20 0x72 0x65 0x61		b' rea'				->>> rea<<<-
0x6c 0x65 0x2c 0x20		b'le, '				->>>le, <<<-
0x6c 0xe2 0x80 0x99		b'l\xe2\x80\x99'		->>>l'<<<-
0x69 0x6e 0x63 0x75		b'incu'				->>>incu<<<-
0x62 0x6f 0x2c 0x20		b'bo, '				->>>bo, <<<-

Tu pa decoding z utf-8 dela.

Tole je pa string v tistem rangu: misteriosa, reale, l'incubo, della

Krneki...

Torej zdaj kar apriori spreminjaš vsak U+2019 (right single quotation mark) v nekaj drugega?

Se ti to zdi prav? Bo vedno prav?

Kaj je sploh problem:

Python 3.11.6 (main, Nov 14 2023, 09:36:21) [GCC 13.2.1 20230801] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import requests
>>> from bs4 import BeautifulSoup
>>> 
>>> url = "https://shop.itallibri.de/Letteratura-italiana/Le-notti-difficili::733.html"
>>> sestavinezajuhco = requests.get(url).text
>>> 
>>> juha = BeautifulSoup(sestavinezajuhco, 'html.parser')
>>> #print(juha.prettify())
>>> 
>>> sestavine = juha.find_all("meta")
>>> #print(sestavine)
>>> 
>>> for s in sestavine:
...     if 'name' in s.attrs:
...         spaget = s.attrs['name']
...         norispageti = ['keywords', 'Keywords']
...         if spaget in norispageti:
...             njam = s.attrs['content']
...             print(njam)
... 
notti, difficili, racconti, brevi, ancora, volta, dimensione, misteriosa, reale, l’incubo, della, paura, morte, quotidianità, percorsa

Ales, ja tiste posevne narekovaje (enojne, dvoje) želim spremenit v te "navadne" narekovaje, brez raznih poševnosti.

Kar se pa parsanja tiče, v mojem primeru ne uporabljam bs4. Mogoče so v bs4 stvari drugače porihtane.

Trenutno sem za te "poševne" narekovaje rešil takole:

response_content = response.content;

# LEFT SINGLE QUOTATION MARK
response_content = response_content.replace(b"\xe2\x80\x98", b"\x27");

# RIGHT SINGLE QUOTATION MARK
response_content = response_content.replace(b"\xe2\x80\x99", b"\x27");

# LEFT DOUBLE QUOTATION MARK
response_content = response_content.replace(b"\xe2\x80\x9c", b"\x22");

# RIGHT DOUBLE QUOTATION MARK
response_content = response_content.replace(b"\xe2\x80\x9d", b"\x22");

# set html response text
html_text = response_content.decode(use_this_encoding, errors="replace");

S tem sem rešil "vse" probleme, razen enega. Umlaut!

Sem "vzel" tvoj sample, in res, za poševne narekovaje dela.

Ampak za umlaut, pa vseeno vrača nek znak z vprašajem. Tudi v Firefox-u ne dela. Tu je pa verjetno res problem na strani serverja.

Umlaut je vnešen v alt tag od img elementa. V html source se ga lahko poišče z "berweisung Logo".