Forum » Programska oprema » USA csv v SLO via PowerQuery
USA csv v SLO via PowerQuery
Argonavt ::
Že nekaj časa iščem najbolj optimalen in najkrajši postopek za konverzijo USA CSV datotek. Po možnosti preko Excela, ali PowerQuery, ampak s čim manj funkcij v Excelu Enkat mi celo uspelo z local nastavitvami v PQju in kodno tabelo, a si nisem zapisal postopka. Nekaj, kar bi obvladal end user na dnevnem nivoju.
V M mi zadeva dela, a iščem po možnosti ročno brez kode, kjer pa se predvsem datum na pusti prepričat iz USA - EU format.
Odprt tudi za eksotične predloge ala virtualka z USA verzijo, razlicne verzije online, desktop za dinamični ping ponk datotek med USA EU.
let
// Step 1: Load the CSV file
Vir = Csv.Document(
File.Contents("C:\NEK \path\data.csv"),
[Delimiter=",", Columns=4, Encoding=65001, QuoteStyle=QuoteStyle.None]
),
// Step 2: Promote headers
#"Povišane glave" = Table.PromoteHeaders(Vir, [PromoteAllScalars=true]),
// Step 3: Replace decimal separators in Revenue and Expenses columns
#"Zamenjana vrednost" = Table.ReplaceValue(
#"Povišane glave",
".",
",",
Replacer.ReplaceText,
{"Revenue", "Expenses"}
),
// Step 4: Convert columns to correct data types
#"Spremenjena vrsta" = Table.TransformColumnTypes(
#"Zamenjana vrednost",
{
{"Date", type text}, // Keep as text temporarily for parsing
{"Revenue", type number},
{"Expenses", type number}
}
),
// Step 5: Parse the Date column using USA locale
#"Parsed Dates" = Table.TransformColumnTypes(
#"Spremenjena vrsta",
{{"Date", type date}},
"en-US"
),
// Step 6: Reorder columns (optional)
#"Reordered Columns" = Table.ReorderColumns(
#"Parsed Dates",
{"Date", "Time", "Revenue", "Expenses"}
)
in
#"Reordered Columns"
V M mi zadeva dela, a iščem po možnosti ročno brez kode, kjer pa se predvsem datum na pusti prepričat iz USA - EU format.
Odprt tudi za eksotične predloge ala virtualka z USA verzijo, razlicne verzije online, desktop za dinamični ping ponk datotek med USA EU.
let
// Step 1: Load the CSV file
Vir = Csv.Document(
File.Contents("C:\NEK \path\data.csv"),
[Delimiter=",", Columns=4, Encoding=65001, QuoteStyle=QuoteStyle.None]
),
// Step 2: Promote headers
#"Povišane glave" = Table.PromoteHeaders(Vir, [PromoteAllScalars=true]),
// Step 3: Replace decimal separators in Revenue and Expenses columns
#"Zamenjana vrednost" = Table.ReplaceValue(
#"Povišane glave",
".",
",",
Replacer.ReplaceText,
{"Revenue", "Expenses"}
),
// Step 4: Convert columns to correct data types
#"Spremenjena vrsta" = Table.TransformColumnTypes(
#"Zamenjana vrednost",
{
{"Date", type text}, // Keep as text temporarily for parsing
{"Revenue", type number},
{"Expenses", type number}
}
),
// Step 5: Parse the Date column using USA locale
#"Parsed Dates" = Table.TransformColumnTypes(
#"Spremenjena vrsta",
{{"Date", type date}},
"en-US"
),
// Step 6: Reorder columns (optional)
#"Reordered Columns" = Table.ReorderColumns(
#"Parsed Dates",
{"Date", "Time", "Revenue", "Expenses"}
)
in
#"Reordered Columns"
- spremenilo: Argonavt ()
Jure14 ::
Ali je datoteka vedno enake oblike (stolpcei, imena, tipi podatkov po stolpcih)?
Ali so različne datoteke?
Spremenit je verjetno treba števila (.->, in ,->.), ločilo med podatki (, -> ;), mogoče narekovaje (' -> ")? To se skoraj da narediti z find-replace
Pri datumih moraš pa podatke (znake) okol premešat.
Kaj pa če odpreš v excelu, pa shraniš recimo v XML, al pa xlsx, al pa kaj tretjega?
Ali so različne datoteke?
Spremenit je verjetno treba števila (.->, in ,->.), ločilo med podatki (, -> ;), mogoče narekovaje (' -> ")? To se skoraj da narediti z find-replace
Pri datumih moraš pa podatke (znake) okol premešat.
Kaj pa če odpreš v excelu, pa shraniš recimo v XML, al pa xlsx, al pa kaj tretjega?
Argonavt ::
OK.. Ročno step by step tudi laufa preko PowerQuery. V pol leta me prvič AI nasral z demo tabelo, kjer pa Date demo podatke dal delno fuc notri, zato mi ni naredil konverzije. Deepseek kriv.
Laufajo variante:
- Via PowerQuery z modifikacijo USA Date in Number v EU
- Laufa M koda, ki je primerna za hiter uvoz vedno istih tabel iz USA v SLO. M za različne CSVje end user ne bo pisal.
- S funkcijami in text to Columns znam vse urediti na 100 variant, a pri ogromnih tabelah je to nočna mora. Sploh če gremo v obe smeri.
Iščem rešitev, ki bi kot rečejo "brezšivno" ( = trotl ziher enostavno) omogočala žongliranje med USA in EU formati zapisa.
Trenutno najbolj obeta Online USA settings in Offline SLO, samo rabi test, ker je videt preveč simpl. Ena varianta je tudi USA v virtualki in SLO na drugi kopiji Excela in brez prenosa med USA IN SLO.
Ma kdo praktične izkušnje?
Laufajo variante:
- Via PowerQuery z modifikacijo USA Date in Number v EU
- Laufa M koda, ki je primerna za hiter uvoz vedno istih tabel iz USA v SLO. M za različne CSVje end user ne bo pisal.
- S funkcijami in text to Columns znam vse urediti na 100 variant, a pri ogromnih tabelah je to nočna mora. Sploh če gremo v obe smeri.
Iščem rešitev, ki bi kot rečejo "brezšivno" ( = trotl ziher enostavno) omogočala žongliranje med USA in EU formati zapisa.
Trenutno najbolj obeta Online USA settings in Offline SLO, samo rabi test, ker je videt preveč simpl. Ena varianta je tudi USA v virtualki in SLO na drugi kopiji Excela in brez prenosa med USA IN SLO.
Ma kdo praktične izkušnje?
klemenSLO ::
Napisal si da bo to 'obvladal end user'.
Kaj pa če to v excelu sharniš v makro in 'end user' po potrebi le pokliče makro?
Kaj pa če to v excelu sharniš v makro in 'end user' po potrebi le pokliče makro?
Life is not measured in minutes, but in MOMENTS...
Tody ::
A zdej vidite zakaj rabimo developerje? :D Problema se moreš lotit celostno ne pa neke parcialne rešitve gledat. Če to laufa na power bi oblaku, mislim da so rešitve tam treba gledat, ker je že , ; razlika med nami in njimi.
Če to dela na bazi, so ustrezne SQL komande za to. Torej manjka bizni case kaj dobi en uporabnik iz USA da more to da v EU bazo. Ker drugače so si UTF že dolgo nazaj zmislili...
Če to dela na bazi, so ustrezne SQL komande za to. Torej manjka bizni case kaj dobi en uporabnik iz USA da more to da v EU bazo. Ker drugače so si UTF že dolgo nazaj zmislili...
Argonavt ::
Business case je dnevna izmenjava podatkov in analitike z usa formatom. 90% excel, 10% csv. Kar pa je v principu isto, oziroma sploh ni isto, ker povprečen end user odpira namesto importira. Podatke spuščati na nizji nivo odpade ker vmes analitika. Je pa to omenjeno ze v prvem postu.
Je pa to napisano eksplicitno ze v prvem postu.
Je pa to napisano eksplicitno ze v prvem postu.
Zgodovina sprememb…
- spremenilo: Argonavt ()
sbawe64 ::
Python skripta ti lahko pretvarja iz ene v drugo obliko ter nazaj, ko seveda natančno definiraš, kaj bi rad dobil ven.
Za koliko vrstic podatkov gre na dnevni bazi ?
Opcija je tudi, da tudi 'doma' uporabljate usa csv nastavitve.
Za koliko vrstic podatkov gre na dnevni bazi ?
Opcija je tudi, da tudi 'doma' uporabljate usa csv nastavitve.
2020 is new 1984
Corona World order
Corona World order
Zgodovina sprememb…
- spremenilo: sbawe64 ()
Tody ::
Ah ko bi vi vedel kaj je use case bi blo tud fajn.
1.) Zakaj zaboga to dela nekdo na roko?
2.) Če je skos isti vir zakaj različen format?
3.) Če je več virov zakaj se spet ne uporablja avtomatizacije kot je zapier ali kak drug podoben servis?
4.) A za api-je je že kdo slišal?
5.) Kaj zaboga ima end user z podatki za analitiko? Datawh se ne dela tako...
1.) Zakaj zaboga to dela nekdo na roko?
2.) Če je skos isti vir zakaj različen format?
3.) Če je več virov zakaj se spet ne uporablja avtomatizacije kot je zapier ali kak drug podoben servis?
4.) A za api-je je že kdo slišal?
5.) Kaj zaboga ima end user z podatki za analitiko? Datawh se ne dela tako...
smetko ::
@Tody: Če se v podjetju hoče iti informatiko na tvoj način, potem rabiš kompetentno vodstvo, katero razume korporativno upravljanje.
Žal v mnogih podjetjih imajo end userji možnost izbiranja ali si pomagajo z obstoječimi orodji, delajo za svetek in petek ali pa zapustijo podjetje.
Navadno zapustijo podjetje ravno tisti, kateri se zavedajo, da takšen način ni optimalen, vendar hitro postanejo v očeh vodja informatike ter vodstva povzročitelji težav.
Žal pa je pri nas stanje takšno, da se v mnogih podjetjih vodstvo ukvarja s tem, kako na različne načine pridobiti razna sredstva za posodobitve informacijskih sistemov, katera pa je edini cilj, da se nič ne spremeni. Tudi za vodje takih projektov največkrat postavijo svoje sorodnike ali znance, kateri "bluzijo", da bo vse to rešila umetna inteligenca.
Problem je tudi v temu, da če hoče nekdo v podjetju slediti vsem možnostim, potem se mora stalno izobraževati in se udeleževati različnih delavnic, seminarjev,... ter porabiti kar nekaj časa pri iskanju informacij v knjigah in internetu. In v podjetjih se take ljudi največkrat razglasijo za lenuhe. Smo pač v deželi, kjer je glavna pridobitev ministra za delo, družino, socialne zadeve in enake možnosti, kako registrirati ure prisotnosti na delu.
Žal v mnogih podjetjih imajo end userji možnost izbiranja ali si pomagajo z obstoječimi orodji, delajo za svetek in petek ali pa zapustijo podjetje.
Navadno zapustijo podjetje ravno tisti, kateri se zavedajo, da takšen način ni optimalen, vendar hitro postanejo v očeh vodja informatike ter vodstva povzročitelji težav.
Žal pa je pri nas stanje takšno, da se v mnogih podjetjih vodstvo ukvarja s tem, kako na različne načine pridobiti razna sredstva za posodobitve informacijskih sistemov, katera pa je edini cilj, da se nič ne spremeni. Tudi za vodje takih projektov največkrat postavijo svoje sorodnike ali znance, kateri "bluzijo", da bo vse to rešila umetna inteligenca.
Problem je tudi v temu, da če hoče nekdo v podjetju slediti vsem možnostim, potem se mora stalno izobraževati in se udeleževati različnih delavnic, seminarjev,... ter porabiti kar nekaj časa pri iskanju informacij v knjigah in internetu. In v podjetjih se take ljudi največkrat razglasijo za lenuhe. Smo pač v deželi, kjer je glavna pridobitev ministra za delo, družino, socialne zadeve in enake možnosti, kako registrirati ure prisotnosti na delu.
No comment