[Java] Prevajanje in šumniki v ubuntu

Spisan imam program, ki mi iz maila ob določenih dogodkih pošilja sms sporočila.

V metodi checkMail ven sparsam določeno vsebino za nekatera sporočila, ki pridejo iz maila v UTF obliki jih pretvorim v Windows-1252 da dobim šumnike nazaj.
V glavnem problem se pojavi, ker če to kodo laufam na exlipse dela ok, tako kot more.
Potem jo dam na server ubuntu in kot prvo sem naletel na težavo, da nisem mogel prevesti java faila ker mi je javljalo
error: unmappable character for encoding UTF-8.

Zaradi tega sem javac MojProgram.java zamenjal z ukazom javac -encoding ISO-8859-1 MojProgram.java. Program se normalno prevede in ko ga zaženem imam problem, da mi noče konvertirati šumnikov nazaj v nešumnike.

Ima kdo kako idejo?

	private static Charset CHARSET_WINDOWS1252 = Charset.forName("Windows-1252");
	private static Charset CHARSET_ISO88591 = Charset.forName("ISO-8859-1");
	private static Charset CHARSET_UTF8 = Charset.forName("UTF-8");

	byte[] bytes = mailBody.getBytes(CHARSET_WINDOWS1252);
	mailBody = new String(bytes, CHARSET_UTF8);

private static void readGmail()
	{
		 String mailFrom = "";
	     String mailBody = "";
	     String mailSubject = "";
	     Date mailRecieved = new Date();
	
	     try {
	    	 
	    	Properties props = System.getProperties();
		    props.setProperty("mail.store.protocol", "imaps");
	    	 
			Session session = Session.getDefaultInstance(props, null);
			Store store = session.getStore("imaps");
			store.connect("imap.gmail.com", GMAIL_USERNAME, GMAIL_PASSWORD);
	
			Folder inbox = store.getFolder("Inbox");
			inbox.open(Folder.READ_ONLY);
			Message messages[] = inbox.getMessages();

			int i = 1;
			for(Message message:messages) {
				
				mailFrom = message.getFrom()[0].toString();
				mailRecieved = message.getReceivedDate();
				mailSubject = message.getSubject();
							
				printProgBar(i * 100 / messages.length);
				i++;
				
				// Read just mails within last 24 hours
				if (mailRecieved.after(new Date(System.currentTimeMillis()-86400*1000))) {
					
					Object content = message.getContent(); 

				    if (content instanceof String)  
				    {  
				    	mailBody = (String)content;  
					}  
					else if (content instanceof Multipart)  
					{  
					    Multipart mp = (Multipart)content;  
					    mailBody = mp.toString();
					    
					    if (mailBody.contains("javax.mail.internet.MimeMultipart"))
					    {
					    	String body = "";
						    for(int j=0; j<mp.getCount(); j++) {
						    	   MimeBodyPart part = (MimeBodyPart) mp.getBodyPart(j);
						    	   body += part.getContent().toString();
						    	}
						    mailBody = body;
					    }					   
				    }  


					checkMail(mailFrom, mailSubject, mailBody, mailRecieved);
					
				}
	
			}
			
			store.close();
			
		} catch (Exception e) {
            //e.printStackTrace();
		}
	
	}

	    private static String removeSpecialCharacters(String text)
	    {
	    	text = text.replace("Č", "C");
	    	text = text.replace("č", "c");
	    	text = text.replace("Ž", "Z");
	    	text = text.replace("ž", "z");
	    	text = text.replace("Š", "S");
	    	text = text.replace("š", "s");
	    	text = text.replace("Ć", "C");
	    	text = text.replace("ć", "c");
	    	text = text.replace("Đ", "D");
	    	text = text.replace("đ", "d");
	    	
	    	text = text.replace("á", "a");
	    	text = text.replace("é", "e");
	    	text = text.replace("ě", "e");
	    	text = text.replace("í", "i");
	    	text = text.replace("ň", "n");
	    	text = text.replace("ó", "o");
	    	text = text.replace("ř", "r");
	    	text = text.replace("ú", "u");
	    	text = text.replace("ů", "u");
	    	text = text.replace("ý", "y");
	    	
	    	text = text.replace("Á", "A");
	    	text = text.replace("Ď", "D");
	    	text = text.replace("É", "E");
	    	text = text.replace("Ě", "E");
	    	text = text.replace("Í", "I");
	    	text = text.replace("Ň", "N");
	    	text = text.replace("Ó", "O");
	    	text = text.replace("Ř", "R");
	    	text = text.replace("Ť", "T");
	    	text = text.replace("Ú", "U");
	    	text = text.replace("Ů", "U");
	    	text = text.replace("Ý", "Y");
	    	
	    	return text.trim();
	    }

Kaj je prav, Windows-1252 ali 1250?

Ne vem.
Tudi tisto kar ne gre čez encoding se mi ne pretvarja, tako da načeloma to nebi smel biti vzrok to.

Če ti iskreno povem ne vem točno :)
To sem poguglal in prišel do tega, nisem pa se datajlno spuščal v podbornosti. Delalo je to pa je bilo v bistvu vse kar me je zanimalo :)

Ta dva koščka sestavljata mozaik in sicer namesto da bi v string dobil ? dobim ž kakor bi tudi moglo bit.
byte[] bytes = mailBody.getBytes(CHARSET_WINDOWS1252);
mailBody = new String(bytes, CHARSET_UTF8);

A ti nalasc uporabljas ceski encoding? Also:
> 2013
> using windows-1250

Sem sprobal zdaj na ta način.
Malo sem spremenil kodo oz dodal par printlinov in sicer zgleda koda tako.

private static String removeSpecialCharacters(String text)
	    {
	    	System.out.println("Received char: " + text);
	    	System.out.println("Received char ASCII: " + (int)text.charAt(0));
	    	
	    	System.out.println("char Š");
	    	System.out.println("Š char ASCII: " + (int)"Š".charAt(0));
	    	
	    	System.out.println("char Ž");
	    	System.out.println("Ž char ASCII: " + (int)"Ž".charAt(0));
	    	
	    	System.out.println("char š");
	    	System.out.println("š char ASCII: " + (int)"š".charAt(0));
	    	
	    	System.out.println("char ž");
	    	System.out.println("ž char ASCII: " + (int)"ž".charAt(0));
	    	
	    	text = text.replace("Č", "C");
	    	text = text.replace("č", "c");
	    	text = text.replace("Ž", "Z");
	    	text = text.replace("ž", "z");
	    	text = text.replace("Š", "S");
	    	text = text.replace("š", "s");
	    	text = text.replace("Ć", "C");
	    	text = text.replace("ć", "c");
	    	text = text.replace("Đ", "D");
	    	text = text.replace("đ", "d");
	    	
	    	text = text.replace("á", "a");
	    	text = text.replace("é", "e");
	    	text = text.replace("ě", "e");
	    	text = text.replace("í", "i");
	    	text = text.replace("ň", "n");
	    	text = text.replace("ó", "o");
	    	text = text.replace("ř", "r");
	    	text = text.replace("ú", "u");
	    	text = text.replace("ů", "u");
	    	text = text.replace("ý", "y");
	    	
	    	text = text.replace("Á", "A");
	    	text = text.replace("Ď", "D");
	    	text = text.replace("É", "E");
	    	text = text.replace("Ě", "E");
	    	text = text.replace("Í", "I");
	    	text = text.replace("Ň", "N");
	    	text = text.replace("Ó", "O");
	    	text = text.replace("Ř", "R");
	    	text = text.replace("Ť", "T");
	    	text = text.replace("Ú", "U");
	    	text = text.replace("Ů", "U");
	    	text = text.replace("Ý", "Y");
	    	
	    	System.out.println("Changed text: " + text);
	    	
	    	return text.trim();
	    }

Kot input iz maila sem prabral črko š in dobim to:

Received char: š
Received char ASCII: 353
char ?
? char ASCII: 138
char ?
? char ASCII: 142
char ?
? char ASCII: 154
char ?
? char ASCII: 158
Changed text: š

Se pravi ASCII od šja ki ga dobim noter in š-ja kateri je v kodi je čisto različen.
Zakaj pa niti približno se mie ne sanja.

BTW: A kakšnih for zank vas še niso naučili?

Ma dobro imaš prav no :) ni ravno najlepše. Je sproti nastajalo in pol nisem dajal v array vseh znakov, čeprav bi bilo dosti lepše :)
Bom naredil tako :)
Važno da zdaj dela tako kot sem že prej mislil da bo.

1.) Encoding Java source fajlov
Kakšen je?
Kakšnen encoding uporablja prevajalnik javac (ali katerega si pač uporabil)?

2.) Zagon programa.
A java JRE uporablja encoding, ki je enak tistemu, ki ga uporablja OS? (oziroma terminal, preostali OS nima veze, tisti reboot je bil popolnoma nepotreben )

mmaestro je 3. dec 2013 ob 18:11 izjavil:

javac -encoding ISO-8859-1 MojProgram.java.

To sigurno ni prav, ker ISO-8859-1 ne pozna šumnikov, ti pa jih imaš v programu (v source kodi).

Sicer pa:
- Java ima že knjižnice, kjer pretvori č-je v c-je. Mogoče:
String mailBody;
bytes [] brez_sumnikov = mailBody.getBytes(Charset.forName("US-ASCII"));

- večina SMS storitev že sama odstrani/pretvori nepodprte znake in ne rabiš ti to delat

MrStein je 7. dec 2013 ob 16:01 izjavil:

update-locale LANG=sl_SI.ISO-8859-2

Ajoj...
Daj to nazaj kot je bilo.
Ubuntu po defoltu uporablja UTF-8 ("vsi znaki, ki jih je človeštvo kdajkoli uporabljajo in poznalo").

To sem dal nazaj že ja, ker so se je recimo v mc programu pojavljali kar neki čudni znaki.