[C++] Unicode, Utf...

Živjo,

Bi vprašal malo o unicode in utf zadavah, ker sem na tem področju bolj mrzel...

Imam razred StringList, v katerega lahko shranjujemo podatke tipa std::string.
Ima tudi proceduro loadFromFile(), s katero lahko v string list naložimo poljubno
tekstovno datoteko...

void StringList::loadFromFile(const string& fileName)
{
    clear();
    ifstream in(fileName.c_str());
    if (in.is_open())
    {
        while (!in.eof())
        {
            string str;
            std::getline(in, str);
            add(str);
        }
        in.close();
    }
    changed();
}

Samo kaj pa če je datoteka recimo v unicode oz. utf8, 16 itd.. Recimo ena stvar je da naredim ifdef UNICODE in zamenjam
string z wstring, fstream z wifstream itd... Torej imam dve možnosti prevesti program kot unicode ali ansi....
Če bi uporabljal unicode verzijo programa ali bi lahko bral ansi tekstovne datoteke, ali bi lahko bral samo unicode datoteke...
Kaj bi se zgodilo če bi uporabljal unicode verzijo programa in bi na začetku klical setlocale(LC_ALL, "sl_SI"); ?
Samo tudi če uporabljaš unicode verzijo StringLista, še vedno ne moreš brati recimo UTF8, UTF16 tekstovnih datotek....
Torej če bi hotel pravilno brati Utf8,16 datoteke bi moral najprej pretvoriti iz utf v unicode. Samo kako ugotoviti
za kakšen encoding datoteke gre?

Pa še eno vprašanje... Ali za kitajce ali japonce, ki imajo toliko veliko znakov sploh pride v poštev std::string oz char, ali
morajo vedno uporabljati wstring oz wchar.

Hvala za odgovore

go unicode all the way, tele 8bitne code tabele so cist mimo... memmory usage gre sicer rahlo gor, ampak to je dons ze skor zanemarljivo...
dobis pa velik vec.
zdele sicer ne vem cist na pamet ampak milsim da ma ibm eno knjiznjico za tekst, ki zna precej velik (pretvarjanje formatov, ipd...). pa se portable naj bi bla...

hehe, no vidis :P

UTF-8 je dokaj fajn, praktično tudi za predelavo programov na UNICODE, ker je kompatibilen za nazaj z ASCII. Dosti hinavskih napak z UTF nastane v zvezi s strlen() - to je funkcija, ki se jo dostikrat uporablja za štetje znakov, vendar to z UTF-8 na splošno ne bo letelo! Shranjevanje in alokacija kot je bilo že omenjeno ni tak problem, ker tam se ti dejansko gre za število bytov ...