यूनिकोड - आमतौर पर सी ++

Question

में इसके साथ काम कर रहा है मान लीजिए कि हमारे पास मनमाने ढंग से स्ट्रिंग है, s।

एस की दुनिया में कहीं भी होने की संपत्ति है। संयुक्त राज्य अमेरिका, जापान, कोरिया, रूस, चीन और ग्रीस के लोग समय-समय पर s में लिखते हैं। सौभाग्य से हमारे पास रैखिक ए का उपयोग कर समय यात्रियों नहीं हैं। में

• रिवर्स
• लंबाई
• भुनाने
• लोअरकेस
• सूचकांक:

  चर्चा की के लिए, का अनुमान हम इस तरह के रूप में स्ट्रिंग आपरेशन करने के लिए चाहते हैं

  और, सिर्फ इसलिए कि यह चर्चा के लिए है, मान लीजिए कि हम इन दिनोंचर्या (पुस्तकालय को पकड़ने के बजाए) लिखना चाहते हैं, और हमारे पास बनाए रखने के लिए कोई विरासत सॉफ्टवेयर नहीं है।

  यूनिकोड के लिए 3 मानक हैं: utf-8, utf-16, और utf-32, प्रत्येक पेशेवर और विपक्ष के साथ। लेकिन मान लीजिए कि मैं सॉर्टा गूंगा हूं, और मैं चाहता हूं कि एक यूनिकोड उन सभी पर शासन करे (क्योंकि गतिशील रूप से अनुकूलन लाइब्रेरी को 3 अलग-अलग प्रकार के स्ट्रिंग एन्कोडिंग के लिए रोल करना जो एपीआई उपयोगकर्ता से अंतर को छुपाता है)।

  • कौन सा एन्कोडिंग सबसे सामान्य है?
  • कौन सा एन्कोडिंग wchar_t द्वारा समर्थित है?
  • एसटीएल द्वारा कौन सा एन्कोडिंग समर्थित है?
  • क्या ये एन्कोडिंग सभी (या बिल्कुल नहीं) शून्य-समाप्त हो गई हैं?

  -

  इस सवाल की बात अपने आप को और दूसरों को यूनिकोड के लिए उपयोगी और उपयोगी जानकारी में शिक्षित करने के लिए है: RFC के पढ़ने ठीक है, लेकिन वहाँ एक compilers, भाषाओं से संबंधित जानकारी के 'ढेर' है , और ऑपरेटिंग सिस्टम जो आरएफसी कवर नहीं करते हैं, लेकिन वास्तविक ऐप में वास्तव में यूनिकोड का उपयोग करने के बारे में जानना महत्वपूर्ण है।

Answer 1

1. कौन सा एन्कोडिंग, सबसे सामान्य
   शायद UTF-32 है, हालांकि सभी तीन स्वरूपों किसी भी चरित्र स्टोर कर सकते हैं। यूटीएफ -32 में संपत्ति है कि प्रत्येक चरित्र को एक कोडपॉइंट में एन्कोड किया जा सकता है।

2. कौन सा एन्कोडिंग wchar_t
   कोई भी द्वारा समर्थित है। यह कार्यान्वयन परिभाषित किया गया है। अधिकांश विंडोज प्लेटफॉर्म पर यह यूटीएफ -16 है, अधिकांश यूनिक्स प्लेटफार्मों पर इसकी यूटीएफ -32।

3. कौन सा एन्कोडिंग एसटीएल
   कोई नहीं वास्तव में द्वारा समर्थित है।एसटीएल स्टोर किसी भी प्रकार का चरित्र चाह सकता है। बस std::basic_string<t> टेम्पलेट का उपयोग अपने कोड बिंदु को पकड़ने के लिए पर्याप्त प्रकार के साथ करें। अधिकांश ऑपरेशंस (उदा। std::reverse) यद्यपि किसी भी प्रकार के यूनिकोड एन्कोडिंग के बारे में नहीं जानते हैं।

4. क्या ये एन्कोडिंग सभी (या बिल्कुल नहीं) शून्य-समाप्त हो गई हैं?
   नं। नल उन किसी भी एन्कोडिंग में कानूनी मान है। तकनीकी रूप से, एनएलएलआई भी सादा ASCII में एक कानूनी चरित्र है। पूर्ण समाप्ति एक सी चीज है - एक एन्कोडिंग चीज नहीं।

यह चुनना कि आपके प्लेटफ़ॉर्म के साथ ऐसा करने के लिए बहुत कुछ करना है। यदि आप विंडोज़ पर हैं, तो यूटीएफ -16 और wchar_t तारों का उपयोग करें, क्योंकि विंडोज एपीआई यूनिकोड का समर्थन करने के लिए उपयोग करता है। मुझे पूरी तरह से यकीन नहीं है कि यूनिक्स प्लेटफॉर्म के लिए सबसे अच्छा विकल्प क्या है लेकिन मुझे पता है कि उनमें से अधिकतर यूटीएफ -8 का उपयोग करते हैं।

Answer 2

ओपन सोर्स लाइब्रेरी ICU पर विशेष रूप से Docs & Papers section पर एक नज़र डालें। यह यूनिकोड विषमता के सभी प्रकार से निपटने वाली एक व्यापक पुस्तकालय है।

Answer 3

"असली एप्लिकेशन" :) परिभाषित

गंभीरता से, निर्णय वास्तव में सॉफ्टवेयर की तरह आप विकसित कर रहे हैं पर बहुत कुछ निर्भर करता है। यदि आपका लक्ष्य प्लेटफार्म Win32 API है (एमएफसी, डब्ल्यूटीएल, आदि जैसे रैपर के साथ या बिना) तो आप शायद यूटीएफ -16 के रूप में एन्कोड किए गए टेक्स्ट के साथ wstring प्रकारों का उपयोग करना चाहते हैं। ऐसा इसलिए है क्योंकि सभी Win32 API आंतरिक रूप से उस एन्कोडिंग का उपयोग करता है।

दूसरी तरफ, यदि आपका आउटपुट एक्सएमएल/एचटीएमएल और/या इंटरनेट पर वितरित करने की जरूरत है, तो यूटीएफ -8 काफी मानक है - यह आमतौर पर प्रोटोकॉल के माध्यम से संचारित होता है जो वर्णों के बारे में धारणा करता है 8 बिट्स

यूटीएफ -32 के लिए, मैं इसका उपयोग करने के एक कारण के बारे में नहीं सोच सकता, जब तक आपको कोड इकाइयों और कोड बिंदुओं के बीच 1: 1 मैपिंग की आवश्यकता न हो (जो अभी भी कोड इकाइयों के बीच 1: 1 मैपिंग का मतलब नहीं है और वर्ण!)।

अधिक जानकारी के लिए, Unicode.org को देखना सुनिश्चित करें। This FAQ एक अच्छा प्रारंभिक बिंदु हो सकता है।

Answer 4

आपके अंतिम बुलेट के जवाब में, यूटीएफ -8 की गारंटी है कि नल बाइट्स को किसी भी चरित्र के एन्कोडिंग में न हो (न्यूल स्वयं को छोड़कर)। नतीजतन, कई कार्य जो नल-टर्मिनेटेड तारों के साथ काम करते हैं, यूटीएफ -8 एन्कोडेड तारों के साथ भी काम करते हैं।