एक यूटीएफ -8 बनाम सीपीपी केस

Question

के लिए स्पष्टीकरण की आवश्यकता है मेरे पास विंडोज 7 64 बिट पर माइक्रोसॉफ्ट विजुअल स्टूडियो 2010 है। (परियोजना गुण में "वर्ण सेट", "सेट नहीं" पर सेट है लेकिन हर सेटिंग एक ही उत्पादन होता है।)

स्रोत कोड:

using namespace std; 
    char const charTest[] = "árvíztűrő tükörfúrógép ÁRVÍZTŰRŐ TÜKÖRFÚRÓGÉP\n"; 
    cout << charTest; 
    printf(charTest); 
    if(set_codepage()) // SetConsoleOutputCP(CP_UTF8); // *1 
    cerr << "DEBUG: set_codepage(): OK" << endl; 
    else 
    cerr << "DEBUG: set_codepage(): FAIL" << endl; 
    cout << charTest; 
    printf(charTest); 

* 1: windows.h भोजनालयों चीजें भी शामिल है, तो मैं मैं इसे एक अलग सीपीपी से भी शामिल कर रहा हूं।

संकलित बाइनरी में स्ट्रिंग को सही यूटीएफ -8 बाइट अनुक्रम के रूप में शामिल किया गया है। अगर मैं chcp 65001 के साथ कंसोल को यूटीएफ -8 पर सेट करता हूं और type main.cpp जारी करता हूं, तो स्ट्रिंग सही तरीके से प्रदर्शित होती है।

D:\dev\user\geometry\Debug>chcp 
Active code page: 852 

D:\dev\user\geometry\Debug>listProcessing.exe 
├írv├şzt┼▒r┼Ĺ t├╝k├Ârf├║r├│g├ęp ├üRV├ŹZT┼░R┼É T├ťK├ľRF├ÜR├ôG├ëP 
├írv├şzt┼▒r┼Ĺ t├╝k├Ârf├║r├│g├ęp ├üRV├ŹZT┼░R┼É T├ťK├ľRF├ÜR├ôG├ëP 
DEBUG: set_codepage(): OK 
��rv��zt��r�� t��k��rf��r��g��p ��RV��ZT��R�� T��K��RF��R��G��P 
árvíztűrő tükörfúrógép ÁRVÍZTŰRŐ TÜKÖRFÚRÓGÉP 

कि पीछे स्पष्टीकरण क्या है:

टेस्ट (सांत्वना ल्युसिडा कंसोल फ़ॉन्ट का उपयोग करने के लिए सेट)? क्या मैं printf के रूप में काम करने के लिए किसी भी तरह cout पूछ सकता हूं?

लगाव

कई का कहना है कि Windows कंसोल UTF-8 वर्णों बिल्कुल समर्थन नहीं करता।

(मेरे डिफ़ॉल्ट कंसोल: मैं हंगरी में हंगरी के पुरुष, मेरे Windows अंग्रेजी पर सेट है (तिथि प्रारूप को छोड़कर, वे हंगरी की तैयारी में हैं) और सिरिलिक अक्षरों अभी भी हंगेरी पत्र के साथ-साथ सही ढंग से प्रदर्शित कर रहे हैं हूँ कोडपेज CP852 है)

Answer 1

यहां अंतर यह है कि सी ++ रनटाइम और सी लाइब्रेरी सिस्टम लोकेल को कैसे संभालती है।

एसटीडी के साथ एक ही परिणाम प्राप्त करने के लिए :: अदालत आप std::ios::imbue विधि और std::locale

लेकिन utf-8 के साथ मुख्य मुद्दा कोशिश कर सकते हैं करेंगे और सी ++ वर्णित here

सी ++ 03 दो प्रकार प्रदान करता है स्ट्रिंग अक्षर का। डबल कोट्स के भीतर निहित पहला प्रकार, टाइप कॉन्स्ट चार के एक नल-टर्मिनेटेड सरणी का उत्पादन करता है। दूसरा प्रकार, जिसे एल "" के रूप में परिभाषित किया गया है, प्रकार की कॉन्स wchar_t की एक नल-टर्मिनेटेड सरणी उत्पन्न करता है, जहां wchar_t एक विस्तृत वर्ण है। न तो शाब्दिक प्रकार यूटीएफ -8, यूटीएफ -16, या किसी अन्य प्रकार के यूनिकोड एन्कोडिंग के साथ स्ट्रिंग अक्षर के लिए समर्थन प्रदान करता है।

तो फिर भी यह सभी कार्यान्वयन विशिष्ट है और इस प्रकार गैर पोर्टेबल है, क्योंकि मानक सी ++ आउटपुट धाराओं में से कोई भी utf-8 को समझ सकता है।

Answer 2

विंडोज़ पर, एकल-बाइट तारों को आम तौर पर ASCII, या कुछ 256-वर्ण कोडपृष्ठ के रूप में व्याख्या किया जाता है। इसका मतलब है कि आपको असली यूनिकोड समर्थन नहीं मिलेगा।

संक्षिप्त उत्तर है: विस्तृत तारों का उपयोग करें (उदा। L""árvíztűr..." - एल को नोटिस करें) cout के बजाय wcout पर लिखें। विंडोज आमतौर पर यूटीएफ -16 (या कम से कम एक करीबी संस्करण) के रूप में तारों (विंडोज़ पर 2 बाइट्स) स्ट्रिंग का अर्थ है, इसलिए यह इरादे के रूप में काम करेगा। विंडोज़ पर एन्कोडिंग समस्याओं से बचने के लिए हमेशा विस्तृत तारों का उपयोग करें।

Answer 3

सभी विंडोज़ कंसोल का पहला यूटीएफ -8 (कोडपेज 65001, का समर्थन करने के लिए यूटीएफ -8 एन्कोडेड फ़ाइल को खोलने के लिए समर्थन नहीं करता है जो कंसोल में नोटपैड से सहेजा गया है और आपको कंसोल में जंक डेटा दिखाई देगा), इसलिए अपने आउटपुट की जांच करने के लिए आपको इसे किसी फ़ाइल या उस तरह से कुछ पर रीडायरेक्ट करना चाहिए और वहां से परिणाम देखें (myapp> test.txt)।

सी/सी ++ char [] में दूसरा वर्ण उन वर्णों का अनुक्रम है जो प्रोग्रामर चाहते हैं, लेकिन यूटीएफ -8 यूनिकोड चरित्र सेट को एन्कोड करने के लिए एक विशेष प्रोटोकॉल है, इसलिए कोई रास्ता नहीं है (सी ++ 11 के बगल में)) कि आप अक्षरों का अनुक्रम और यूटीएफ 8 में एन्कोड किए गए उन अक्षरों को लिखते हैं क्योंकि मैं char p[3] = "اب" कहूंगा, लेकिन यदि कंपाइलर यूटीएफ -8 में इसे एन्कोड करना चाहता है तो इसे 5 बाइट्स 3 की आवश्यकता नहीं है। इसलिए आपको यूटीएफ -8 को समझने वाले कुछ का उपयोग करना चाहिए।

मैं व्यापक स्ट्रिंग स्थिरांक के साथ boost::locale::conv::utf_to_utf का उपयोग करने का सुझाव देता हूं। उदाहरण

std::string sUTF8 = boost::locale::conv::utf_to_utf(L"árvíztűrő tükörfúrógép ÁRVÍZTŰRŐ TÜKÖRFÚRÓGÉP\n"); 
std::cout << sUTF8; // or printf("%s", sUTF8.c_str()); 

के लिए इस, कंसोल के साथ यह जांच नहीं करते यह सुनिश्चित करेंगे कि आप UTF-8 स्ट्रिंग है कि है, लेकिन फिर से के बाद से यह बिल्कुल UTF-8 समझ में नहीं आता !!।

Answer 4

कमांड लाइन थोड़े मेरी समझ

1. कमांड लाइन में UTF-8 वर्ण प्रदर्शित
2. सही कोड पृष्ठ सेट करने में सक्षम एक फ़ॉन्ट (chcp के लिए UTF-8 के साथ काम प्रतीत होता है 65001) यकीन नहीं इस कोड को पेज पूर्ण UTF-8 वर्णों का समर्थन करता है, लेकिन यह

इसे देखें here और here

सबसे अच्छा उपलब्ध हो रहा है अगर

[संपादित करें] वास्तव में 65001 वास्तव में UTF-8 है के बाद मैं PowerShell

में जाँच

PS C:\Users\forcewill> chcp 65001 
Active code page: 65001 
PS C:\Users\forcewill> [Console]::OutputEncoding 


BodyName   : utf-8 
EncodingName  : Unicode (UTF-8) 
HeaderName  : utf-8 
WebName   : utf-8 
WindowsCodePage : 1200 
IsBrowserDisplay : True 
IsBrowserSave  : True 
IsMailNewsDisplay : True 
IsMailNewsSave : True 
IsSingleByte  : False 
EncoderFallback : System.Text.EncoderReplacementFallback 
DecoderFallback : System.Text.DecoderReplacementFallback 
IsReadOnly  : True 
CodePage   : 65001 

आप PowerShell इसकी अधिक शक्तिशाली तो पुराने cmd.exe

Edit: उपयोग कर सकते हैं अगर हम अदालत का उपयोग कर के बारे में विजुअल स्टूडियो में बात कर रहे सही जवाब here अधिक स्टूडियो स्पष्टीकरण here को विजुअल स्टूडियो