मैं बीओएम के साथ यूटीएफ -16LE बाइट एरे को एन्कोड/डीकोड कैसे करूं?

Question

मुझे java.lang.String से और यूटीएफ -16 बाइट सरणी को एन्कोड/डीकोड करने की आवश्यकता है। बाइट एरे मुझे Byte Order Marker (BOM) के साथ दिए गए हैं, और मुझे बीओएम के साथ बाइट एरे एन्कोड करने की आवश्यकता है।

इसके अलावा, क्योंकि मैं एक Microsoft क्लाइंट/सर्वर से निपट रहा हूं, मैं किसी भी गलतफहमी से बचने के लिए छोटे एंडियन (LE BOM के साथ) में एन्कोडिंग उत्सर्जित करना चाहता हूं। मुझे एहसास है कि बीओएम के साथ इसे बड़े एंडियन काम करना चाहिए, लेकिन मैं विंडोज़ दुनिया में अपस्ट्रीम नहीं तैरना चाहता हूं।

public static byte[] encodeString(String message) { 

    byte[] tmp = null; 
    try { 
     tmp = message.getBytes("UTF-16LE"); 
    } catch(UnsupportedEncodingException e) { 
     // should not possible 
     AssertionError ae = 
     new AssertionError("Could not encode UTF-16LE"); 
     ae.initCause(e); 
     throw ae; 
    } 

    // use brute force method to add BOM 
    byte[] utf16lemessage = new byte[2 + tmp.length]; 
    utf16lemessage[0] = (byte)0xFF; 
    utf16lemessage[1] = (byte)0xFE; 
    System.arraycopy(tmp, 0, 
        utf16lemessage, 2, 
        tmp.length); 
    return utf16lemessage; 
} 

जावा में यह करने के लिए सबसे अच्छा तरीका क्या है:

एक उदाहरण के रूप में, यहाँ एक तरीका है जिसके एक बीओएम के साथ थोड़ा endian में एक java.lang.StringUTF-16 के रूप में encodes है? आदर्श रूप से मैं पूरे बाइट सरणी को एक नए बाइट सरणी में कॉपी करने से बचना चाहता हूं जिसमें शुरुआत में आवंटित दो अतिरिक्त बाइट हैं।

ही इस तरह के एक स्ट्रिंग डीकोड करने के लिए चला जाता है, लेकिन वह बहुत अधिक सरल का उपयोग करके है java.lang.String constructor:

public String(byte[] bytes, 
       int offset, 
       int length, 
       String charsetName) 

Answer 1

"UTF-16" चारसेट नाम हमेशा एक बीओएम के साथ सांकेतिक शब्दों में बदलना होगा और या तो का उपयोग कर डेटा को डिकोड होगा बड़ी/छोटी अंतहीनता, लेकिन "यूनिकोडबिग" और "यूनिकोड लिटल" एक विशिष्ट बाइट ऑर्डर में एन्कोडिंग के लिए उपयोगी हैं। बीओएम को मैन्युअल रूप से संभालने के लिए "\ uFEFF" का उपयोग करने के तरीके के लिए कोई बीओएम - see this post के लिए यूटीएफ -16LE या यूटीएफ -16 बीई का उपयोग करें। here को वर्णमाला स्ट्रिंग नामों के कैननिकल नामकरण के लिए या (अधिमानतः) Charset कक्षा देखें। यह भी ध्यान रखें कि केवल limited subset of encodings को समर्थित होने की आवश्यकता है।

Answer 2

ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream(string.length() * 2 + 2); 
    byteArrayOutputStream.write(new byte[]{(byte)0xFF,(byte)0xFE}); 
    byteArrayOutputStream.write(string.getBytes("UTF-16LE")); 
    return byteArrayOutputStream.toByteArray(); 

संपादित करें: अपने प्रश्न को दोबारा पढ़ना, मुझे लगता है कि आप डबल सरणी आवंटन को पूरी तरह से टालना चाहते हैं। दुर्भाग्यवश एपीआई आपको वह नहीं देता है, जहां तक ​​मुझे पता है। (एक विधि थी, लेकिन इसे बहिष्कृत किया गया है, और आप इसके साथ एन्कोडिंग निर्दिष्ट नहीं कर सकते हैं)।

मैंने आपकी टिप्पणी देखने से पहले उपरोक्त लिखा था, मुझे लगता है कि एनओओ कक्षाओं का उपयोग करने का उत्तर सही रास्ते पर है। मैं उस पर देख रहा था, लेकिन मैं एपीआई के साथ पर्याप्त परिचित नहीं हूं कि यह जानने के लिए कि आप इसे कैसे करते हैं।

Answer 3

डीकोडिंग के लिए आप चरित्र सेट "यूटीएफ -16" का उपयोग कर सकते हैं; जो स्वचालित रूप से प्रारंभिक बीओएम का पता लगाता है। यूटीएफ -16 बीई एन्कोडिंग के लिए, आप "यूटीएफ -16" चरित्र सेट का भी उपयोग कर सकते हैं - जो एक उचित बीओएम लिखेंगे और फिर बड़ी एंडियन सामग्री आउटपुट करेगा।

बीओएम के साथ छोटे एंडियन को एन्कोडिंग के लिए, मुझे नहीं लगता कि आपका वर्तमान कोड बहुत खराब है, यहां तक ​​कि डबल आवंटन के साथ भी (जब तक कि आपके तार वास्तव में राक्षसी नहीं होते)। यदि आप एक बाइट सरणी के साथ सौदा नहीं कर सकते हैं, बल्कि एक java.nio बाइटबफर के साथ सौदा नहीं कर सकते हैं, और java.nio.charset.CharsetEncoder क्लास का उपयोग करें। (जिसे आप Charset.forName ("यूटीएफ -16LE") से प्राप्त कर सकते हैं। NewEncoder())।

Answer 4

इस तरह आप यह NIO में क्या है:

return Charset.forName("UTF-16LE").encode(message) 
      .put(0, (byte) 0xFF) 
      .put(1, (byte) 0xFE) 
      .array(); 

यह निश्चित रूप से तेजी से माना जाता है, लेकिन मैं नहीं जानता कि कितने सरणियों यह कवर के तहत करता है, लेकिन की बात की मेरी समझ एपीआई यह है कि इसे कम करना है।

Answer 5

यह एक पुराना सवाल है, लेकिन फिर भी, मुझे अपनी स्थिति के लिए स्वीकार्य उत्तर नहीं मिला। असल में, जावा में बीओएम के साथ यूटीएफ -16LE के लिए अंतर्निर्मित एन्कोडर नहीं है। और इसलिए, आपको अपना खुद का कार्यान्वयन करना होगा।

private byte[] encodeUTF16LEWithBOM(final String s) { 
    ByteBuffer content = Charset.forName("UTF-16LE").encode(s); 
    byte[] bom = { (byte) 0xff, (byte) 0xfe }; 
    return ByteBuffer.allocate(content.capacity() + bom.length).put(bom).put(content).array(); 
}