एक निश्चित आकार (8 KB)

Question

मैं Zemanta एपीआई का उपयोग कर रहा है, जो प्रति कॉल पाठ के 8 KB को स्वीकार करने के लिए पाठ काटना जावास्क्रिप्ट का उपयोग करना। मैं जावास्क्रिप्ट का उपयोग कर वेब पेजों से ज़ेमेन्टा को भेजने के लिए टेक्स्ट निकालने जा रहा हूं, इसलिए मैं एक ऐसे फ़ंक्शन की तलाश में हूं जो मेरे टेक्स्ट को ठीक से 8 केबी पर छोटा कर देगा।

ज़ेमेन्टा को अपने आप को इस छंटनी को करना चाहिए (यानी, यदि आप इसे एक बड़ी स्ट्रिंग भेजते हैं), लेकिन मुझे एपीआई कॉल करने से पहले इस पाठ को थोड़ा सा शटल करना होगा, इसलिए मैं पेलोड को छोटे के रूप में रखना चाहता हूं मुमकिन।

यह मान लेना कि पाठ के 8 KB 8,192 वर्ण है, और उसके अनुसार काट-छांट करने के लिए सुरक्षित है? (1 बाइट प्रति चरित्र; 1,024 वर्ण प्रति केबी; 8 केबी = 8,192 बाइट/वर्ण) या, क्या यह गलत या केवल कुछ निश्चित परिस्थितियों को सच है?

वहाँ अपने वास्तविक फ़ाइल आकार के आधार पर एक स्ट्रिंग को काटना एक और अधिक सुरुचिपूर्ण रास्ता नहीं है?

Answer 1

आप एक सिंगल-बाइट एन्कोडिंग उपयोग कर रहे हैं, हाँ, 8192 वर्ण = 8192 बाइट्स। यदि आप यूटीएफ -16, 8192 वर्ण (*) = 40 9 6 बाइट्स का उपयोग कर रहे हैं।

(वास्तव में 8192 कोड-अंक है, जो किराए की कोख का सामना करने में एक अलग बात है, लेकिन उस के बारे में चिंता नहीं है क्योंकि जावास्क्रिप्ट नहीं करते हैं।)

आपको UTF-8 का उपयोग कर रहे हैं, तो वहाँ एक

function truncateByBytesUTF8(chars, n) { 
    var bytes= toBytesUTF8(chars).substring(0, n); 
    while (true) { 
     try { 
      return fromBytesUTF8(bytes); 
     } catch(e) {}; 
     bytes= bytes.substring(0, bytes.length-1); 
    } 
} 

(कोशिश ग के लिए कारण:

function toBytesUTF8(chars) { 
    return unescape(encodeURIComponent(chars)); 
} 
function fromBytesUTF8(bytes) { 
    return decodeURIComponent(escape(bytes)); 
} 

अब आप के साथ काट-छांट कर सकते हैं: त्वरित चाल आप कम से कम कोड के साथ जे एस में एक UTF-8 एनकोडर/विकोडक लागू करने के लिए उपयोग कर सकते हैं एटीएच वहाँ है कि यदि आप एक मल्टीबाइट वर्ण अनुक्रम के बीच में बाइट्स को छोटा करते हैं तो आपको एक अवैध यूटीएफ -8 स्ट्रीम और डिकोडुरिकॉम्पोनेंट शिकायत करेगा।)

यदि यह शिफ्ट-जेआईएस या बिग 5 जैसे अन्य मल्टीबाइट एन्कोडिंग है, आप अपने दम पर कर रहे हैं।

Answer 2

नहीं यह मानना ​​सुरक्षित नहीं है कि 8KB पाठ 8192 वर्ण हैं, क्योंकि कुछ वर्ण एन्कोडिंग में, प्रत्येक वर्ण multiple bytes लेता है।

आप फ़ाइलों से डेटा पढ़ रहे हैं, तो आप सिर्फ फ़ाइल आकार आकर्षित नहीं कर सकते हैं? या इसे 8 केबी के टुकड़ों में पढ़ा?

Answer 3

डोमिनिक कहते हैं, वर्ण एन्कोडिंग समस्या है - लेकिन अगर आप या तो वास्तव में सुनिश्चित कर सकते हैं कि आप केवल 8 बिट वर्ण के साथ सौदा होगा (संभावना नहीं है, लेकिन संभव है) या 16-बिट वर्ण मान और आधे तक सीमित उपलब्ध स्थान, यानी 40 9 6 वर्ण तो आप इसका प्रयास कर सकते हैं।

इसके लिए जेएस पर भरोसा करना एक बुरा विचार है, हालांकि इसे छोटा रूप से संशोधित या अनदेखा किया जा सकता है और उदाहरण के लिए निपटने के लिए आपको बचने के पात्रों और एन्कोडिंग की जटिलताएं हैं। जेएस का उपयोग पहली मौके फ़िल्टर के रूप में करने के लिए बेहतर है और जो भी सर्वर-साइड भाषा उपलब्ध है उसका उपयोग करें (जो संपीड़न भी खुल जाएगा)।