नोड.जेएस स्क्रैप एन्कोडिंग?

Question

मैं this page को this request library के साथ नोड.जेएस में ला रहा हूं, और cheerio का उपयोग करके शरीर को पार्स कर रहा हूं।

पार्स प्रतिक्रिया शरीर पर $.html() कॉलिंग पता चलता है कि पेज के लिए शीर्षक विशेषता है: ...

<title>Le Relais de l'Entrec?te</title> 

जब यह होना चाहिए:

<title>Le Relais de l'Entrecôte</title> 

मैं सेटिंग विकल्पों की कोशिश की है अनुरोध पुस्तकालय के लिए encoding: 'utf8' शामिल करने के लिए, लेकिन ऐसा कुछ भी नहीं दिख रहा था।

मैं इन पात्रों को कैसे संरक्षित करूं?

Answer 1

पृष्ठ आईएसओ -885 9 -1 के साथ एन्कोड किया गया प्रतीत होता है। आपको request को encoding: null पास करके एक अन-एन्कोडेड बफर वापस करने के लिए आपको node-iconv जैसे कुछ का उपयोग करने की आवश्यकता होगी।

आप एक सामान्यीकृत क्रॉलर लिख रहे हैं, तो आप, यह पता लगाने कैसे प्रत्येक पृष्ठ आप इसे सही ढंग से डिकोड करने के लिए मुठभेड़ का एन्कोडिंग का पता लगाने के लिए होगा अन्यथा निम्नलिखित अपने मामले के लिए काम करना चाहिए:

var request = require('request');            
var iconv = require('iconv');             

request.get({                 
    url: 'http://www.relaisentrecote.fr',           
    encoding: null,                
}, function(err, res, body) {             
    var ic = new iconv.Iconv('iso-8859-1', 'utf-8');        
    var buf = ic.convert(body);             
    var utf8String = buf.toString('utf-8'); 
    // .. do something with utf8String ..                    
});                    

Answer 2

आप रूपांतरण के लिए iconv (या बेहतर iconv-lite) का उपयोग कर सकते हैं, लेकिन एन्कोडिंग का पता लगाने के लिए आपको charset और jschardet मॉड्यूल देखना चाहिए। यहाँ कार्रवाई में उन दोनों का एक उदाहरण है:

var charset = require('charset'), 
    jschardet = require('jschardet'), 
    Iconv = require('iconv').Iconv; 

request.get({url: 'http://www.example.com', encoding: 'binary'}, function(err, res, body) { 
    var enc = charset(res.headers, body) || jschardet.detect(body).encoding.toLowerCase(); 

    if(enc !== 'utf8') { 
     var iconv = new Iconv(enc, 'UTF-8//TRANSLIT//IGNORE'); 
     body = iconv.convert(new Buffer(body, 'binary')).toString('utf8'); 
    } 

    console.log(body); 
}); 

---