node.js

Question

से अपलोड प्रगति की रिपोर्ट करना मैं एक छोटा node.js एप्लिकेशन लिख रहा हूं जो HTML फॉर्म से मल्टीपार्ट पोस्ट प्राप्त करता है और आने वाले डेटा को अमेज़ॅन S3 पर पाइप करता है। formidable मॉड्यूल multipart parsing प्रदान करता है, प्रत्येक भाग को नोड Stream के रूप में उजागर करता है। knox मॉड्यूल PUT को S3 को संभालता है।

var form = new formidable.IncomingForm() 
, s3 = knox.createClient(conf); 

form.onPart = function(part) { 
    var put = s3.putStream(part, filename, headers, handleResponse); 
    put.on('progress', handleProgress); 
}; 

form.parse(req); 

मैं socket.io के माध्यम से ब्राउज़र ग्राहक के लिए अपलोड प्रगति रिपोर्ट कर रहा हूं, लेकिन कठिनाई हो रही है इन नंबरों S3 अपलोड करने के लिए नोड के वास्तविक प्रगति को प्रतिबिंबित करने के चल रहा है।

जब ब्राउजर नोड अपलोड करने के लिए तत्काल निकट होता है, क्योंकि यह तब होता है जब स्थानीय नेटवर्क पर नोड प्रक्रिया चल रही है, प्रगति सूचक तुरंत 100% तक पहुंचता है। अगर फ़ाइल बड़ी है, यानी 300 एमबी, प्रगति संकेतक धीरे-धीरे बढ़ता है, लेकिन हमारे अपस्ट्रीम बैंडविड्थ की तुलना में अभी भी तेज है। 100% प्रगति पर हमला करने के बाद, क्लाइंट तब लटकता है, संभवतः एस 3 अपलोड को समाप्त करने के लिए प्रतीक्षा कर रहा है।

मुझे पता है putStream आंतरिक रूप से नोड की stream.pipe विधि का उपयोग करता है, लेकिन मुझे यह समझ में नहीं आता कि यह वास्तव में कैसे काम करता है। मेरी धारणा यह है कि नोड आने वाले डेटा को जितनी जल्दी हो सके उतना तेज़ कर देता है, इसे स्मृति में फेंक देता है। यदि लेखन धारा डेटा को तेज़ी से ले जा सकती है, तो एक बार में स्मृति में थोड़ा डेटा रखा जाता है, क्योंकि इसे लिखा और त्याग दिया जा सकता है। यदि लिखने की धारा धीमी है, यद्यपि यह यहां है, तो संभवतः हमें उस आने वाले डेटा को मेमोरी में तब तक रखना होगा जब तक इसे लिखा जा सके। चूंकि हम प्रगति को उत्सर्जित करने के लिए रीड स्ट्रीम पर data ईवेंट सुन रहे हैं, इसलिए हम अपलोड की रिपोर्टिंग को समाप्त करते हैं क्योंकि यह वास्तव में तेज़ी से चल रहा है।

क्या इस समस्या की मेरी पहचान कहीं भी निशान के करीब है? मैं इसे ठीक करने के बारे में कैसे जा सकता हूं? क्या मुझे write, drain और pause के साथ नीचे उतरने और गंदे होने की आवश्यकता है?

Answer 1

आपकी समस्या यह है कि stream.pause isn't implemented on the part, जो मल्टीपार्ट फॉर्म पार्सर से आउटपुट का एक बहुत ही सरल रीडस्ट्रीम है।

Knox instructs the s3 request to emit "progress" events whenever the part emits "data"। हालांकि part धारा विराम को अनदेखा करती है, इसलिए प्रगति की घटनाओं को जितना तेज़ किया जाता है उतना तेज़ रूप से फॉर्म डेटा अपलोड और पार्स किया जाता है।

दुर्जेय form, हालांकि, पता है कि कैसे करने के लिए दोनों pause और resume (यह अनुरोध यह पार्स करने है के लिए कॉल प्रॉक्सी)।

कुछ इस तरह आपकी समस्या का समाधान करना चाहिए:

form.onPart = function(part) { 

    // once pause is implemented, the part will be able to throttle the speed 
    // of the incoming request 
    part.pause = function() { 
     form.pause(); 
    }; 

    // resume is the counterpart to pause, and will fire after the `put` emits 
    // "drain", letting us know that it's ok to start emitting "data" again 
    part.resume = function() { 
     form.resume(); 
    }; 

    var put = s3.putStream(part, filename, headers, handleResponse); 
    put.on('progress', handleProgress); 
};