स्केल

Question

का उपयोग कर फ़ाइल अपलोड सामग्री के साथ मल्टीपार्ट HTTP फॉर्म डेटा पार्सिंग multipart/form-data फ़ाइल अपलोड समाधान बहुत सारे हैं, लेकिन मैं स्कैला के लिए एक नि: शुल्क खड़ा नहीं ढूंढ पा रहा हूं।

Play2 में फ्रेमवर्क के हिस्से के रूप में यह कार्यक्षमता है और स्प्रे मल्टीपार्ट फॉर्म डेटा का भी समर्थन करता है। दुर्भाग्य से ये दोनों शेष टूलसेट में काफी एकीकृत होते हैं (मैं यहां गलत हो सकता हूं)।

मेरा सर्वर फिनगेल (जो वर्तमान में मल्टीपार्ट फॉर्म डेटा का समर्थन नहीं करता है) का उपयोग करके विकसित किया गया है, और यदि संभव हो तो मैं एक मुफ्त स्थायी lib या 'रोल अपना खुद का' समाधान का उपयोग करना चाहता हूं।

यह एक ठेठ बहुखण्डीय/फार्म-डेटा संदेश है:

--*****org.apache.cordova.formBoundary 
Content-Disposition: form-data; name="value1" 

First parameter content 
--*****org.apache.cordova.formBoundary 
Content-Disposition: form-data; name="value2" 

Second parameter content 
--*****org.apache.cordova.formBoundary 
Content-Disposition: form-data; name="file"; filename="image.jpg" 
Content-Type: image/jpeg 

$%^&#$%^%#$ 
--*****org.apache.cordova.formBoundary-- 

इस उदाहरण में, *****org.apache.cordova.formBoundary, प्रपत्र सीमा है, इसलिए बहुखण्डीय अपलोड 2 पाठ मापदंडों और एक छवि है (मैं के लिए छवि डेटा concatenated स्पष्टता)।

यदि कोई व्यक्ति जो मेरे से बेहतर स्कैला जानता है, तो मुझे इस सामग्री को पार्स करने के तरीके पर एक रैंड डाउन दे सकता है, मैं बहुत आभारी रहूंगा।

शुरू में, मैंने सोचा कि मैं जल्दी से कर रही तीन में सामग्री विभाजित होगा:

data.split("\\Q--*****org.apache.cordova.formBoundary\\E") foreach println 

लेकिन निष्पादन विशेष रूप से धीमी गति से (अद्यतन - इस समय को गर्म करने के कारण किया गया था) है। क्या भागों को विभाजित करने का एक और अधिक प्रभावी तरीका है? मेरी रणनीति सामग्री को भागों में विभाजित करना है, और भागों को उप-भागों में विभाजित करना है। क्या यह एक गड़बड़ दृष्टिकोण है? मैंने राज्य मशीनों के साथ हल की जाने वाली समान समस्याओं को देखा है? एक अच्छा कार्यात्मक दृष्टिकोण क्या है। ध्यान रखें, समस्या को हल करने की कोशिश करते समय मैं स्कैला के लिए एक उचित दृष्टिकोण सीखने की कोशिश कर रहा हूं।

अद्यतन:

मैं वास्तव में सोचा कि यह समस्या का समाधान एक पंक्ति या दो स्काला में होगा। अगर कोई इस सवाल पर एक स्लिम समाधान के साथ ठोकर खाता है, तो कृपया इसे कम करने के लिए समय दें। मेरी समझ से कोई पैटर्न मिलान, पार्सिंग संयोजक, निष्कर्षण या बस स्ट्रिंग को विभाजित करके इस संदेश को पार्स कर सकता है। मैं इस तरह की समस्या को हल करने का सबसे अच्छा तरीका खोजने की कोशिश कर रहा हूं, क्योंकि एक परियोजना जिसमें मैं काम कर रहा हूं, में बहुत सारी प्राकृतिक भाषा पार्सिंग शामिल है, और मुझे अपना खुद का कस्टम पार्सिंग टूल लिखना है। मुझे स्कैला की अच्छी समझ मिल रही है, लेकिन कुछ भी विशेषज्ञ की सलाह नहीं मानता है।

यह समस्या को हल करने के बारे में नहीं है, यह इस प्रकार की समस्या को हल करने के लिए सबसे अच्छा (और उम्मीदवार सरलतम) संभव तरीका खोजने के बारे में है।

Answer 1

यह शायद सबसे खराब संभव समाधान है, और किसी भी तरह से स्केलेबल नहीं है, लेकिन जल्दी से सिर्फ छवि प्राप्त करने के बहुखण्डीय अनुरोध मैं निम्नलिखित (मेरा उत्तर अगर किसी को एक बेहतर जवाब देता है, मैं अचिह्नित करेंगे) किया था से डेटा:

// Take the request and split it into parts 
var requestParts = request.content.toString(UTF_8).split("\\Q--*****org.apache.cordova.formBoundary\\E") 
// Split the third part at the blank line 
val imageParts = requestParts(3).split("\\n\\s*\\n") 
// The part above the blank line is the header text 
val imageHeader = imageParts(0) 
// The part below the blank line is the image body 
val imageBodyString = imageParts(1) 

मैं बाद में इस पर सुधार करने की कोशिश करेंगे, लेकिन अब के लिए आगे पुश करने के लिए है। एक और दिन, एक और परियोजना: -o

Answer 2

मैं उत्सुक हूं कि वास्तव में आपका "उल्लेखनीय धीमा" कितना धीमा है। मैं निम्नलिखित सरल छोटे से समारोह में लिखा था नकली संदेशों उत्पन्न करने के लिए:

def generateFakeMessage(n: Int) = { 
    val rand = new scala.util.Random(1L) 
    val maxLines = 100 
    val maxLength = 100 

    (1 to n).map(i => 
    "--*****org.apache.cordova.formBoundary\n" + 
    "Content-Disposition: form-data; name=\"value%d\"\n\n".format(i) + 
    (0 to rand.nextInt(maxLines)).map(_ => 
     (0 to rand.nextInt(maxLength)).map(_ => rand.nextPrintableChar).mkString 
    ).mkString("\n") 
).mkString("\n") + "\n--*****org.apache.cordova.formBoundary--" 
} 

अगला मैं एक यथोचित बड़े संदेश बनाया परीक्षण के लिए उपयोग करने के लिए:

val data = generateFakeMessage(10000) 

यह पांच लाख लाइनों पर एक छोटे से युक्त समाप्त होता है। फिर मैंने आपकी नियमित अभिव्यक्ति की कोशिश की:

data.split("\\Q--*****org.apache.cordova.formBoundary\\E").size 

और यह तत्काल कम या कम लौटता है।आप शायद नियमित अभिव्यक्ति को थोड़ा सा ट्यून कर सकते हैं, और संदेश के आधार पर आपका डेटा Iterable[String] पर क्लीनर दृष्टिकोण का उपयोग कर सकता है, लेकिन मुझे नहीं लगता कि आपको हाथ से लुढ़कने से बेहतर प्रदर्शन करने जा रहे हैं एक बड़ी String पार्सिंग के लिए राज्य मशीन।

Answer 3

पहले सुझाव के लिए, this question दो सुझाव देता है, एक राज्य मशीन का उपयोग करके, और दूसरा पार्सर संयोजक का उपयोग करता है। मैं पार्सर combinators का उपयोग कर जवाब पर विशेष ध्यान देना होगा, क्योंकि यह इस तरह के पार्सर बनाने के लिए एक बहुत ही आसान तरीका प्रदान करते हैं। डैनियल के जवाब में दिए गए वाक्यविन्यास को आपकी स्थिति में बहुत आसानी से अनुकूलित करना चाहिए।

आगे, यदि आप की आवश्यकता हो तो आप अपने विशेष व्याकरण के लिए स्कैला में अधिक विशिष्ट मैपिंग प्रदान कर सकते हैं। कहाँ डैनियल है:

डीईएफ़ क्षेत्र = (FIELDNAME < ~ ":") ~ fieldBody < ~ CRLF ^^ {मामले नाम ~ शरीर => नाम -> शरीर}

आप इस जगह ले सकता है एकाधिक क्षेत्रों (contentType|contentDisposition|....) पर एक वैकल्पिक पैटर्न के साथ और इनमें से प्रत्येक को अलग-अलग अपने स्कैला ऑब्जेक्ट्स में मैप करें।

यहां अधिक विस्तृत समाधान लिखने का समय न मिलने के लिए क्षमा करें, लेकिन उम्मीद है कि आपको सही दिशा में इंगित करना चाहिए!

Answer 4

मुझे लगता है कि अपने समाधान:

data.split("\\Q--*****org.apache.cordova.formBoundary\\E") foreach println 

जो जटिलता में हे है (एन), सबसे अच्छा और सरल आप प्राप्त कर सकते है। जैसा कि ट्रैविस ने पहले कहा था, यह हेरफेर धीमा नहीं है। हमेशा एक मल्टीपार्ट HTTP फॉर्म के साथ, आपको इसे एक या दूसरे तरीके से पार्स करना होगा और ओ (एन) को बेहतर करना मुश्किल लगता है।

इसके अलावा, के रूप में split आप एक Iterable यह किसी भी मिलान, इलाज के लिए वास्तव में एकदम सही है प्रदान करता है ...