कई टुकड़ों में एक CSV फ़ाइल विभाजित और जावा कोड

Question

में समानांतर में उन टुकड़ों को पढ़ने मैं एक बहुत बड़ी CSV फ़ाइल (1GB +) है कैसे, यह 100,000 लाइन है।

मैं एक HTTP अनुरोध भेजने के लिए के लिए एक शरीर बनाने के लिए CSV फ़ाइल से प्रत्येक पंक्ति विभाजित करने एक जावा प्रोग्राम लिखने के लिए की जरूरत है।

दूसरे शब्दों में, मैं 100,000 HTTP अनुरोध जो CSV फ़ाइल में लाइनों के लिए इसी रहे हैं बाहर भेजने की जरूरत है। अगर मैं इन्हें एक थ्रेड में करता हूं तो यह बहुत लंबा होगा।

मैं 1,000 धागे बनाने के लिए मैं) CSV फ़ाइल से एक लाइन पढ़ते हैं, ii) एक HTTP अनुरोध जिनके शरीर पढ़ने लाइन का कन्टैंट शामिल है बनाते हैं, और iii) HTTP अनुरोध भेजने और प्रतिक्रिया प्राप्त करना चाहते हैं।

इस तरह, मैं सीएसवी 1,000 टुकड़ों में फ़ाइल विभाजित करने की आवश्यकता है, और उन टुकड़ों को एक-दूसरे में कोई ओवरलैप लाइनों होना चाहिए।

ऐसी विभाजन प्रक्रिया का सबसे अच्छा तरीका क्या है?

Answer 1

कई स्थानों पर एक एकल फाइल पढ़ना समवर्ती नहीं जाने देंगे आप किसी भी तेजी से जाना (लेकिन यह धीमी गति से कर सकता है आप काफी नीचे)।

इसके बजाय एक से अधिक थ्रेड से फ़ाइल को पढ़ने की, एक भी धागे से फ़ाइल को पढ़ने, और parallelize प्रसंस्करण इन पंक्तियों के। एक सिंगल थ्रेड को आपके सीएसवी लाइन-बाय-लाइन को पढ़ना चाहिए, और प्रत्येक पंक्ति को कतार में रखना चाहिए। कई काम करने वाले धागे को कतार से अगली पंक्ति लेनी चाहिए, इसे पार्स करें, अनुरोध में कनवर्ट करें, और आवश्यकतानुसार अनुरोध को संसाधित करें। काम की विभाजन तब एक धागे द्वारा की जाएगी, यह सुनिश्चित करने के लिए कि कोई लापता लाइनें या ओवरलैप नहीं हैं। एकल थ्रेड में

Answer 2

आप एक धागा जो सीएसवी की तर्ज पढ़ता है और लाइनों को पढ़ने की एक सूची बनाता है हो सकता है। जब यह कुछ सीमा तक पहुंचता है उदा। एक अनुरोध के रूप में भेजने के लिए इसे एक निश्चित आकार थ्रेड पूल में पास करने के लिए 100 लाइनें।

मैं जब तक आपके सर्वर 1000 कोर होने पर, आप पा सकते हैं कि 10-100 समवर्ती अनुरोधों का उपयोग कर तेजी से होता है संदेह है।

Answer 3

एक धागा लाइन द्वारा फ़ाइल लाइन पढ़ने है और हर पंक्ति पढ़ने के लिए, एक ExecutorService में एक कार्य पोस्ट हर एक के लिए HTTP अनुरोध करने के लिए।

n वें पंक्ति को पढ़ने के लिए, एकाधिक धागे से फ़ाइल को पढ़ने के लिए काम नहीं किया जा रहा है, आपको पहले सभी को पढ़ना होगा। (यह सिद्धांत रूप में काम कर सकता था यदि आपकी फ़ाइल निश्चित चौड़ाई रिकॉर्ड निहित है, लेकिन सीएसवी एक निश्चित चौड़ाई प्रारूप नहीं है।)

Answer 4

पढ़ें CSV फ़ाइल एक बार आप अपने Runnable Task की वस्तु का निर्माण करके पूल में Thread उपलब्ध से एक के लिए इस लाइन लाइन प्रतिनिधि मिलता है और यह Executors'ssubmit() को गुजरते हैं जो एसिंक्रोनस रूप से निष्पादित किया जाएगा।

public static void main(String[] args) throws IOException { 

     String fName = "C:\\Amit\\abc.csv"; 
     String thisLine; 
     FileInputStream fis = new FileInputStream(fName); 
     DataInputStream myInput = new DataInputStream(fis); 
     ExecutorService pool=Executors.newFixedThreadPool(1000); 
     int count = 0; // Concurrent request to Server barrier 

     while ((thisLine = myInput.readLine()) != null) { 
      if (count > 150) { 
       try { 
        Thread.sleep(100); 
        count = 0; 
       } catch (InterruptedException e) { 
        // TODO Auto-generated catch block 
        e.printStackTrace(); 
       } 
      } 

      pool.submit(new MyTask(thisLine)); 
      count++; 
     } 

    } 
} 

यहाँ अपने कार्य:

class MyTask implements Runnable { 
     private String lLine; 
     public MyTask(String line) { 
      this.lLine=line; 

     } 

     public void run() { 
      // 1) Create Request lLine 
      // 2) send the HTTP request out and receive response 
     } 
} 

Answer 5

जावा 8, जो इस महीने के प्रदर्शन की योजना है, समानांतर नदियों और lambdas के माध्यम से इस के लिए समर्थन में सुधार हुआ है जाएगा। समानांतर धाराओं पर ओरेकल का tutorial एक अच्छा प्रारंभिक बिंदु हो सकता है।

ध्यान दें कि यहां एक गड़बड़ी बहुत समानांतरता है।यूआरएल को पुनः प्राप्त करने के उदाहरण के लिए, कम संख्या में समांतर कॉल होने की संभावना है। बहुत ज्यादा समानांतरवाद केवल नहीं बैंडविड्थ और वेब साइट आप कनेक्ट कर रहे प्रभावित कर सकते हैं, लेकिन आप भी फ़ाइल वर्णनकर्ता, जो सबसे वातावरण जहां जावा रन में एक सख्ती से सीमित संसाधन है समाप्त हो रहा जोखिम होगा।

कुछ ढांचे जो आपकी मदद कर सकते हैं नेटफ्लिक्स 'RxJava और Akka हैं। ध्यान रखें कि ये ढांचे छोटे नहीं हैं और सीखने के लिए कुछ प्रयास करेंगे।