1. घर
  2. सवाल और जवाब
  3. कनेक्शन

कनेक्शन

2015-06-17 5 views
6

क्यों समाप्त हो रहा है मैं 70 मिलियन पंक्तियों और 25 संख्यात्मक सुविधाओं वाले प्रशिक्षण सेट पर H2O लाइब्रेरी का उपयोग कर यादृच्छिक वन वर्गीकरण मॉडल का प्रयास कर रहा हूं। कुल फ़ाइल का आकार 5.6 जीबी है।कनेक्शन

सत्यापन फ़ाइल का आकार 1 जीबी है।

मेरे सिस्टम पर 16 जीबी रैम और 8 कोर सीपीयू है।

सिस्टम एच ​​2 ओ ऑब्जेक्ट में दोनों फ़ाइलों को सफलतापूर्वक पढ़ने में सक्षम है।

तब मैं आदेश नीचे दे रहा हूँ मॉडल बनाने के लिए:

model <- h2o.randomForest(x = c(1:18,20:25), y = 19, training_frame = traindata, 
          validation_frame = testdata, ntrees = 150, mtries = 6)

लेकिन कुछ ही मिनटों (किसी भी पेड़ पैदा करने के बिना) के बाद, मुझे निम्न त्रुटि हो रही है:

"Error in .h2o.doSafeREST(conn = conn, h2oRestApiVersion = h2oRestApiVersion, : Unexpected CURL error: Recv failure: Connection reset by peer"

हालांकि अगर मैंने कोड के ऊपर 1 पेड़ के साथ कोशिश की, यह सफलतापूर्वक चल रहा है।

क्या स्मृति समस्या के कारण उपरोक्त त्रुटि उत्पन्न हो रही है? किसी भी तरह की सहायता को आभार समझेंगे।

स्रोत

2015-06-17 rks

उत्तर

3

शायद आप स्मृति से बाहर हैं। वन बढ़ने के दौरान सिस्टम के स्मृति उपयोग को देखने का प्रयास करें। एच 2 ओ वेब कंसोल से सीधे प्रशिक्षण लॉन्च करने का प्रयास करें (डिफ़ॉल्ट रूप से http://localhost:54321/), हो सकता है कि यह अधिक विस्तृत त्रुटि दे।

स्रोत

2015-06-17 06:02:35 cyberj0g

+0

मैंने वन बढ़ने के दौरान स्मृति उपयोग की जांच की है। स्मृति तेजी से नीचे चला जाता है और आखिरकार मुझे कनेक्शन त्रुटि मिलती है। मैं अन्य प्रक्रिया को मार दूंगा, और केवल आरएफ अलगो चलाऊंगा। – rks

+0

हमें बताएं कि क्या इससे मदद मिली है। वैकल्पिक रूप से, आप कम संसाधन मांग वाले एमएल दृष्टिकोण जैसे गहरे तंत्रिका नेटवर्क की कोशिश कर सकते हैं, जो एच 2 ओ बेस संस्करण में भी मौजूद है। – cyberj0g

+1

यह मेरी गलती थी। पहले मैं डिफ़ॉल्ट स्मृति विकल्प के साथ एच 2 ओ इंस्टेंस चला रहा था (यह मेरे डेटा के लिए बहुत कम था)। अब मैं -Xmx14g विकल्प के साथ H2O इंस्टेंस चला रहा हूं और अलगो सफलतापूर्वक चल रहा है। चीयर्स ... :)। अगर मैं अपने मामले में थ्रेसहोल्ड से कम सटीकता प्राप्त करूंगा तो मैं गहरी शिक्षा के आपके सुझाव पर विचार करूंगा। – rks

2

इसका एक आउटऑफमेरी एरर है। आर पक्ष पर यह त्रुटि संदेश के एक बदलाव है:

Error in .h2o.doSafeREST(conn = conn, h2oRestApiVersion = h2oRestApiVersion, : 
    Unexpected CURL error: Empty reply from server

जाँच हो रही है H2O सर्वर लॉग, जो आप के साथ-साथ करना चाहिए, आपको बता देंगे:

10-08 20:11:57.165 192.168.0.4:54321  2125 #58072-18 INFO: Total file size: 1.81 GB 
10-08 20:11:57.165 192.168.0.4:54321  2125 #58072-18 INFO: Parse chunk size 4194304 
     onExCompletion for [email protected] 
     java.lang.OutOfMemoryError: Java heap space 
: 
: 
Exception in thread "FJ-0-11" java.lang.OutOfMemoryError: Java heap space 
2015-10-08 20:13:14.493:WARN:oejut.QueuedThreadPool:1 threads could not be stopped 
10-08 20:13:23.033 192.168.0.4:54321  2125 FJ-0-5 ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321 
10-08 20:13:23.458 192.168.0.4:54321  2125 FJ-0-3 ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321 
10-08 20:13:23.033 192.168.0.4:54321  2125 FJ-0-13 ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321 
10-08 20:13:23.033 192.168.0.4:54321  2125 FJ-0-7 ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321 
10-08 20:13:26.541 192.168.0.4:54321  2125 FJ-0-5 FATAL: Exiting. 
10-08 20:13:26.574 192.168.0.4:54321  2125 FJ-0-7 FATAL: Exiting. 
10-08 20:13:26.575 192.168.0.4:54321  2125 FJ-0-3 FATAL: Exiting. 
10-08 20:13:26.575 192.168.0.4:54321  2125 FJ-0-13 FATAL: Exiting.

मैं H2O स्लेटर पर इस चला रहा हूँ (3.2.0.5), तो आपके संस्करण के आधार पर, यह भिन्न हो सकता है।

स्रोत

2015-10-09 03:26:14 Kingz

संबंधित मुद्दे

 संबंधित मुद्दे