5
मैं एक चिंगारी 24X7 स्ट्रीमिंग और NetworkWordCount उदाहरण के मामले में की तरह गणना की ऐतिहासिक डेटा को बचाने के लिए समारोह updateStateByKey का उपयोग कर चला रहा हूँ ..स्पार्क स्ट्रीमिंग UpdateStateByKey
मैं 1 सेकंड नींद के साथ 3lac रिकॉर्ड के साथ एक फ़ाइल स्ट्रीम करने के लिए करने की कोशिश की कर रहा हूँ हर 1500 रिकॉर्ड के लिए। में काम आईडी अपवाद 1635 java.lang.ArrayIndexOutOfBoundsException: मैं 3 श्रमिकों
- अवधि updateStateByKey बढ़ रहा है से अधिक का उपयोग कर रहा है, तो कार्यक्रम निम्न अपवाद फेंकता
त्रुटि निर्वाहक 3
14/10/23 21:20:43 ERROR TaskSetManager: Task 29170.0:2 failed 1 times; aborting job
14/10/23 21:20:43 ERROR DiskBlockManager: Exception while deleting local spark dir: /var/folders/3j/9hjkw0890sx_qg9yvzlvg64cf5626b/T/spark-local-20141023204346-b232
java.io.IOException: Failed to delete: /var/folders/3j/9hjkw0890sx_qg9yvzlvg64cf5626b/T/spark-local-20141023204346-b232/24
14/10/23 21:20:43 ERROR Executor: Exception in task ID 8037
java.io.FileNotFoundException: /var/folders/3j/9hjkw0890sx_qg9yvzlvg64cf5626b/T/spark-local-20141023204346-b232/22/shuffle_81_0_1 (No such file or directory)
at java.io.FileOutputStream.open(Native Method)
इसे कैसे संभालें? मुझे लगता है कि अद्यतनस्टेटबीकी को समय-समय पर तेजी से बढ़ने के रूप में रीसेट किया जाना चाहिए, कृपया अपडेटस्टेटबीकी को कब और कैसे रीसेट करना है, इस बारे में कुछ उदाहरण साझा करें .. या मुझे कोई और समस्या है? कुछ रोशनी डालो।
किसी भी मदद की बहुत सराहना की जाती है। आपके समय के लिए धन्यवाद