पर त्रुटि लिखने के लिए मैंने इस विषय पर कुछ अन्य पोस्ट देखी हैं, और कोई भी समस्या मेरे जैसा नहीं है । लेकिन यहाँ जाता है:
मैं समानांतर में एक समारोह
cores <- detectCores() cl <- makeCluster(8L,outfile="output.txt") registerDoParallel(cl) x <- foreach(i = 1:length(y), .combine='list',.packages=c('httr','jsonlite'), .multicombine=TRUE,.verbose=F,.inorder=F) %dopar% {function(y[i])}
इस बार ठीक काम करता है, लेकिन अब त्रुटि फेंक रहा है का उपयोग कर चल रहा हूँ:
Error in serialize(data, node$con) : error writing to connection
उत्पादन की परीक्षा पर .txt फ़ाइल मैं देखता हूं:
starting worker pid=11112 on localhost:11828 at 12:38:32.867
starting worker pid=10468 on localhost:11828 at 12:38:33.389
starting worker pid=4996 on localhost:11828 at 12:38:33.912
starting worker pid=3300 on localhost:11828 at 12:38:34.422
starting worker pid=10808 on localhost:11828 at 12:38:34.937
starting worker pid=5840 on localhost:11828 at 12:38:35.435
starting worker pid=8764 on localhost:11828 at 12:38:35.940
starting worker pid=7384 on localhost:11828 at 12:38:36.448
Error in unserialize(node$con) : embedded nul in string: '\0\0\0\006SYMBOL\0\004\0\t\0\0\0\003')'\0\004\0\t\0\0\0\004expr\0\004\0\t\0\0\0\004expr\0\004\0\t\0\0\0\003','\0\004\0\t\0\0\0\024SYMBOL_FUN'
Calls: <Anonymous> ... doTryCatch -> recvData -> recvData.SOCKnode -
unserialize
Execution halted
यह त्रुटि मैं एस intermittent। मेमोरी भरपूर है (32 जीबी), और कोई अन्य बड़ी आर वस्तुओं स्मृति में हैं। समांतर कोड में फ़ंक्शन क्लाउड से कई छोटी जेसन डेटा ऑब्जेक्ट्स को पुनर्प्राप्त करता है और उन्हें एक आर ऑब्जेक्ट में डाल देता है - इसलिए कोई बड़ी डेटा फ़ाइलें नहीं हैं। मुझे नहीं पता कि यह कभी-कभी एम्बेडेड नल और स्टॉप क्यों देखता है।
मुझे एक ऐसे फ़ंक्शन के साथ एक ही समस्या है जो क्लाउड से सीएसवी फ़ाइलों को खींचती है। दोनों कार्य अब तक 3.35 और आर 3.4.0 के तहत ठीक काम करते हैं।
मैं विंडोज पर आर 3.4.1 और RStudio 1.0.143 का उपयोग कर रहा हूं।
Error in unserialize(node$con) : ReadItem: unknown type 100, perhaps written by later version of R
एम्बेडेड नुल त्रुटि गायब हो गई है लगता है:
यहाँ मेरी sessionInfo
sessionInfo()
R version 3.4.1 (2017-06-30)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows 7 x64 (build 7601) Service Pack 1
Matrix products: default
locale:
[1] LC_COLLATE=English_United States.1252 LC_CTYPE=English_United
States.1252 LC_MONETARY=English_United States.1252
[4] LC_NUMERIC=C LC_TIME=English_United States.1252
attached base packages:
[1] parallel stats graphics grDevices utils datasets methods base
other attached packages:
[1] RJSONIO_1.3-0 RcppBDT_0.2.3 zoo_1.8-0 data.table_1.10.4
doParallel_1.0.10 iterators_1.0.8
[7] RQuantLib_0.4.2 foreach_1.4.3 httr_1.2.1
loaded via a namespace (and not attached):
[1] Rcpp_0.12.12 lattice_0.20-35 codetools_0.2-15 grid_3.4.1
R6_2.2.2 jsonlite_1.5 tools_3.4.1
[8] compiler_3.4.1
अद्यतन
अब मैं एक और इसी तरह त्रुटि मिलती है। मैंने हटाने की भी कोशिश की है। इतिहास और रैडाटा और मेरे पैकेज सबफ़ोल्डर को हटाकर और सभी पैकाकेज को फिर से लोड करना। कम से कम यह नई त्रुटि सुसंगत लगती है। मुझे नहीं पता कि "अज्ञात प्रकार 100" क्या है।
हो सकता है कि आपके पास क्लस्टर पर निर्यात किए जाने वाले आपके पर्यावरण में बड़ी वस्तुएं हों? इस फ़ोरैच कॉल को अपने स्वयं के फ़ंक्शन में डालने का प्रयास करें। –
यह समस्या नहीं प्रतीत होता है - मैंने वास्तव में पर्यावरण में सभी अपरिपक्व वस्तुओं को हटा दिया। – user2642948
क्या आप समस्या को 'फ़ंक्शन' के साथ पुन: पेश कर सकते हैं जिसे आप हमें दे सकते हैं? –