SparkR त्रुटि (मास्टर = "स्थानीय") RStudio

Question

में मैं आर पुस्तकालय में स्पार्क वितरण से SparkR पैकेज स्थापित किया है। मैं निम्न आदेश कॉल कर सकते हैं और यह ठीक से काम करने लगता है: library(SparkR)

हालांकि, जब मैं निम्नलिखित कोड का उपयोग कर स्पार्क संदर्भ प्राप्त करने की कोशिश,

sc <- sparkR.init(master="local") 

यह निम्न संदेश के साथ कुछ समय के बाद विफल रहता है:

Error in sparkR.init(master = "local") : 
    JVM is not ready after 10 seconds 

मैं JAVA_HOME निर्धारित किया है, और मैं एक काम कर RStudio जहाँ मैं ggplot2 जैसे अन्य संकुल का उपयोग कर सकते है। मुझे नहीं पता कि यह क्यों काम नहीं कर रहा है, और मुझे यह भी पता नहीं है कि इस मुद्दे की जांच कहाँ करें।

Answer 1

मेरे पास एक ही समस्या थी और मेरी spark-submit.cmd फ़ाइल कमांड लाइन से निष्पादित नहीं हो रही थी। मेरे लिए निम्नलिखित कदम काम किए गए

अपने पर्यावरण चर पर जाएं और सिस्टम चर में परिवर्तनीय नाम पाथ चुनें। साथ साथ अन्य मूल्यों c:/Windows/System32/ अर्धविराम द्वारा अलग जोड़ें। इसने मेरी स्पार्क-submit.cmd कमांड लाइन से और अंततः Rstudio से चलाया।

मुझे एहसास हुआ है कि हमें उपर्युक्त समस्या केवल तभी मिलती है जब सभी आवश्यक पथ मान निर्दिष्ट नहीं होते हैं। सुनिश्चित करें कि आपके सभी पथ मान (आर, Rtools) पर्यावरण चर में निर्दिष्ट हैं। उदाहरण के लिए मेरा Rtools पथ c:\Rtools\bin;c:\Rtools\gcc-4.6.3\bin

मुझे उम्मीद है कि इससे मदद मिलती है।

Answer 2

निष्पादित अनुमतियां देने का प्रयास करें C: /sparkpath/bin/spark-submit.cmd। यह मेरे लिए काम किया।

Answer 3

मैं ठीक उसी त्रुटि संदेश मिला। में के रूप में मैं सफलतापूर्वक से पहले RStudio में SparkR चलाने मेरे मामले में, एक छोटा सा अलग है। लेकिन कुछ दिनों के बाद, यह अब और काम नहीं करता है।

शिवराम वेंकटरामन और प्रकाश पोन्शंकार्चिन्नुसामी के बीच रूपांतरण को देखकर, मुझे एहसास हुआ कि इसे चलने की अनुमति के साथ कुछ करना पड़ सकता है।

https://issues.apache.org/jira/browse/SPARK-8603

तो मैं क्या था, जो अंततः काम करता है, वह यह है कि, मैं चिंगारी tar.gz मेरी सेल्सियस तक अनज़िप:/फ़ोल्डर फिर से (पहले यह डी में रखा जाता है:/ड्राइव) और SparkR काम करता है! !!

screenshot of working RStudio

Answer 4

Hadoop स्पार्क के बाद स्थापित करने के बाद।

spark_path <- strsplit(system("brew info apache-spark",intern=T)[4],' ')[[1]][1] # Get your spark path .libPaths(c(file.path(spark_path,"libexec", "R", "lib"), .libPaths())) library(SparkR