RStudio

Question

में स्पार्कआर लॉन्च करने में असमर्थ स्पार्कआर की लंबी और कठिन स्थापना प्रक्रिया के बाद मुझे स्पार्कआर लॉन्च करने की नई समस्याएं मिल रही हैं।

मेरी सेटिंग्स

R 3.2.0  
RStudio 0.98.1103  
Rtools 3.3  
Spark 1.4.0 
Java Version 8 
SparkR 1.4.0 
Windows 7 SP 1 64 Bit 

अब मैं आर में निम्न कोड का उपयोग करने का प्रयास करें:

library(devtools) 
library(SparkR) 
Sys.setenv(SPARK_MEM="1g") 
Sys.setenv(SPARK_HOME="C:/spark-1.4.0") 
sc <- sparkR.init(master="local") 

मैं निम्नलिखित प्राप्त:

JVM is not ready after 10 seconds 

मैं भी कुछ प्रणाली चर जोड़ने की कोशिश कर रहा था स्पार्क पथ या जावा पथ की तरह।

क्या आपके पास उन समस्याओं को ठीक करने के लिए मेरे लिए कोई सलाह है।

स्थानीय होस्ट परीक्षण के बाद मेरे लिए अगले कदम मेरे चल Hadoop क्लस्टर पर परीक्षण शुरू करने के लिए किया जाएगा।

Answer 1

मुझे लगता है कि यह एक बग था जिसे अब हल किया गया है। साथ जावा का शुभारंभ,

Sys.setenv(SPARK_HOME="C:\\spark-1.4.0") 

.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths())) 

library("SparkR", lib.loc="C:\\spark-1.4.0\\lib") # The use of \\ is for windows environment. 

library(SparkR) 

sc=sparkR.init(master="local") 

निम्नलिखित का प्रयास करें C:\spark-1.4.0/bin/spark-submit.cmd sparkr-shell

C:\Users\Ashish\AppData\Local\Temp\RtmpWqFsOB\backend_portbdc329477c6

आशा इस मदद करता है चिंगारी से प्रस्तुत आदेश।

Answer 2

मैं एक ही मुद्दा था और मेरे spark-submit.cmd फ़ाइल भी कमांड लाइन से क्रियान्वित नहीं किया गया। निम्न चरणों को अपने वातावरण चर करने के लिए मुझे

जाओ के लिए काम किया है और प्रणाली चर में चर नाम पथ का चयन करें। अन्य मूल्यों के साथ-साथ अर्धविराम से अलग c:/Windows/System32/ जोड़ें। इसने मेरी स्पार्क-submit.cmd कमांड लाइन से और अंततः Rstudio से चलाया।

मैंने महसूस किया है कि हम केवल अगर सभी आवश्यक पथ मान निर्दिष्ट नहीं कर रहे हैं इसके बाद के संस्करण मुद्दा मिलता है। सुनिश्चित करें कि आपके सभी पथ मान (आर, Rtools) पर्यावरण चर में निर्दिष्ट हैं। मिसाल के तौर पर मेरी Rtools पथ c:\Rtools\bin;c:\Rtools\gcc-4.6.3\bin

था मुझे आशा है कि इस मदद करता है।

Answer 3

यह मेरे लिए काम नहीं करता है। अगर किसी को भी एक ही समस्या है, तो c: /sparkpath/bin/spark-submit.cmd को निष्पादित अनुमतियां देने का प्रयास करें।

Answer 4

मेरे पास एक ही समस्या थी। मैं कमांड लाइन में स्पार्कआर शुरू कर सकता हूं, लेकिन विंडोज़ में आरस्टूडियो में नहीं। और यहां समाधान मेरे लिए काम करता है।

1. इस समस्या को ठीक करने का प्रयास करते समय आपके द्वारा सेट किए गए सभी पथों को साफ़ करें। इसमें विंडो नियंत्रण कक्ष से आपके द्वारा सेट किए गए पथ शामिल हैं और SPARK_HOME को अनसेट करने के लिए Sys.unsetenv() का उपयोग करता है।

2. अपने RStudio डिफ़ॉल्ट() getwd का उपयोग कर RStudio में से निर्देशिका काम कर पता लगाना। और फिर इस निर्देशिका में एक .profile फ़ाइल बनाएँ। इस फ़ाइल में निम्न पंक्ति डालें: .libPaths ("सी: /Apache/Spark-1.5।1/आर/lib ")

3. विंडो नियंत्रण कक्ष-> सिस्टम-> उन्नत सिस्टम सेटिंग्स-> पर्यावरण चर, इसे"; सी: \ अपाचे \ स्पार्क-1.5.1 \ bin "के अंत में जोड़ें अपने exsiting पथ चर।

4. प्रारंभ RStudio, यदि आप .libPaths() टाइप करें, आप देख सकते हैं SparkR पुस्तकालय पथ

5. उपयोग पुस्तकालय (SparkR) लोड करने SparkR पुस्तकालय

पुस्तकालय रास्ते में पहले से ही है

6. एससी = स्पार्कआर.inआईटी (मास्टर = "स्थानीय")

मैंने स्पार्क 1.4.1 और 1.5.1 दोनों पर यह कोशिश की, वे दोनों ठीक काम करते हैं। मुझे आशा है कि इससे ऊपर दिए गए सभी सुझावों के बाद भी जो भी समस्या हो, उसकी मदद कर सके।

Answer 5

मुझे एक समान समस्या थी। मेरे मामले में समस्या हाइफ़न ('-') के साथ थी।
कोड को बदलने के द्वारा:

sc <- sparkR.init(master = "local[*]",sparkPackages = c("com.databricks:spark-csv_2.11-1.4.0")) 

रहे हैं:

sc <- sparkR.init(master = "local[*]",sparkPackages = c("com.databricks:spark-csv_2.11:1.4.0")) 

मेरे लिए काम किया। क्या आप परिवर्तन देखते हैं?

पी.एस .: \ lib फ़ोल्डर आपके SPARK_HOME में जार नकल करते

संपादित करें 1: इसके अलावा, जाँचें कि आप अपने "HADOOP_HOME"

आशा इस मदद करता है कॉन्फ़िगर किया है।

Answer 6

निम्न समाधान मैक ओएस के लिए काम करेगा।

स्पार्क के बाद हडोप स्थापित करने के बाद।

spark_path <- strsplit(system("brew info apache-spark",intern=T)[4],' ')[[1]][1] # Get your spark path .libPaths(c(file.path(spark_path,"libexec", "R", "lib"), .libPaths())) library(SparkR

Answer 7

मैं भी एक अलग कारण से, इस त्रुटि थी। हुड के तहत, स्पार्क

system2(sparkSubmitBin, combinedArgs, wait = F) 

कई गलत तरीके से गलत हो सकते हैं। मेरे मामले में अंतर्निहित त्रुटि (system2 को सीधे प्रयोग के रूप में कॉल करने तक अदृश्य) "" यूएनसी पथ समर्थित नहीं है। "मुझे आर स्टूडियो में अपनी निर्देशिका निर्देशिका को उस निर्देशिका में बदलना पड़ा जो नेटवर्क शेयर का हिस्सा नहीं था, और फिर यह काम करना शुरू कर दिया।