स्पार्कलर को रिमोट स्पार्क कनेक्शन से कनेक्ट करें

Question

मैं अपने स्थानीय डेस्कटॉप RStudio सत्र को स्पार्कलीर के माध्यम से रिमोट स्पार्क सत्र में कनेक्ट करना चाहता हूं। जब आप RStudio में स्पार्कलीर ui टैब में एक नया कनेक्शन जोड़ने के लिए जाते हैं और क्लस्टर चुनते हैं तो कहता है कि आपको क्लस्टर पर चलना होगा, या क्लस्टर के लिए उच्च बैंडविड्थ कनेक्शन होना चाहिए।

क्या कोई इस तरह के कनेक्शन को बनाने के तरीके पर प्रकाश डाल सकता है? मुझे यकीन है कि इस की प्रतिलिपि प्रस्तुत करने योग्य उदाहरण बनाने का तरीका नहीं हूँ, लेकिन सामान्य रूप में मुझे क्या करना चाहते हैं:

library(sparklyr) 
sc <- spark_connect(master = "spark://ip-[MY_PRIVATE_IP]:7077", spark_home = "/home/ubuntu/spark-2.0.0", version="2.0.0") 

एक दूरस्थ सर्वर से

। मैं समझता हूं कि विलंबता होगी, खासकर यदि रिमोट के बीच डेटा पास करने का प्रयास कर रहे हैं। मैं यह भी समझता हूं कि वास्तविक क्लस्टर पर rstudio-server होना बेहतर होगा- लेकिन यह हमेशा संभव नहीं होता है, और मैं अपने सर्वर और मेरे डेस्कटॉप RStudio सत्र के बीच बातचीत के लिए स्पार्कलीर विकल्प की तलाश में हूं। धन्यवाद।

Answer 1

sparklyr संस्करण 0.4 के रूप में, यह RStudio डेस्कटॉप से ​​रिमोट स्पार्क क्लस्टर से कनेक्ट करने के लिए असमर्थित है। इसके बजाए, जैसा कि आप उल्लेख करते हैं, स्पार्क क्लस्टर के भीतर RStudio सर्वर स्थापित करने के लिए अनुशंसित दृष्टिकोण है।

उस ने कहा, livy branch स्पार्कलीर में लिवी के साथ एकीकरण की खोज कर रहा है जो RStudio डेस्कटॉप को Livy के माध्यम से रिमोट स्पार्क क्लस्टर से कनेक्ट करने में सक्षम करेगा।