पीआईजी स्क्रिप्ट स्थानीय और मानचित्र पर चलने के बीच वास्तविक अंतर क्या है? मैं समझता हूं कि मैप्रिडस मोड तब होता है जब आप इसे क्लस्टर पर चलाते हैं जिसमें hdfs स्थापित है। क्या इसका मतलब है कि स्थानीय मोड को एचडीएफएस की आवश्यकता नहीं है और इसलिए मैड्रिडिस नौकरियां भी ट्रिगर नहीं होती हैं? क्या अंतर है और आप दूसरे कब करते हैं?पीआईजी स्थानीय और मैप्रिडस मोड के बीच अंतर
उत्तर
स्थानीय मोड डिस्क पर स्थानीय फ़ाइल से चल रहे एक अनुरूपित मैप्रिडस नौकरी का निर्माण करेगा। सिद्धांत में मैड्रिडस के समतुल्य है, लेकिन यह एक "वास्तविक" एमआर नौकरी नहीं है। आपको उपयोगकर्ता परिप्रेक्ष्य से अंतर बताने में सक्षम नहीं होना चाहिए।
स्थानीय मोड विकास के लिए बहुत अच्छा है।
स्थानीय मोड: सभी स्क्रिप्ट एक ही मशीन पर चलती हैं बिना हडोप मैपराइडस और एचडीएफएस की आवश्यकता होती है। यह सुअर तर्क के विकास और परीक्षण के लिए उपयोगी हो सकता है। यदि आप डेवलपर को डेटा का एक छोटा सा सेट उपयोग कर रहे हैं या अपने कोड का परीक्षण कर रहे हैं, तो मैपरेडस इंफ्रास्ट्रक्चर के माध्यम से जाने से स्थानीय मोड तेज हो सकता है।
स्थानीय मोड को हडोप की आवश्यकता नहीं है। जब आप स्थानीय मोड में चलाते हैं, तो पिग प्रोग्राम स्थानीय जावा वर्चुअल मशीन के संदर्भ में चलता है, और डेटा एक्सेस एक मशीन की स्थानीय फाइल सिस्टम के माध्यम से होती है। स्थानीय मोड वास्तव में हैडोप के स्थानीय जोबरुनर क्लास में मैपरेडस का स्थानीय सिमुलेशन है।
मैपरेडस मोड (जिसे हडोप मोड भी कहा जाता है): हगॉप क्लस्टर पर पिग निष्पादित किया जाता है। इस मामले में, पिग स्क्रिप्ट को मैड्रिडस नौकरियों की एक श्रृंखला में परिवर्तित कर दिया जाता है जो तब हडोप क्लस्टर पर चलाए जाते हैं।
आप डेटा है कि आप पर कार्रवाई करने के लिए चाहते हैं की एक टेराबाइट है और आप सहभागी एक कार्यक्रम विकसित करना चाहते हैं, तो आप जल्दी ही काफी धीमा मिल सकता है, और आप अपने भंडारण बढ़ रही शुरू कर सकते हैं। स्थानीय मोड आपको अपने डेटा के एक सबसेट के साथ अधिक इंटरैक्टिव तरीके से काम करने की अनुमति देता है ताकि आप अपने पिग प्रोग्राम के तर्क (और बग का काम कर सकें) को समझ सकें।
जब आप उन्हें चाहते हैं तो चीजों को स्थापित करने के बाद और आपके ऑपरेशन सुचारू रूप से चल रहे हैं, तो आप मैपरेडस मोड का उपयोग कर पूर्ण डेटा सेट के खिलाफ स्क्रिप्ट चला सकते हैं।
- 1. पीआईजी
- 2. कीबोर्ड नेविगेशन मोड युक्त और चक्र के बीच अंतर?
- 3. कर्नेल और उपयोगकर्ता मोड प्रोग्रामिंग के बीच क्या अंतर है?
- 4. क्या (स्थानीय), '।' के बीच कोई अंतर है और लोकहोस्ट?
- 5. "jta-datasource" और "संसाधन-स्थानीय" डेटास्रोत के बीच अंतर?
- 6. सदस्य चर और स्थानीय चर के बीच क्या अंतर है?
- 7. प्रोजेक्ट संसाधन और स्थानीय संसाधन छवियों के बीच अंतर
- 8. पायथन में डीआईआर() और स्थानीय() के बीच कोई अंतर?
- 9. जेटीए और स्थानीय लेनदेन के बीच क्या अंतर है?
- 10. स्थानीय नाम और qname के बीच क्या अंतर है?
- 11. "। +" और "। +?" के बीच अंतर
- 12. डमीज के लिए मैप्रिडस
- 13. पीआईजी यूडीएफ
- 14. स्लीप मोड और दीप नींद मोड के बीच क्या अंतर है?
- 15. विजुअल स्टूडियो 2010 में डीबग मोड और रिलीज मोड के बीच क्या अंतर है?
- 16. आईई में 'quirks मोड' और 'संगतता मोड' के बीच क्या अंतर है?
- 17. रैक-स्थानीय मानचित्र कार्यों और डेटा-स्थानीय मानचित्र कार्यों के बीच क्या अंतर है?
- 18. अपाचे आइवी: स्थानीय आइवी कैश और स्थानीय भंडार के बीच अंतर
- 19. AJAX के बीच अंतर और
- 20. CMake: $ {} और के बीच अंतर "$ {}"
- 21. ऑब्जेक्ट और * के बीच अंतर?
- 22. $ के बीच अंतर? और PowerShell
- 23. == और मामले के बीच अंतर?
- 24. "या" और "||" के बीच अंतर
- 25. वीबीए: और + के बीच अंतर
- 26. smtpClient.send() और smtpClient.SendAsync() के बीच अंतर?
- 27. एमवीवीएम में व्यू मोड और एडिट मोड के बीच स्विचिंग?
- 28. कर्नेल-मोड और उपयोगकर्ता-मोड अनुप्रयोग के बीच संचार
- 29. इन मैट्रिक्स मोड के बीच क्या अंतर है?
- 30. स्ट्रीमिंग और लाइव स्ट्रीमिंग के बीच अंतर?
ध्यान देने योग्य एक बात यह है कि स्थानीय मोड में काउंटर के लिए कोई समर्थन नहीं है, लेकिन यह हडोप मानचित्र/सूअर के बजाय कम करने के कारण है। – cyang