2012-07-26 6 views
8

पीआईजी स्क्रिप्ट स्थानीय और मानचित्र पर चलने के बीच वास्तविक अंतर क्या है? मैं समझता हूं कि मैप्रिडस मोड तब होता है जब आप इसे क्लस्टर पर चलाते हैं जिसमें hdfs स्थापित है। क्या इसका मतलब है कि स्थानीय मोड को एचडीएफएस की आवश्यकता नहीं है और इसलिए मैड्रिडिस नौकरियां भी ट्रिगर नहीं होती हैं? क्या अंतर है और आप दूसरे कब करते हैं?पीआईजी स्थानीय और मैप्रिडस मोड के बीच अंतर

उत्तर

8

स्थानीय मोड डिस्क पर स्थानीय फ़ाइल से चल रहे एक अनुरूपित मैप्रिडस नौकरी का निर्माण करेगा। सिद्धांत में मैड्रिडस के समतुल्य है, लेकिन यह एक "वास्तविक" एमआर नौकरी नहीं है। आपको उपयोगकर्ता परिप्रेक्ष्य से अंतर बताने में सक्षम नहीं होना चाहिए।

स्थानीय मोड विकास के लिए बहुत अच्छा है।

+1

ध्यान देने योग्य एक बात यह है कि स्थानीय मोड में काउंटर के लिए कोई समर्थन नहीं है, लेकिन यह हडोप मानचित्र/सूअर के बजाय कम करने के कारण है। – cyang

6

स्थानीय मोड: सभी स्क्रिप्ट एक ही मशीन पर चलती हैं बिना हडोप मैपराइडस और एचडीएफएस की आवश्यकता होती है। यह सुअर तर्क के विकास और परीक्षण के लिए उपयोगी हो सकता है। यदि आप डेवलपर को डेटा का एक छोटा सा सेट उपयोग कर रहे हैं या अपने कोड का परीक्षण कर रहे हैं, तो मैपरेडस इंफ्रास्ट्रक्चर के माध्यम से जाने से स्थानीय मोड तेज हो सकता है।

स्थानीय मोड को हडोप की आवश्यकता नहीं है। जब आप स्थानीय मोड में चलाते हैं, तो पिग प्रोग्राम स्थानीय जावा वर्चुअल मशीन के संदर्भ में चलता है, और डेटा एक्सेस एक मशीन की स्थानीय फाइल सिस्टम के माध्यम से होती है। स्थानीय मोड वास्तव में हैडोप के स्थानीय जोबरुनर क्लास में मैपरेडस का स्थानीय सिमुलेशन है।

मैपरेडस मोड (जिसे हडोप मोड भी कहा जाता है): हगॉप क्लस्टर पर पिग निष्पादित किया जाता है। इस मामले में, पिग स्क्रिप्ट को मैड्रिडस नौकरियों की एक श्रृंखला में परिवर्तित कर दिया जाता है जो तब हडोप क्लस्टर पर चलाए जाते हैं। LOcal and Distributed mode of pig

आप डेटा है कि आप पर कार्रवाई करने के लिए चाहते हैं की एक टेराबाइट है और आप सहभागी एक कार्यक्रम विकसित करना चाहते हैं, तो आप जल्दी ही काफी धीमा मिल सकता है, और आप अपने भंडारण बढ़ रही शुरू कर सकते हैं। स्थानीय मोड आपको अपने डेटा के एक सबसेट के साथ अधिक इंटरैक्टिव तरीके से काम करने की अनुमति देता है ताकि आप अपने पिग प्रोग्राम के तर्क (और बग का काम कर सकें) को समझ सकें।

जब आप उन्हें चाहते हैं तो चीजों को स्थापित करने के बाद और आपके ऑपरेशन सुचारू रूप से चल रहे हैं, तो आप मैपरेडस मोड का उपयोग कर पूर्ण डेटा सेट के खिलाफ स्क्रिप्ट चला सकते हैं।

संबंधित मुद्दे