2014-05-20 7 views
5

में वितरित कैश के बारे में भ्रम वास्तव में वितरित कैश का क्या अर्थ है? वितरित कैश में एक फ़ाइल होने का मतलब है कि यह प्रत्येक डेटानोड में उपलब्ध है और इसलिए उस डेटा के लिए कोई इंटर्नोड संचार नहीं होगा, या इसका मतलब यह है कि फ़ाइल प्रत्येक नोड में स्मृति में है? यदि नहीं, तो मेरे पास पूरी नौकरी के लिए स्मृति में फ़ाइल का क्या अर्थ हो सकता है? क्या यह नक्शा-कम करने के साथ-साथ यूडीएफ के लिए भी किया जा सकता है ..हडोप

(विशेष रूप से कुछ कॉन्फ़िगरेशन डेटा है, तुलनात्मक रूप से छोटा है कि मैं स्मृति में रखना चाहता हूं क्योंकि यूडीएफ हाइव क्वेरी पर लागू होता है .. ।)

धन्यवाद और सम्मान, ध्रुव कपूर।

उत्तर

17

वितरित कैश मैप-रेड्यूस फ्रेमवर्क द्वारा प्रदान की गई एक सुविधा है जो अनुप्रयोगों द्वारा आवश्यक फ़ाइलों को कैश करने के लिए प्रदान की जाती है। एक बार जब आप अपनी नौकरी के लिए फाइल कैश करते हैं, तो हैडऑप फ्रेमवर्क इसे प्रत्येक डेटा नोड्स (फाइल सिस्टम में, स्मृति में नहीं) पर उपलब्ध कराएगा जहां आप कार्य को मैप/कम कर रहे हैं। फिर आप कैश फ़ाइल को अपने मैपर या रेड्यूसर जॉब में स्थानीय फ़ाइल के रूप में एक्सेस कर सकते हैं। अब आप आसानी से कैश फ़ाइल को पढ़ सकते हैं और अपने कोड में कुछ संग्रह (जैसे ऐरे, हैशमैप इत्यादि) को पॉप्युलेट कर सकते हैं।

देखें https://hadoop.apache.org/docs/r2.2.0/api/org/apache/hadoop/filecache/DistributedCache.html

मुझे पता है फिर भी आप कुछ प्रश्न हैं, तो करते हैं।

आप अपने यूडीएफ कोड में स्थानीय फ़ाइल के रूप में कैश फ़ाइल को पढ़ सकते हैं। जावा एपीआई का उपयोग कर फ़ाइल पढ़ने के बाद बस किसी भी संग्रह (स्मृति में) को पॉप्युलेट करें।

refere यूआरएल http://www.lichun.cc/blog/2013/06/use-a-lookup-hashmap-in-hive-script/

-Ashish

+0

अरे उत्तर के लिए धन्यवाद ... तो मैं के बारे में कब और कैसे हम स्मृति में वितरित कैश से कुछ रखूँ अधिक चिंतित हूँ? हाइव के मामले में, मुझे यूडीएफ के अंदर वितरित कैश में इस फ़ाइल तक पहुंच की आवश्यकता होगी। मैं इसे वहां कैसे प्राप्त करूं? मुझे एक यूडीएफ अधिकार के अंदर से एक एचडीएफएस फ़ाइल नहीं पढ़नी चाहिए? –

+0

मैंने पोस्ट को संशोधित किया है। बस उल्लिखित यूआरएल देखें। – Ashish

+0

वही है जो मैं खोज रहा हूं। धन्यवाद! यदि मैं यूडीएफ के अंदर का नक्शा केवल एक बार या नहीं आ रहा हूं, तो भी मैं थोड़ा चिंतित हूं। क्या इसका समर्थन करने वाले छिद्र के कुछ दस्तावेज हैं, या किसी तरीके से मैं इस व्यवहार को सत्यापित कर सकता हूं? –

संबंधित मुद्दे