क्या डेटा

Question

की प्रतिलिपि किए बिना हाइव टेबल में डेटा आयात करना संभव है मेरे पास एचडीएफएस में टेक्स्ट के रूप में संग्रहीत लॉग फ़ाइलें हैं। जब मैं लॉग फ़ाइलों को एक हाइव टेबल में लोड करता हूं, तो सभी फ़ाइलों की प्रतिलिपि बनाई जाती है।

क्या मैं अपने सभी टेक्स्ट डेटा को दो बार संग्रहीत करने से बच सकता हूं?

संपादित करें: मैं इसे निम्न आदेश के माध्यम से लोड

LOAD DATA INPATH '/user/logs/mylogfile' INTO TABLE `sandbox.test` PARTITION (day='20130221') 

फिर, मैं में ठीक उसी फ़ाइल पा सकते हैं:

/user/hive/warehouse/sandbox.db/test/day=20130220 

मैं इसे कॉपी किया गया था ग्रहण किया।

Answer 1

उपयोग एक बाहरी तालिका:

CREATE EXTERNAL TABLE sandbox.test(id BIGINT, name STRING) ROW FORMAT 
       DELIMITED FIELDS TERMINATED BY ',' 
       LINES TERMINATED BY '\n' 
       STORED AS TEXTFILE 
       LOCATION '/user/logs/'; 

आप एक बाहरी तालिका के साथ विभाजन उपयोग करना चाहते हैं, आप विभाजन निर्देशिका के प्रबंधन के लिए जिम्मेदार होगा। निर्दिष्ट स्थान एक hdfs निर्देशिका होना चाहिए ..

यदि आप बाहरी तालिका छिद्र छोड़ते हैं तो स्रोत डेटा को मिटा नहीं पाएंगे। यदि आप अपनी कच्ची फाइलों को प्रबंधित करना चाहते हैं, बाहरी टेबल का उपयोग करना चाहते हैं। यदि आप इसे करने के लिए छिद्र चाहते हैं, तो अपने गोदाम पथ के अंदर चलो हाइव स्टोर करें।

Answer 2

मैं कह सकता हूं, अपने जावा एप्लिकेशन द्वारा डेटा को सीधे एचडीएफएस में कॉपी करने के बजाय, उन फाइलों को स्थानीय फाइल सिस्टम में रखें, और उन्हें निम्न आदेश का उपयोग करके एचआईएफएफ में आयात करें।

LOAD DATA LOCAL INPATH '/your/local/filesystem/file.csv' INTO TABLE `sandbox.test` PARTITION (day='20130221') 

सूचना LOCAL

Answer 3

आप डेटा डुप्लिकेशन से बचने के लिए तालिका विभाजन कथन का उपयोग कर सकते हैं।

create External table if not exists TestTable (testcol string) PARTITIONED BY (year INT,month INT,day INT) row format delimited fields terminated by ','; 

ALTER table TestTable partition (year='2014',month='2',day='17') location 'hdfs://localhost:8020/data/2014/2/17/'; 

Answer 4

हाइव (वास्तविक क्लस्टर मोड में चलने पर कम से कम) स्थानीय फाइल सिस्टम में बाहरी फ़ाइलों का संदर्भ नहीं दे सकता है। हाइव टेबल निर्माण या लोड ऑपरेशन के दौरान फ़ाइलों को स्वचालित रूप से आयात कर सकता है। इसका कारण यह हो सकता है कि हाइव डेटा निकालने के लिए आंतरिक रूप से MapReduce नौकरियां चलाता है। MapReduce एचडीएफएस से पढ़ता है और साथ ही एचडीएफएस को लिखता है और यहां तक ​​कि वितरित मोड में भी चलता है। इसलिए यदि फ़ाइल स्थानीय फाइल सिस्टम में संग्रहीत है, तो इसका उपयोग वितरित बुनियादी ढांचे द्वारा नहीं किया जा सकता है।