WARN snappy.LoadSnappy: Snappy देशी लाइब्रेरी लोड नहीं की गई

Question

जो कुछ भी मैं करता हूं, मैं इस त्रुटि से छुटकारा नहीं पा सकता हूं। मुझे पता है कि स्नैपी एक तेज़ है और इसलिए अन्य विकल्पों पर एक बेहतर संपीड़न/डिकंप्रेशन लाइब्रेरी है। मैं अपनी प्रसंस्करण के लिए इस पुस्तकालय का उपयोग करना चाहता हूं। जहां तक ​​मुझे पता है कि Google अपने बिगटेबल्स, मैपरेडस (मूल रूप से उनके सभी हत्यारा अनुप्रयोगों के लिए) के लिए आंतरिक रूप से इसका उपयोग करता है। मैंने खुद पर शोध किया। लोग इसका सुझाव नहीं देते हैं, या एक विकल्प के रूप में जावा-स्नैपी का उपयोग नहीं करते हैं, लेकिन मैं हडूप स्नैपी के साथ रहना चाहता हूं। मेरे पास मेरे सेटअप में संबंधित लाइब्रेरी है। (मेरा मतलब है lib के तहत)

क्या कोई इस त्रुटि को ठीक कर सकता है? मैं देखता हूं कि इस त्रुटि पर ध्यान दिए बिना नौकरियां सफलतापूर्वक की जाती हैं।

****hdfs://localhost:54310/user/hduser/gutenberg 
12/06/01 18:18:54 INFO input.FileInputFormat: Total input paths to process : 3 
12/06/01 18:18:54 INFO util.NativeCodeLoader: Loaded the native-hadoop library 
12/06/01 18:18:54 WARN snappy.LoadSnappy: Snappy native library not loaded 
12/06/01 18:18:54 INFO mapred.JobClient: Running job: job_201206011229_0008 
12/06/01 18:18:55 INFO mapred.JobClient: map 0% reduce 0% 
12/06/01 18:19:08 INFO mapred.JobClient: map 66% reduce 0% 
12/06/01 18:19:14 INFO mapred.JobClient: map 100% reduce 0% 
12/06/01 18:19:17 INFO mapred.JobClient: map 100% reduce 22% 
12/06/01 18:19:23 INFO mapred.JobClient: map 100% reduce 100% 
12/06/01 18:19:28 INFO mapred.JobClient: Job complete: job_201206011229_0008 
12/06/01 18:19:28 INFO mapred.JobClient: Counters: 29 
12/06/01 18:19:28 INFO mapred.JobClient: Job Counters 
12/06/01 18:19:28 INFO mapred.JobClient:  Launched reduce tasks=1 
12/06/01 18:19:28 INFO mapred.JobClient:  SLOTS_MILLIS_MAPS=22810 
12/06/01 18:19:28 INFO mapred.JobClient:  Total time spent by all reduces waiting after reserving slots (ms)=0 
12/06/01 18:19:28 INFO mapred.JobClient:  Total time spent by all maps waiting after reserving slots (ms)=0 
12/06/01 18:19:28 INFO mapred.JobClient:  Launched map tasks=3 
12/06/01 18:19:28 INFO mapred.JobClient:  Data-local map tasks=3 
12/06/01 18:19:28 INFO mapred.JobClient:  SLOTS_MILLIS_REDUCES=14345 
12/06/01 18:19:28 INFO mapred.JobClient: File Output Format Counters 
12/06/01 18:19:28 INFO mapred.JobClient:  Bytes Written=880838 
12/06/01 18:19:28 INFO mapred.JobClient: FileSystemCounters 
12/06/01 18:19:28 INFO mapred.JobClient:  FILE_BYTES_READ=2214849 
12/06/01 18:19:28 INFO mapred.JobClient:  HDFS_BYTES_READ=3671878 
12/06/01 18:19:28 INFO mapred.JobClient:  FILE_BYTES_WRITTEN=3775339 
12/06/01 18:19:28 INFO mapred.JobClient:  HDFS_BYTES_WRITTEN=880838 
12/06/01 18:19:28 INFO mapred.JobClient: File Input Format Counters 
12/06/01 18:19:28 INFO mapred.JobClient:  Bytes Read=3671517 
12/06/01 18:19:28 INFO mapred.JobClient: Map-Reduce Framework 
12/06/01 18:19:28 INFO mapred.JobClient:  Map output materialized bytes=1474341 
12/06/01 18:19:28 INFO mapred.JobClient:  Map input records=77932 
12/06/01 18:19:28 INFO mapred.JobClient:  Reduce shuffle bytes=1207328 
12/06/01 18:19:28 INFO mapred.JobClient:  Spilled Records=255962 
12/06/01 18:19:28 INFO mapred.JobClient:  Map output bytes=6076095 
12/06/01 18:19:28 INFO mapred.JobClient:  CPU time spent (ms)=12100 
12/06/01 18:19:28 INFO mapred.JobClient:  Total committed heap usage (bytes)=516882432 
12/06/01 18:19:28 INFO mapred.JobClient:  Combine input records=629172 
12/06/01 18:19:28 INFO mapred.JobClient:  SPLIT_RAW_BYTES=361 
12/06/01 18:19:28 INFO mapred.JobClient:  Reduce input records=102322 
12/06/01 18:19:28 INFO mapred.JobClient:  Reduce input groups=82335 
12/06/01 18:19:28 INFO mapred.JobClient:  Combine output records=102322 
12/06/01 18:19:28 INFO mapred.JobClient:  Physical memory (bytes) snapshot=605229056 
12/06/01 18:19:28 INFO mapred.JobClient:  Reduce output records=82335 
12/06/01 18:19:28 INFO mapred.JobClient:  Virtual memory (bytes) snapshot=2276663296 
12/06/01 18:19:28 INFO mapred.JobClient:  Map output records=629172 

पीएस .: वर्तमान में, मैं एक छोटे डेटासेट के साथ काम कर रहा हूं जहां तेजी से संपीड़न और डिकंप्रेशन वास्तव में कोई फर्क नहीं पड़ता। लेकिन एक बार मेरे पास वर्कफ़्लो काम करने के बाद, मैं इसे बड़े डेटासेट के साथ लोड करूंगा।

Answer 1

स्नैपी के लिए साझा लाइब्रेरी (.so) LD_LIBARAY_PATH/java.library.path पर स्थित नहीं है, तो आपको यह त्रुटि संदेश दिखाई देगा। यदि आपके पास सही स्थान पर लाइब्रेरी इंस्टॉल हैं तो आपको उपरोक्त त्रुटि संदेशों को नहीं देखना चाहिए।

यदि आपके पास हैसोप मूल lib (libhadoop.so) के समान फ़ोल्डर में .so स्थापित है, तो उपरोक्त 'त्रुटि' उस नोड से संबंधित हो सकती है, जिससे आप अपनी नौकरियां जमा कर रहे हैं (जैसा कि आप कहते हैं, आपका काम त्रुटि नहीं है और यह क्लाइंट पक्ष पर एक संदेश की तरह दिखता है)।

क्या आप अपनी नौकरी कॉन्फ़िगरेशन के कुछ विवरण साझा कर सकते हैं (जहां आप अपना आउटपुट प्रारूप कॉन्फ़िगर करते हैं, और संबंधित संपीड़न विकल्प)।