2012-06-22 13 views
6

मैं Nutch का उपयोग शुरू कर दिया है और सब कुछ ठीक था, जब तक मैं एक IOException अपवाद का सामना करना पड़ा,Nutch का उपयोग कर ... क्रॉलिंग एक IOException शो

$ ./nutch crawl urls -dir myCrawl -depth 2 -topN 4 
cygpath: can't convert empty path 
solrUrl is not set, indexing will be skipped... 
crawl started in: myCrawl 
rootUrlDir = urls 
threads = 10 
depth = 2 
solrUrl=null 
topN = 4 
Injector: starting at 2012-06-23 03:37:51 
Injector: crawlDb: myCrawl/crawldb 
Injector: urlDir: urls 
Injector: Converting injected urls to crawl db entries. 
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Rahul\mapred\staging\Rahul255889423\.staging to 0700 
    at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682) 
    at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:655) 
    at  org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509) 
    at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344) 
    at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:189) 
    at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:116) 
    at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:856) 
    at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:850) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:415) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1083) 
    at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:850) 
    at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:824) 
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1261) 
    at org.apache.nutch.crawl.Injector.inject(Injector.java:217) 
    at org.apache.nutch.crawl.Crawl.run(Crawl.java:127) 
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 
    at org.apache.nutch.crawl.Crawl.main(Crawl.java:55) 

@jeffery --- मैं डाउनग्रेड मेरी Nutch संस्करण n एक नई समस्या है, जो समझने के लिए .... Plzz मदद मेरी क्षेत्र से बाहर है ....

$ ./nutch crawl urls -dir myCrawl -depth 4 -topN 5 
cygpath: can't convert empty path 
solrUrl is not set, indexing will be skipped... 
crawl started in: myCrawl 
root UrlDir = urls 
threads = 10 
depth = 4 
solrUrl=null 
topN = 5 
Injector: starting at 2012-06-23 22:30:28 
Injector: crawlDb: myCrawl/crawldb 
Injector: urlDir: urls 
Injector: Converting injected urls to crawl db entries. 
Exception in thread "main" java.io.IOException: Job failed! 
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252) 
    at org.apache.nutch.crawl.Injector.inject(Injector.java:217) 
    at org.apache.nutch.crawl.Crawl.run(Crawl.java:127) 
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 
    at org.apache.nutch.crawl.Crawl.main(Crawl.java:55) 

समस्या यह tym क्या है का सामना करना पड़ा ???

+0

नच/हडोप का कौन सा संस्करण आप उपयोग कर रहे हैं? – Jeffrey

+0

नच-1.5 सोलर -03 –

+0

एबीटी हूपॉप नहीं जानता। मैं नच का उपयोग करने में एक पूर्ण नोब हूं। :( –

उत्तर

0

मैं कुछ दिन पहले भी इस समस्या में भाग गया था। जब विंडोज़ के साथ बातचीत करने की बात आती है तो हैडोप के नए संस्करणों में परेशानी होती है। आप या तो * निक्स प्लेटफॉर्म पर स्विच कर सकते हैं (जिसे आपको शायद करना चाहिए, नच के लिए लगभग सभी समर्थन * निक्स उपयोगकर्ताओं के लिए है) या अपने संस्करण नच को डाउनग्रेड करें। विंडोज सर्वर 2008 पर काम करने वाले नच का नवीनतम संस्करण 1.2 था।

+0

से बदल दिया जानकारी के लिए thnx .... यदि मैं विंडोज़ के तहत संस्करण को 1.2 तक डाउनग्रेड करता हूं, तो क्या यह नच के नवीनतम संस्करण का उपयोग करके लिनक्स पर्यावरण के तहत काम करने की तुलना में किसी प्रकार की सीमाओं को एचवी करेगा ??? –

+0

@prafulbagai आपके पास कोई भी नई विशेषताएं नहीं होगी। सभी आधिकारिक ट्यूटोरियल 1.5 की तरफ तैयार हैं, इसलिए कुछ विसंगतियां हो सकती हैं। आप अभी भी क्रॉल, पार्स और इंडेक्स को क्रॉल करने में सक्षम होंगे, इसलिए आपकी ज़रूरतों की सटीक प्रकृति के आधार पर यह ठीक हो सकता है। – Jeffrey

+0

थेंक्स जेफ़री !!!! आप की सिफारिश की कोशिश करने की कोशिश करेंगे !!! 1 अंतिम प्रश्न .. यह थोड़े बेवकूफ लग सकता है लेकिन अगर मैं नच के स्रोत कोड की समीक्षा करना चाहता हूं तो इसे अनुकूलित करें, मैं इसे कहां से कर सकता हूं ??? –

संबंधित मुद्दे