मेरे सभी नोड्स compaction के दौरान FileNotFoundException फेंक रहे हैं। इस प्रकार, एक भी कॉम्पैक्शन (ऑटो, मैनुअल) खत्म नहीं हो सकता है और मेरी एसएसटीबल गिनती अब हजारों में एक सीएफ (सीक्यूएल 3) के लिए है।फाइल नॉटफाउंड अपवाद के दौरान फ़ाइल
nodetool compactionstats प्रत्येक नोड में सैकड़ों लंबित कार्यों को दिखाता है लेकिन कुछ भी संसाधित नहीं किया जा रहा है।
Error occurred during compaction
java.util.concurrent.ExecutionException: java.lang.RuntimeException: java.io.FileNotFoundException: /home/cassandra/data/mtg_keywords_v5/keyword_organic_results/mtg_keywords_v5-keyword_organic_results-jb-31111-Data.db (No such file or directory)
at java.util.concurrent.FutureTask.report(FutureTask.java:122)
at java.util.concurrent.FutureTask.get(FutureTask.java:188)
at org.apache.cassandra.db.compaction.CompactionManager.performMaximal(CompactionManager.java:281)
at org.apache.cassandra.db.ColumnFamilyStore.forceMajorCompaction(ColumnFamilyStore.java:1935)
at org.apache.cassandra.service.StorageService.forceKeyspaceCompaction(StorageService.java:2210)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at sun.reflect.misc.Trampoline.invoke(MethodUtil.java:75)
at sun.reflect.GeneratedMethodAccessor14.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at sun.reflect.misc.MethodUtil.invoke(MethodUtil.java:279)
at com.sun.jmx.mbeanserver.StandardMBeanIntrospector.invokeM2(StandardMBeanIntrospector.java:112)
at com.sun.jmx.mbeanserver.StandardMBeanIntrospector.invokeM2(StandardMBeanIntrospector.java:46)
at com.sun.jmx.mbeanserver.MBeanIntrospector.invokeM(MBeanIntrospector.java:237)
at com.sun.jmx.mbeanserver.PerInterface.invoke(PerInterface.java:138)
at com.sun.jmx.mbeanserver.MBeanSupport.invoke(MBeanSupport.java:252)
at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.invoke(DefaultMBeanServerInterceptor.java:819)
at com.sun.jmx.mbeanserver.JmxMBeanServer.invoke(JmxMBeanServer.java:801)
at javax.management.remote.rmi.RMIConnectionImpl.doOperation(RMIConnectionImpl.java:1487)
at javax.management.remote.rmi.RMIConnectionImpl.access$300(RMIConnectionImpl.java:97)
at javax.management.remote.rmi.RMIConnectionImpl$PrivilegedOperation.run(RMIConnectionImpl.java:1328)
at javax.management.remote.rmi.RMIConnectionImpl.doPrivilegedOperation(RMIConnectionImpl.java:1420)
at javax.management.remote.rmi.RMIConnectionImpl.invoke(RMIConnectionImpl.java:848)
at sun.reflect.GeneratedMethodAccessor40.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at sun.rmi.server.UnicastServerRef.dispatch(UnicastServerRef.java:322)
at sun.rmi.transport.Transport$1.run(Transport.java:177)
at sun.rmi.transport.Transport$1.run(Transport.java:174)
at java.security.AccessController.doPrivileged(Native Method)
at sun.rmi.transport.Transport.serviceCall(Transport.java:173)
at sun.rmi.transport.tcp.TCPTransport.handleMessages(TCPTransport.java:556)
at sun.rmi.transport.tcp.TCPTransport$ConnectionHandler.run0(TCPTransport.java:811)
at sun.rmi.transport.tcp.TCPTransport$ConnectionHandler.run(TCPTransport.java:670)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.RuntimeException: java.io.FileNotFoundException: /home/cassandra/data/mtg_keywords_v5/keyword_organic_results/mtg_keywords_v5-keyword_organic_results-jb-31111-Data.db (No such file or directory)
at org.apache.cassandra.io.compress.CompressedThrottledReader.open(CompressedThrottledReader.java:52)
at org.apache.cassandra.io.sstable.SSTableReader.openDataReader(SSTableReader.java:1355)
at org.apache.cassandra.io.sstable.SSTableScanner.<init>(SSTableScanner.java:67)
at org.apache.cassandra.io.sstable.SSTableReader.getScanner(SSTableReader.java:1161)
at org.apache.cassandra.io.sstable.SSTableReader.getScanner(SSTableReader.java:1173)
at org.apache.cassandra.db.compaction.AbstractCompactionStrategy.getScanners(AbstractCompactionStrategy.java:252)
at org.apache.cassandra.db.compaction.AbstractCompactionStrategy.getScanners(AbstractCompactionStrategy.java:258)
at org.apache.cassandra.db.compaction.CompactionTask.runWith(CompactionTask.java:126)
at org.apache.cassandra.io.util.DiskAwareRunnable.runMayThrow(DiskAwareRunnable.java:48)
at org.apache.cassandra.utils.WrappedRunnable.run(WrappedRunnable.java:28)
at org.apache.cassandra.db.compaction.CompactionTask.executeInternal(CompactionTask.java:60)
at org.apache.cassandra.db.compaction.AbstractCompactionTask.execute(AbstractCompactionTask.java:59)
at org.apache.cassandra.db.compaction.CompactionManager$6.runMayThrow(CompactionManager.java:296)
at org.apache.cassandra.utils.WrappedRunnable.run(WrappedRunnable.java:28)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
... 3 more
Caused by: java.io.FileNotFoundException: /home/cassandra/data/mtg_keywords_v5/keyword_organic_results/mtg_keywords_v5-keyword_organic_results-jb-31111-Data.db (No such file or directory)
at java.io.RandomAccessFile.open(Native Method)
at java.io.RandomAccessFile.<init>(RandomAccessFile.java:241)
at org.apache.cassandra.io.util.RandomAccessReader.<init>(RandomAccessReader.java:58)
at org.apache.cassandra.io.compress.CompressedRandomAccessReader.<init>(CompressedRandomAccessReader.java:76)
at org.apache.cassandra.io.compress.CompressedThrottledReader.<init>(CompressedThrottledReader.java:34)
at org.apache.cassandra.io.compress.CompressedThrottledReader.open(CompressedThrottledReader.java:48)
... 18 more
मैं MySQL से 4.8 बिलियन पंक्तियों जो मैं 1 से 4 मिलियन पंक्तियों के बैच में sstableloader के माध्यम से करते हैं पलायन के बीच में वर्तमान में कर रहा हूँ:
नीचे अपवाद का एक उदाहरण लॉग है। क्या अपवाद का मतलब है कि मैंने पहले ही डेटा खो दिया है और माइग्रेशन को स्क्रैच से दोहराया जाना चाहिए? अब तक मुझे अपने लॉग में कोई स्ट्रीम त्रुटि दिखाई नहीं दे रही है।
- दिल्ली शेयर बाजार 4.0.1 (कैसेंड्रा 2.0.5)
- CentOS 6.x x86_64
- जावा 1.7.0_5x
संपादित करें:
मेरे वातावरण इस प्रकार है:
कुछ अतिरिक्त जानकारी:
थोक लोडिंग प्रक्रिया के दौरान, मैंने sstableloader को मारने के लिए एक तंत्र तैयार किया जब कुल प्रगति 100% तक पहुंच गई। मैं सभी नोड्स में "नोडेटूल स्टॉप INDEX_BUILD" भी जारी करता हूं। इसका कारण यह है कि sstableloader द्वितीयक सूचकांक के निर्माण के लिए इंतजार कर रहा है और इसे पूरा होने में घंटों लगते हैं (जबकि वास्तविक आयात समय सूचकांक निर्माण समय का केवल एक अंश है)। मुझे पता चला कि आयातित डेटा sstableloader प्रक्रिया को मारने और द्वितीयक सूचकांक निर्माण को रद्द करने के बाद बरकरार रहता है, इसलिए मैंने तंत्र को स्वचालित करने के लिए एक स्क्रिप्ट लिखी। अब तक, मैंने इस चाल के साथ 200 से अधिक थोक भार पूरे किए हैं।
मैंने माइग्रेशन को रोक दिया है और पिछले सप्ताह में कई बार नोड्स को पुनरारंभ किया है क्योंकि ओएस लोड नोट # 1 के कई चक्रों को खत्म करने के बाद उच्च स्तर (ओपीएस सेंटर में पीला या लाल) तक पहुंचता है। ऐसा नहीं है कि एक संघनन कार्य प्रगति पर है जब मैं दिल्ली शेयर बाजार के माध्यम से नोड्स को पुन: प्रारंभ कैसेंड्रा-स्टॉप संभव है (हाँ, हम एक स्टैंडअलोन प्रक्रिया के रूप में दिल्ली शेयर बाजार में चल रहे हैं)
कारण हो सकता है इनमें से किसी भी? मैं इस स्थिति से कैसे निकल सकता हूं? मैनुअल कॉम्पैक्शन/मरम्मत काम नहीं करती है क्योंकि वे हमेशा अपवाद फेंकते हैं। मरम्मत के लिए, अपवाद अलग है, लेकिन अर्थ एक ही है - कुछ sstable फ़ाइलें अनुपलब्ध हैं:
ERROR [MiscStage:2] 2014-05-03 00:42:10,386 CassandraDaemon.java (line 196) Exception in thread Thread[MiscStage:2,5,main]
java.lang.RuntimeException: Tried to hard link to file that does not exist /home/cassandra/data/mtg_keywords_v5/keyword_organic_results/mtg_keywords_v5-keyword_organic_results-jb-23797-Summary.db
at org.apache.cassandra.io.util.FileUtils.createHardLink(FileUtils.java:76)
at org.apache.cassandra.io.sstable.SSTableReader.createLinks(SSTableReader.java:1215)
at org.apache.cassandra.db.ColumnFamilyStore.snapshotWithoutFlush(ColumnFamilyStore.java:1816)
at org.apache.cassandra.db.ColumnFamilyStore.snapshot(ColumnFamilyStore.java:1849)
at org.apache.cassandra.service.SnapshotVerbHandler.doVerb(SnapshotVerbHandler.java:40)
at org.apache.cassandra.net.MessageDeliveryTask.run(MessageDeliveryTask.java:60)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
डीएसई 4.0.3 अभी इसमें एक नए कैसंड्रा संस्करण के साथ जारी किया गया था, क्या आप देख सकते हैं कि अपग्रेड करने के बाद भी आपको यह समस्या है या नहीं? इसके अलावा, यदि आप वास्तव में अपनी अनुक्रमणिका को पॉप्युलेट नहीं करना चाहते हैं, तो मैं सुझाव दूंगा कि आप उनकी रचना को रद्द करने के बजाय उन्हें छोड़ दें। – Zanson
मेरे डेटा की इस स्थिति में अपग्रेड करना सुरक्षित है? (यानी कुछ फाइलें गायब हैं)। इंडेक्स के बारे में, मैं वास्तव में उन्हें अतुल्यकालिक रूप से पॉप्युलेट करना चाहता हूं। मुझे sstableloader में ऐसा कोई विकल्प नहीं मिला, इसलिए मैंने फैसला किया कि मैं इंडेक्स बिल्ड को रद्द कर दूंगा ताकि मुझे लगातार आयात करने की अनुमति मिल सके। केवल तभी जब मैंने सबकुछ आयात करना समाप्त कर दिया है, तो मैं पूरी तरह से टेबल को फिर से अनुक्रमित करूंगा। –
अपग्रेडिंग बनाम अपग्रेडिंग को आपके डेटा की "सुरक्षितता" को प्रभावित नहीं करना चाहिए। उम्मीद है कि तय की गई बग चीजों को सुरक्षित बनाएगी। – Zanson