SQLite डेटाबेस से डुप्लिकेट पंक्तियों को हटाने

Question

SQLite3 में - मेरे पास एक विशाल तालिका - 36 मिलियन पंक्तियां हैं। पाठ

घ - - असली

हालांकि, पंक्तियों के कुछ डुप्लिकेट हैं

यह बहुत बड़ी तालिका में, वहाँ दो कॉलम

• हैश कर रहे हैं। यही है, हैश और डी दोनों के समान मूल्य हैं।

  इसके अलावा, अगर दो हैश समान हैं, इसलिए घ के मूल्यों, लेकिन दो समान डी एस वैसे भी दो समान हैश

  संकेत नहीं करता है, मैं डुप्लीकेट पंक्तियों हटाना चाहते हैं। मेरे पास प्राथमिक कुंजी कॉलम नहीं है। ऐसा करने का सबसे तेज़ तरीका क्या है?

  ---

  संपादित करें: delete from dist where rowid not in (select max(rowid) from dist group by hash);

  चाल करने के लिए प्रकट होता है।

Answer 1

आपको पंक्तियों को अलग करने के लिए एक तरीका चाहिए। आपकी टिप्पणी के आधार पर, आप इसके लिए विशेष rowid column का उपयोग कर सकते हैं।

रखकर डुप्लिकेट को हटाने के लिए सबसे कम rowid(hash,d) प्रति:

delete from YourTable 
where rowid not in 
     (
     select min(rowid) 
     from YourTable 
     group by 
       hash 
     ,  d 
     ) 

Answer 2

यदि प्राथमिक कुंजी जोड़ना एक विकल्प नहीं है, तो एक दृष्टिकोण एक टेम्पलेट तालिका में डुप्लिकेट DISTINCT को संग्रहीत करना होगा, मौजूदा तालिका से सभी डुप्लीकेट रिकॉर्ड्स को हटाएं, और फिर रिकॉर्ड्स को मूल तालिका में जोड़ें अस्थायी तालिका से।

उदाहरण के लिए (एसक्यूएल सर्वर 2008 के लिए लिखा है, लेकिन तकनीक किसी भी डेटाबेस के लिए एक ही है):

DECLARE @original AS TABLE([hash] varchar(20), [d] float) 
INSERT INTO @original VALUES('A', 1) 
INSERT INTO @original VALUES('A', 2) 
INSERT INTO @original VALUES('A', 1) 
INSERT INTO @original VALUES('B', 1) 
INSERT INTO @original VALUES('C', 1) 
INSERT INTO @original VALUES('C', 1) 

DECLARE @temp AS TABLE([hash] varchar(20), [d] float) 
INSERT INTO @temp 
SELECT [hash], [d] FROM @original 
GROUP BY [hash], [d] 
HAVING COUNT(*) > 1 

DELETE O 
FROM @original O 
JOIN @temp T ON T.[hash] = O.[hash] AND T.[d] = O.[d] 

INSERT INTO @original 
SELECT [hash], [d] FROM @temp 

SELECT * FROM @original 

मुझे यकीन है कि अगर SQLite एक ROW_NUMBER() प्रकार कार्य है नहीं कर रहा हूँ, लेकिन आप कर सकते थे अगर यह होता है यहां सूचीबद्ध कुछ दृष्टिकोणों को भी आजमाएं: Delete duplicate records from a SQL table without a primary key