यूनिक्स उपकरण फ़ाइल से डुप्लिकेट लाइनों को हटाने के लिए

Question

मेरे पास एक ऐसा टूल है जो परीक्षण उत्पन्न करता है और आउटपुट की भविष्यवाणी करता है। विचार यह है कि अगर मुझे विफलता है तो मैं भविष्यवाणी की तुलना वास्तविक आउटपुट से कर सकता हूं और देख सकता हूं कि वे कहां अलग हो गए हैं। समस्या यह है कि वास्तविक आउटपुट में कुछ पंक्तियां होती हैं, जो diff को भ्रमित करती हैं। मैं डुप्लिकेट को हटाना चाहता हूं, ताकि मैं उन्हें आसानी से तुलना कर सकूं। असल में, sort -u जैसे कुछ लेकिन सॉर्टिंग के बिना।

क्या कोई यूनिक्स कमांडलाइन उपकरण है जो यह कर सकता है?

Answer 1

uniq(1)

SYNOPSIS

uniq [विकल्प] ... [इनपुट [आउटपुट]]

वर्णन

त्यागें सभी लगातार समान लाइनों में से एक है, लेकिन INPUT (या मानक इनपुट) से, OUTPUT (या मानक आउटपुट) पर लिखना।

या, आप गैर आसन्न डुप्लिकेट लाइनों को दूर करने के साथ ही चाहते हैं, पर्ल के इस टुकड़ा यह करना होगा:

while(<>) { 
    print $_ if (!$seen{$_}); 
    $seen{$_}=1; 
} 

Answer 2

आप आसन्न डुप्लिकेट लाइनों को दूर करने में रुचि रखते हैं, uniq का उपयोग ।

यदि आप सभी डुप्लिकेट लाइनों को हटाना चाहते हैं, न केवल निकटवर्ती वाले, तो यह ट्रिकियर है।

Answer 3

यहां मैं क्या जवाब दे रहा था, जबकि मैं यहां एक उत्तर का इंतजार कर रहा था (हालांकि पहला (और स्वीकार्य) उत्तर लगभग 2 मिनट में आया था)। मैं VIM में इस प्रतिस्थापन प्रयोग किया है:

%s/^\(.*\)\n\1$/\1/ 

जिसका मतलब है: लाइनों जहां न्यू लाइन के बाद हम पहले की तरह ही है के लिए देखो, और उन्हें केवल क्या हम पहली पंक्ति में कब्जा के साथ बदलें।

uniq हालांकि, निश्चित रूप से आसान है।

Answer 4

uniq उत्तर के लिए पूरक, जो आपके काम को पहले sort पर ध्यान नहीं देते हैं, तो यह बहुत अच्छा काम करता है। आप गैर आसन्न लाइनों को हटाने के लिए की जरूरत है (या आप अपनी फ़ाइल उलटफेर के बिना डुप्लिकेट निकालना चाहते हैं), तो निम्न पर्ल एक लाइनर यह करना चाहिए (here से चोरी हो):

cat textfile | perl -ne '$H{$_}++ or print' 

Answer 5

यहाँ एक awk कार्यान्वयन है , पर्यावरण को परेशान/अनुमति नहीं है (अभी तक एक नहीं देखा है)! पीएस: यदि एक से अधिक डुप्लिकेट लाइनें हैं, तो यह डुप्लिकेट आउटपुट प्रिंट करता है।

awk '{ 

# Cut out the key on which duplicates are to be determined. 
key = substr($0,2,14) 

#If the key is not seen before, store in array,else print 
if (! s[key]) 
    s[key] = 1; 
else 
    print key; 
}'