सबसे तेज़ तरीका टैब-डिलीमिटेड फ़ाइल को लिनक्स

Question

में सीएसवी में कनवर्ट करें। मेरे पास एक टैब-डिलीमिट फ़ाइल है जिसमें 200 मिलियन से अधिक लाइनें हैं। लिनक्स में इसे एक सीएसवी फ़ाइल में बदलने के लिए सबसे तेज़ तरीका क्या है? इस फ़ाइल में हेडर जानकारी की कई पंक्तियां हैं जिन्हें मुझे सड़क से बाहर करने की आवश्यकता होगी, लेकिन शीर्षलेख की पंक्तियों की संख्या ज्ञात है। मैंने sed और gawk के लिए सुझाव देखे हैं, लेकिन मुझे आश्चर्य है कि "पसंदीदा" विकल्प है या नहीं।

बस स्पष्ट करने के लिए, इस फ़ाइल में कोई एम्बेडेड टैब नहीं हैं।

Answer 1

यदि आपको केवल अनुवाद करना है तो सभी टैब वर्णों को अल्पविराम वर्णों के लिए, tr संभवतः जाने का तरीका है।

यहां खाली जगह एक शाब्दिक टैब है:

$ echo "hello world" | tr "\\t" "," 
hello,world 

बेशक

, यदि आप फ़ाइल में स्ट्रिंग शाब्दिक अंदर टैब एम्बेडेड है, यह गलत तरीके से उन लोगों के रूप में अच्छी तरह से अनुवाद कर देगा; लेकिन एम्बेडेड शाब्दिक टैब काफी असामान्य होंगे।

Answer 2

यदि आप एम्बेडेड कॉमा के बारे में चिंतित हैं तो आपको थोड़ा और बुद्धिमान विधि का उपयोग करने की आवश्यकता होगी।

import sys 
import csv 

tabin = csv.reader(sys.stdin, dialect=csv.excel_tab) 
commaout = csv.writer(sys.stdout, dialect=csv.excel) 
for row in tabin: 
    commaout.writerow(row) 

भागो यह एक खोल से इस प्रकार है::

python script.py <input.tsv> output.csv 

Answer 3

मानते हुए कि आपके हेडर बदलने के लिए नहीं करना चाहते हैं और यह मानते हुए यहां Python स्क्रिप्ट है जो stdout को stdin से TSV लाइनों लेता है और सीएसवी लाइनों लिखते है आपके पास एम्बेडेड टैब नहीं हैं

# cat file 
header header header 
one  two  three 

$ awk 'NR>1{$1=$1}1' OFS="," file 
header header header 
one,two,three 

एनआर> 1 पहला हेडर छोड़ देता है। आपने बताया है कि आप जानते हैं कि शीर्षलेख की कितनी पंक्तियां हैं, इसलिए अपने स्वयं के मामले के लिए सही संख्या का उपयोग करें। इसके साथ, आपको किसी अन्य बाहरी आदेश को कॉल करने की आवश्यकता नहीं है। सिर्फ एक अजीब कमांड नौकरी करता है।

यदि आपके पास खाली कॉलम हैं और आप इसकी परवाह करते हैं तो एक और तरीका है।

awk 'NR>1{gsub("\t",",")}1' file 

sed का उपयोग

sed '2,$y/\t/,/' file #skip 1 line header and translate (same as tr) 

Answer 4

sed -e 's/"/\\"/g' -e 's/<tab>/","/g' -e 's/^/"/' -e 's/$/"/' infile > outfile 

आलोचकों लानत है, बोली सब कुछ, सीएसवी परवाह नहीं है।

<tab> वास्तविक टैब वर्ण है। \ t मेरे लिए काम नहीं किया। बैश में, इसे दर्ज करने के लिए^वी का उपयोग करें।

Answer 5

perl -lpe 's/"/""/g; s/^|$/"/g; s/\t/","/g' <input.tab> output.csv 

पर्ल sed, awk, और अजगर से बात की इस तरह से आम तौर पर तेजी है।

Answer 6

निम्नलिखित awk oneliner + बोली-भागने

printf "flop\tflap\"" | awk -F '\t' '{ gsub(/"/,"\"\"\"",$i); for(i = 1; i <= NF; i++) { printf "\"%s\"",$i; if(i < NF) printf "," }; printf "\n" }' 

के हवाले करने का समर्थन देता है

"flop","flap"""" 

Answer 7

@ Ignacio-वेज़क्वेज़-अब्राम के अजगर समाधान बहुत अच्छा है! उन लोगों के लिए जो डिलीमीटर अन्य टैब को पार्स करने के लिए देख रहे हैं, लाइब्रेरी वास्तव में आपको मनमाने ढंग से डिलीमीटर सेट करने की अनुमति देती है।

$ cat data.tsv | tr "\\t" "," > data.csv 

---

यदि आप चाहते हैं: आप एक csv फ़ाइल में पूरी TSV फ़ाइल कन्वर्ट करने के लिए चाहते हैं

import sys 
import csv 

pipein = csv.reader(sys.stdin, delimiter='|') 
commaout = csv.writer(sys.stdout, dialect=csv.excel) 
for row in pipein: 
    commaout.writerow(row) 

Answer 8

• : यहाँ पाइप-सीमांकित फ़ाइलों को संभालने के लिए अपने संशोधित संस्करण है कुछ क्षेत्रों को छोड़ने के लिए:

  $ cat data.tsv | cut -f1,2,3 | tr "\\t" "," > data.csv 
  

  उपरोक्त आदेश data.tsv फ़ाइल को data.csv फ़ाइल में परिवर्तित करेगा जिसमें केवल पहले तीन फ़ील्ड शामिल हैं।