टेक्स्टफाइल से यूनिकोड वर्ण हटाएं - sed, अन्य bash/shell विधियों

Question

मैं टर्मिनल पर टेक्स्ट फ़ाइलों के समूह से यूनिकोड वर्ण कैसे हटा सकता हूं? मैं इस की कोशिश की है, लेकिन यह काम नहीं किया:

iconv -f utf8 -t ascii//TRANSLIT </tmp/utf8_input.txt> /tmp/ascii_output.txt 

यह वर्ण अनुवाद करेगा:

sed 'g/\u'U+200E'//' -i *.txt 

मैं textfiles से इन unicodes दूर करने के लिए

U+0091 - sort of weird "control" space 
U+0092 - same sort of weird "control" space 
A0 - non-space break 
U+200E - left to right mark 

Answer 1

के स्पष्ट सभी गैर-ascii वर्ण आप केवल विशेष वर्ण निकालना चाहते हैं और आप अजगर है, तो आप कर सकते हैं:

CHARS=$(python -c 'print u"\u0091\u0092\u00a0\u200E".encode("utf8")') 
sed 's/['"$CHARS"']//g' </tmp/utf8_input.txt> /tmp/ascii_output.txt 

Answer 2

उपयोग iconv की जरूरत "एस" में "एस" की तरह (सबसे समान दिखने वाले)।

Answer 3

file.txt

$ iconv -c -f utf-8 -t ascii file.txt 
$ strings file.txt 

Answer 4

यूनिकोड की UTF-8 एन्कोडिंग के लिए, आप sed के लिए इस नियमित अभिव्यक्ति का उपयोग कर सकते हैं:

sed 's/\xc2\x91\|\xc2\x92\|\xc2\xa0\|\xe2\x80\x8e//' 

Answer 5

utf-8 से स्विफ्ट फ़ाइलों को कनवर्ट करें ASCII करने के लिए:

for file in *.swift; do 
    iconv -f utf-8 -t ascii "$file" > "$file".tmp 
    mv -f "$file".tmp "$file" 
done 

swift auto completion not working in Xcode6-Beta