tr [: ऊपरी:] [: निचला:] सिरिलिक पाठ

Question

के साथ मैं एक रूसी लघु कहानी से एक शब्द सूची निकालने की कोशिश कर रहा हूं।

#!/bin/sh 

export LC_ALL=ru_RU.utf8 

sed -re 's/\s+/\n/g' | \ 
sed 's/[\.!,—()«»;:?]//g' | \ 
tr '[:upper:]' '[:lower:]' | \ 
sort | uniq 

हालांकि tr कदम सिरिलिक बड़े अक्षरों lowercasing नहीं है

। मैंने सोचा कि मैं पोर्टेबल चरित्र वर्गों का उपयोग कर चालाक था!

$ LC_ALL=ru_RU.utf8 echo "Г" | tr [:upper:] [:lower:] 
Г 

यदि यह प्रासंगिक है, तो मैंने क्रोम ब्राउज़र विंडो से कॉपी-पेस्टिंग द्वारा रूसी पाठ प्राप्त किया है। यह स्क्रीन पर सही दिखता है (एक पुटी टर्मिनल)। यह सिगविन के बैश खोल में है - इसे लिनक्स पर समान रूप से काम करना चाहिए (चाहिए!)।

एक पाइप में यूनिकोड टेक्स्ट को कम करने के लिए एक पोर्टेबल, विश्वसनीय तरीका क्या है?

Answer 1

यह है कि मैं क्या Wikipedia में पाया (किसी भी संदर्भ के बिना, हालांकि) है: GNU tr और क्लासिक यूनिक्स tr, सहित tr की

अधिकतर संस्करण, सिंगल-बाइट वर्ण पर काम करते हैं और यूनिकोड अनुरूप नहीं हैं। एक अपवाद Heirloom Toolchest कार्यान्वयन है, जो मूल यूनिकोड समर्थन प्रदान करता है।

इसके अलावा, this पुराना लेकिन संबंधित है। `Sed` मेरे लिए काम करता साथ

$ echo 'СТЭК' | sed 's/[[:upper:]]*/\L&/' 
стэк