पर्ल - फ़ाइल एन्कोडिंग और शब्द तुलना

Question

मेरे पास एक पंक्ति/शब्द प्रत्येक पंक्ति है जिसमें मैंने एसटीडीआईएन से पर्ल को पढ़ा है। मेरे पास स्टॉपवर्ड की एक सूची है (जैसे "á", "साओ", "é") और मैं प्रत्येक शब्द के साथ उनमें से प्रत्येक की तुलना करना चाहता हूं, और अगर वे बराबर हैं तो हटा दें। समस्या यह है कि मैं फ़ाइल के एन्कोडिंग प्रारूप के बारे में निश्चित नहीं हूं।

मैं file आदेश से मिलता है:

words.txt: Non-ISO extended-ASCII English text 

मेरे linux टर्मिनल UTF-8 में है और यह कुछ शब्दों के लिए सही सामग्री से पता चलता है और दूसरों को नहीं करने के लिए। उनमें से कुछ से उत्पादन होता है:

condi<E3> 
conte<FA>dos 
ajuda, mas não resolve 
mo<E7>ambique 
pedagógico são fenómenos 

आप देख सकते हैं कि 3 और 5 वीं लाइनों को सही ढंग से उच्चारण और विशेष वर्णों के साथ शब्दों की पहचान कर रहे हैं, जबकि दूसरों को नहीं। अन्य लाइनों के लिए सही आउटपुट होना चाहिए: condiã, conteúdos और moçambique।

यदि मैं binmode(STDOUT, utf8) का उपयोग करता हूं तो "गलत" रेखाएं अब सही तरीके से आउटपुट करती हैं जबकि अन्य लोग नहीं करते हैं। उदाहरण के लिए 3 पंक्ति:

ajuda, मास nà £ o संकल्प

क्या मैं लोगों को क्या करना चाहिए?

Answer 1

यह इस तरह काम करता है:

C:\Dev\Perl :: chcp 
Aktive Codepage: 1252. 

C:\Dev\Perl :: type mixed-encoding.txt 
eins zwei drei Käse vier fünf Wurst 
eins zwei drei Käse vier fünf Wurst 

C:\Dev\Perl :: perl mixed-encoding.pl < mixed-encoding.txt 
eins zwei drei vier fünf 
eins zwei drei vier fünf 

कहाँ mixed-encoding.pl इस प्रकार है: स्क्रिप्ट को UTF-8 में एन्कोड करने की जरूरत नहीं है

use strict; 
use warnings; 
use utf8; # source in UTF-8 
use Encode 'decode_utf8'; 
use List::MoreUtils 'any'; 

my @stopwords = qw(Käse Wurst); 

while (<>) { # read octets 
    chomp; 
    my @tokens; 
    for (split /\s+/) { 
     # Try UTF-8 first. If that fails, assume legacy Latin-1. 
     my $token = eval { decode_utf8 $_, Encode::FB_CROAK }; 
     $token = $_ if $@; 
     push @tokens, $token unless any { $token eq $_ } @stopwords; 
    } 
    print "@tokens\n"; 
} 

ध्यान दें कि। यह सिर्फ इसलिए है कि यदि आपके स्क्रिप्ट में फंकी चरित्र डेटा है तो आपको एन्कोडिंग मैचों को सुनिश्चित करना होगा, इसलिए use utf8 यदि आपका एन्कोडिंग यूटीएफ -8 है, और यदि ऐसा नहीं है।

अद्यतन tchrist की ध्वनि सलाह के आधार पर:

use strict; 
use warnings; 
# source in Latin1 
use Encode 'decode'; 
use List::MoreUtils 'any'; 

my @stopwords = qw(Käse Wurst); 

while (<>) { # read octets 
     chomp; 
     my @tokens; 
     for (split /\s+/) { 
       # Try UTF-8 first. If that fails, assume 8-bit encoding. 
       my $token = eval { decode utf8 => $_, Encode::FB_CROAK }; 
       $token = decode Windows1252 => $_, Encode::FB_CROAK if $@; 
       push @tokens, uc $token unless any { $token eq $_ } @stopwords; 
     } 
     print "@tokens\n"; 
} 

Answer 2

मैं दृढ़ता से आप एक ऐसा फ़िल्टर मिश्रित एनकोडिंग में लाइनों के साथ एक फ़ाइल लेता है और उन्हें शुद्ध UTF-8 के लिए अनुवाद बनाने की सलाह। तो बजाय

open(INPUT, "< badstuff.txt") || die "open failed: $!"; 

आप फिक्सर से या तो निश्चित संस्करण, या एक पाइप खोलता था, जैसे:

open(INPUT, "fixit < badstuff.txt |") || die "open failed: $!" 

या तो घटना में, आप तो

binmode(INPUT, ":encoding(UTF-8)") || die "binmode failed"; 

फिर fixit होगा कार्यक्रम बस यह कर सकता है:

use strict; 
use warnings; 
use Encode qw(decode FB_CROAK); 

binmode(STDIN, ":raw") || die "can't binmode STDIN"; 
binmode(STDOUT, ":utf8") || die "can't binmode STDOUT"; 

while (my $line = <STDIN>) { 
    $line = eval { decode("UTF-8", $line, FB_CROAK() }; 
    if ($@) { 
     $line = decode("CP1252", $line, FB_CROAK()); # no eval{}! 
    } 
    $line =~ s/\R\z/\n/; # fix raw mode reads 
    print STDOUT $line;  
} 

close(STDIN) || die "can't close STDIN: $!"; 
close(STDOUT) || die "can't close STDOUT: $!"; 
exit 0; 

देखें कि यह कैसे काम करता है? बेशक, आप इसे किसी अन्य एन्कोडिंग में डिफ़ॉल्ट रूप से बदल सकते हैं, या कई फॉल बैक हैं। शायद @ARGV में उनकी सूची लेना सबसे अच्छा होगा।