जाओ

Question

में एक गैर UTF-8 पाठ फ़ाइल पढ़ना मुझे लगता है कि GBK में एन्कोड किया गया है एक पाठ फ़ाइल पढ़ने की जरूरत है। गो प्रोग्रामिंग भाषा में मानक लाइब्रेरी मानती है कि सभी पाठ यूटीएफ -8 में एन्कोड किए गए हैं।

मैं अन्य एन्कोडिंग में फ़ाइलों को कैसे पढ़ सकता हूं?

Answer 1

पहले (के रूप में एक पुराने जवाब में बताया गया) "आसान" यह करने के लिए जिस तरह से तीसरे पक्ष संकुल कि सीजीओ की जरूरत है और iconv पुस्तकालय लिपटे का उपयोग कर शामिल किया गया। यह कई कारणों से अवांछनीय है। शुक्र है, काफी समय से गो लेखकों द्वारा प्रदान किए गए केवल पैकेजों का उपयोग करके ऐसा करने का एक बेहतर तरीका है (संकुल के मुख्य सेट में नहीं बल्कि Go Sub-Repositories में)।

golang.org/x/text/encoding पैकेज सामान्य वर्ण एन्कोडिंग कि UTF-8 से/करने के लिए परिवर्तित कर सकते हैं के लिए एक इंटरफेस को परिभाषित करता है। golang.org/x/text/encoding/simplifiedchinese उप-पैकेज GB18030, GBK और HZ-GB2312 एन्कोडिंग कार्यान्वयन प्रदान करता है।

यहां एक जीबीके एन्कोडेड फ़ाइल पढ़ने और लिखने का एक उदाहरण है। ध्यान दें कि io.Reader और io.Writer डेटा को "फ्लाई पर" एन्कोडिंग करें क्योंकि डेटा पढ़ा/लिखा जा रहा है।

package main 

import (
    "bufio" 
    "fmt" 
    "log" 
    "os" 

    "golang.org/x/text/encoding/simplifiedchinese" 
    "golang.org/x/text/transform" 
) 

// Encoding to use. Since this implements the encoding.Encoding 
// interface from golang.org/x/text/encoding you can trivially 
// change this out for any of the other implemented encoders, 
// e.g. `traditionalchinese.Big5`, `charmap.Windows1252`, 
// `korean.EUCKR`, etc. 
var enc = simplifiedchinese.GBK 

func main() { 
    const filename = "example_GBK_file" 
    exampleWriteGBK(filename) 
    exampleReadGBK(filename) 
} 

func exampleReadGBK(filename string) { 
    // Read UTF-8 from a GBK encoded file. 
    f, err := os.Open(filename) 
    if err != nil { 
     log.Fatal(err) 
    } 
    r := transform.NewReader(f, enc.NewDecoder()) 

    // Read converted UTF-8 from `r` as needed. 
    // As an example we'll read line-by-line showing what was read: 
    sc := bufio.NewScanner(r) 
    for sc.Scan() { 
     fmt.Printf("Read line: %s\n", sc.Bytes()) 
    } 
    if err = sc.Err(); err != nil { 
     log.Fatal(err) 
    } 

    if err = f.Close(); err != nil { 
     log.Fatal(err) 
    } 
} 

func exampleWriteGBK(filename string) { 
    // Write UTF-8 to a GBK encoded file. 
    f, err := os.Create(filename) 
    if err != nil { 
     log.Fatal(err) 
    } 
    w := transform.NewWriter(f, enc.NewEncoder()) 

    // Write UTF-8 to `w` as desired. 
    // As an example we'll write some text from the Wikipedia 
    // GBK page that includes Chinese. 
    _, err = fmt.Fprintln(w, 
     `In 1995, China National Information Technology Standardization 
Technical Committee set down the Chinese Internal Code Specification 
(Chinese: 汉字内码扩展规范（GBK）; pinyin: Hànzì Nèimǎ 
Kuòzhǎn Guīfàn (GBK)), Version 1.0, known as GBK 1.0, which is a 
slight extension of Codepage 936. The newly added 95 characters were not 
found in GB 13000.1-1993, and were provisionally assigned Unicode PUA 
code points.`) 
    if err != nil { 
     log.Fatal(err) 
    } 

    if err = f.Close(); err != nil { 
     log.Fatal(err) 
    } 
} 

Answer 2

go-iconv आज़माएं। यह iconv लपेटता है और io.Reader और io.Writer लागू करता है।

गोलांग-चीन चर्चा समूह में यह messagego-iconv उपयोग के कुछ उदाहरणों का उल्लेख कर रहा है।