क्या बाइसन यूटीएफ -8 अक्षरों को पार्स कर सकता है?

Question

मैं यूटीएफ -8 अक्षरों को संभालने के लिए एक बाइसन पार्सर बनाने की कोशिश कर रहा हूं। मैं नहीं चाहता कि पार्सर वास्तव में यूनिकोड चरित्र मानों की व्याख्या करे, लेकिन मैं इसे बाइट्स के अनुक्रम के रूप में यूटीएफ -8 स्ट्रिंग को पार्स करना चाहता हूं।

अभी, बाइसन निम्नलिखित कोड जो समस्याग्रस्त है उत्पन्न करता है:

if (yychar <= YYEOF) 
    { 
     yychar = yytoken = YYEOF; 
     YYDPRINTF ((stderr, "Now at end of input.\n")); 
    } 

समस्या यह है कि UTF-8 स्ट्रिंग से कई बाइट एक नकारात्मक मूल्य होगा, और बाइसन एक EOF नकारात्मक मान के रूप की व्याख्या है, और बंद हो जाता है।

क्या इसके आसपास कोई रास्ता है?

Answer 1

bison हाँ, flex संख्या। एक बार मुझे यूटीएफ -8 एन्कोडेड फाइलों के साथ काम करने के लिए एक बाइसन पार्सर की आवश्यकता थी, मैंने अपना खुद का yylex फ़ंक्शन लिखना समाप्त कर दिया।

संपादित: मदद करने के लिए, मैं glib में उपलब्ध यूनिकोड संचालन का एक बहुत इस्तेमाल किया (वहाँ एक gunicode प्रकार और कुछ फ़ाइल/स्ट्रिंग परिवर्तन कार्यों है कि मैं उपयोगी पाया)।

Answer 2

flex यहां समस्या होने पर, आप zlex पर एक नज़र डालना चाहेंगे।

Answer 3

यह 4 साल पहले से एक प्रश्न है, लेकिन मुझे एक ही समस्या का सामना करना पड़ रहा है और मैं अपने विचार साझा करना चाहता हूं।

समस्या यह है कि यूटीएफ -8 में आप नहीं जानते कि कितने बाइट पढ़ने के लिए हैं। जैसा कि ऊपर बताया गया है, आप अपने स्वयं के लेक्सर का उपयोग कर सकते हैं, और इसे या तो पूरी लाइनें पढ़ सकते हैं, या इसे हर बार 4 बाइट पढ़ सकते हैं। फिर उस से यूटीएफ -8 चरित्र निकालें, और 4 बाइट्स को फिर से पूरा करने के लिए और बाइट्स पढ़ें।