पायथन: शब्द सीमाओं पर यूनिकोड स्ट्रिंग को विभाजित करें

Question

मुझे एक स्ट्रिंग लेने की आवश्यकता है, और इसे 140 वर्णों तक छोटा करें।

वर्तमान में मैं कर रहा हूँ:

if len(tweet) > 140: 
    tweet = re.sub(r"\s+", " ", tweet) #normalize space 
    footer = "… " + utils.shorten_urls(post['url']) 
    avail = 140 - len(footer) 
    words = tweet.split() 
    result = "" 
    for word in words: 
     word += " " 
     if len(word) > avail: 
      break 
     result += word 
     avail -= len(word) 
    tweet = (result + footer).strip() 
    assert len(tweet) <= 140 

तो यह अंग्रेजी के लिए महान काम करता है, और तार की तरह अंग्रेजी है, लेकिन क्योंकि tweet.split() सिर्फ एक सरणी देता है एक चीनी स्ट्रिंग के लिए विफल रहता है:

>>> s = u"简讯：新華社報道，美國總統奧巴馬乘坐的「空軍一號」專機晚上10時42分進入上海空域，預計約30分鐘後抵達浦東國際機場，開展他上任後首次訪華之旅。" 
>>> s 
u'\u7b80\u8baf\uff1a\u65b0\u83ef\u793e\u5831\u9053\uff0c\u7f8e\u570b\u7e3d\u7d71\u5967\u5df4\u99ac\u4e58\u5750\u7684\u300c\u7a7a\u8ecd\u4e00\u865f\u300d\u5c08\u6a5f\u665a\u4e0a10\u664242\u5206\u9032\u5165\u4e0a\u6d77\u7a7a\u57df\uff0c\u9810\u8a08\u7d0430\u5206\u9418\u5f8c\u62b5\u9054\u6d66\u6771\u570b\u969b\u6a5f\u5834\uff0c\u958b\u5c55\u4ed6\u4e0a\u4efb\u5f8c\u9996\u6b21\u8a2a\u83ef\u4e4b\u65c5\u3002' 
>>> s.split() 
[u'\u7b80\u8baf\uff1a\u65b0\u83ef\u793e\u5831\u9053\uff0c\u7f8e\u570b\u7e3d\u7d71\u5967\u5df4\u99ac\u4e58\u5750\u7684\u300c\u7a7a\u8ecd\u4e00\u865f\u300d\u5c08\u6a5f\u665a\u4e0a10\u664242\u5206\u9032\u5165\u4e0a\u6d77\u7a7a\u57df\uff0c\u9810\u8a08\u7d0430\u5206\u9418\u5f8c\u62b5\u9054\u6d66\u6771\u570b\u969b\u6a5f\u5834\uff0c\u958b\u5c55\u4ed6\u4e0a\u4efb\u5f8c\u9996\u6b21\u8a2a\u83ef\u4e4b\u65c5\u3002'] 

कैसे करना चाहिए मैं ऐसा करता हूं इसलिए यह I18N को संभालता है? क्या यह सभी भाषाओं में समझ में आता है?

यदि मायने रखता है तो मैं पाइथन 2.5.4 पर हूं।

Answer 1

कुछ देशी कैंटोनीज़, मंदारिन, और जापानी वक्ताओं के साथ बात करने के बाद ऐसा लगता है कि ऐसा करने के लिए सही बात कठिन है, लेकिन मेरे वर्तमान एल्गोरिथ्म अभी भी इंटरनेट पदों के संदर्भ में उन्हें समझ में आता है।

मतलब, उनका उपयोग "अंतरिक्ष पर विभाजित और अंत में ... अंत में" उपचार के लिए किया जाता है।

तो मैं आलसी होने जा रहा हूं और इसके साथ रहना चाहता हूं, जब तक कि मुझे उन लोगों की शिकायतें न मिलें जो इसे समझ में नहीं आतीं।

अपने मूल कार्यान्वयन के लिए केवल परिवर्तन अंतिम शब्द पर एक अंतरिक्ष के लिए मजबूर करने के लिए नहीं है, क्योंकि यह किसी भी भाषा में अनावश्यक है (और यूनिकोड चरित्र ... &#x2026 बजाय ... three dots का उपयोग 2 पात्रों को बचाने के लिए) होगा

Answer 2

चीनी में आमतौर पर शब्दों के बीच सफेद जगह नहीं होती है, और प्रतीकों के संदर्भ के आधार पर अलग-अलग अर्थ हो सकते हैं। शब्द सीमा पर इसे विभाजित करने के लिए आपको पाठ को समझना होगा। दूसरे शब्दों में, आप जो करने की कोशिश कर रहे हैं वह सामान्य रूप से आसान नहीं है।

Answer 3

चीनी में शब्द विभाजन के लिए, और प्राकृतिक भाषा प्रसंस्करण में अन्य उन्नत कार्यों के लिए, NLTK पर एक अच्छा प्रारंभिक बिंदु के रूप में एक अच्छा प्रारंभिक बिंदु के रूप में विचार करें - यह एक समृद्ध पायथन आधारित टूलकिट है, विशेष रूप से एनएल प्रसंस्करण तकनीकों के बारे में सीखने के लिए अच्छा है (और इन समस्याओं में से कुछ के लिए व्यवहार्य समाधान प्रदान करने के लिए पर्याप्त रूप से पर्याप्त नहीं है)।

Answer 4

यह फिर से मॉड्यूल के लिए शब्द-ब्रेकिंग निर्णय को पेंट करता है, लेकिन यह आपके लिए पर्याप्त काम कर सकता है।

import re 

def shorten(tweet, footer="", limit=140): 
    """Break tweet into two pieces at roughly the last word break 
    before limit. 
    """ 
    lower_break_limit = limit/2 
    # limit under which to assume breaking didn't work as expected 

    limit -= len(footer) 

    tweet = re.sub(r"\s+", " ", tweet.strip()) 
    m = re.match(r"^(.{,%d})\b(?:\W|$)" % limit, tweet, re.UNICODE) 
    if not m or m.end(1) < lower_break_limit: 
     # no suitable word break found 
     # cutting at an arbitrary location, 
     # or if len(tweet) < lower_break_limit, this will be true and 
     # returning this still gives the desired result 
     return tweet[:limit] + footer 
    return m.group(1) + footer 

Answer 5

re.U flag यूनिकोड चरित्र गुण डेटाबेस के अनुसार \s का इलाज करेगा।

>>> x = u'\u7b80\u8baf\uff1a\u65b0\u83ef\u793e\u5831\u9053\uff0c\u7f8e\u570b\u7e3d\u7d71\u5967\u5df4\u99ac\u4e58\u5750\u7684\u300c\u7a7a\u8ecd\u4e00\u865f\u300d\u5c08\u6a5f\u665a\u4e0a10\u664242\u5206\u9032\u5165\u4e0a\u6d77\u7a7a\u57df\uff0c\u9810\u8a08\u7d0430\u5206\u9418\u5f8c\u62b5\u9054\u6d66\u6771\u570b\u969b\u6a5f\u5834\uff0c\u958b\u5c55\u4ed6\u4e0a\u4efb\u5f8c\u9996\u6b21\u8a2a\u83ef\u4e4b\u65c5\u3002' 
>>> re.compile(r'\s+', re.U).split(x) 
[u'\u7b80\u8baf\uff1a\u65b0\u83ef\u793e\u5831\u9053\uff0c\u7f8e\u570b\u7e3d\u7d71\u5967\u5df4\u99ac\u4e58\u5750\u7684\u300c\u7a7a\u8ecd\u4e00\u865f\u300d\u5c08\u6a5f\u665a\u4e0a10\u664242\u5206\u9032\u5165\u4e0a\u6d77\u7a7a\u57df\uff0c\u9810\u8a08\u7d0430\u5206\u9418\u5f8c\u62b5\u9054\u6d66\u6771\u570b\u969b\u6a5f\u5834\uff0c\u958b\u5c55\u4ed6\u4e0a\u4efb\u5f8c\u9996\u6b21\u8a2a\u83ef\u4e4b\u65c5\u3002'] 

Answer 6

दो सहेजें अक्षर और तीन बिंदुओं के बजाय एक elipsis (…, 0x2026) का उपयोग करें:

दिया स्ट्रिंग, हालांकि, जाहिरा तौर पर किसी भी सफेद स्थान पात्रों अजगर का यूनिकोड डेटाबेस के अनुसार शामिल नहीं है!

Answer 7

मैंने पुश नोटिफिकेशन के लिए पीएएपीएनएस के साथ समाधान की कोशिश की और सिर्फ मेरे लिए काम करने के लिए साझा करना चाहता था। मेरे पास यह मुद्दा था कि यूटीएफ -8 में 256 बाइट्स पर छेड़छाड़ के परिणामस्वरूप सूचना छोड़ दी जाएगी। मुझे यह सुनिश्चित करना था कि अधिसूचना को इसे काम करने के लिए "यूनिकोड_स्केप" के रूप में एन्कोड किया गया था। मुझे लगता है कि ऐसा इसलिए है क्योंकि परिणाम जेएसओएन के रूप में भेजा जाता है और कच्चे यूटीएफ -8 नहीं।

def unicode_truncate(s, length, encoding='unicode_escape'): 
    encoded = s.encode(encoding)[:length] 
    return encoded.decode(encoding, 'ignore') 

Answer 8

असल में, CJK में (रिक्तियों के साथ कोरियाई छोड़कर), आप खंड शब्द ठीक से करने के लिए शब्दकोश लुक-अप की जरूरत है: वैसे भी यहाँ समारोह है कि मेरे लिए काम किया है। "शब्द" की आपकी सटीक परिभाषा के आधार पर, जापानी उस से अधिक कठिन हो सकता है, क्योंकि किसी शब्द के सभी इन्फलेक्टेड वेरिएंट नहीं हैं (यानी "行 こ う" बनाम "行 っ た") शब्दकोश में दिखाई देंगे। चाहे यह प्रयास के लायक है, आपके आवेदन पर निर्भर करता है।