पायथन

Question

में एक स्ट्रिंग रखने वाले डिलिमिटर को टोकननाइज़ करें, क्या पाइथन में str.split के बराबर कोई भी समतुल्य है जो डिलीमीटर देता है?

मुझे कुछ टोकन को प्रोसेस करने के बाद मेरे आउटपुट के लिए व्हाइटस्पेस लेआउट को संरक्षित करने की आवश्यकता है।

उदाहरण:

>>> s="\tthis is an example" 
>>> print s.split() 
['this', 'is', 'an', 'example'] 

>>> print what_I_want(s) 
['\t', 'this', ' ', 'is', ' ', 'an', ' ', 'example'] 

धन्यवाद!

Answer 1

कैसे

के बारे में

import re 
splitter = re.compile(r'(\s+|\S+)') 
splitter.findall(s) 

Answer 2

>>> re.compile(r'(\s+)').split("\tthis is an example") 
['', '\t', 'this', ' ', 'is', ' ', 'an', ' ', 'example'] 

Answer 3

re मॉड्यूल इस सुविधा प्रदान करता है:

>>> import re 
>>> re.split('(\W+)', 'Words, words, words.') 
['Words', ', ', 'words', ', ', 'words', '.', ''] 

(अजगर प्रलेखन से उद्धृत)।

आपके उदाहरण के लिए (व्हाइटस्पेस पर विभाजित), re.split('(\s+)', '\tThis is an example') का उपयोग करें।

कुंजी रेगेक्स को घेरना है जिस पर कैप्चरिंग कोष्ठक में विभाजित करना है। इस तरह, delimiters परिणामों की सूची में जोड़ा जाता है।

संपादित करें: जैसा कि बताया गया है, किसी भी पूर्व/पिछली डिलीमीटर को भी सूची में जोड़ा जाएगा। इससे बचने के लिए आप पहले अपनी इनपुट स्ट्रिंग पर .strip() विधि का उपयोग कर सकते हैं। re मॉड्यूल के लिए इशारा करते हुए के लिए

Answer 4

धन्यवाद दोस्तों, मैं अभी भी उस के बीच तय करने की कोशिश कर रहा हूँ और मेरी अपनी समारोह है कि एक दृश्य देता है ...

def split_keep_delimiters(s, delims="\t\n\r "): 
    delim_group = s[0] in delims 
    start = 0 
    for index, char in enumerate(s): 
     if delim_group != (char in delims): 
      delim_group ^= True 
      yield s[start:index] 
      start = index 
    yield s[start:index+1] 

का उपयोग कर अगर मैं समय मैं उन्हें बेंचमार्क चाहते था एक्सडी

Answer 5

क्या आपने पाइपर्सिंग देखा है? उदाहरण the pyparsing wiki से उधार लिया:

>>> from pyparsing import Word, alphas 
>>> greet = Word(alphas) + "," + Word(alphas) + "!" 
>>> hello1 = 'Hello, World!' 
>>> hello2 = 'Greetings, Earthlings!' 
>>> for hello in hello1, hello2: 
...  print (u'%s \u2192 %r' % (hello, greet.parseString(hello))).encode('utf-8') 
... 
Hello, World! → (['Hello', ',', 'World', '!'], {}) 
Greetings, Earthlings! → (['Greetings', ',', 'Earthlings', '!'], {})