यह विधि डेटा बेस में शर्तों की एक सूची पर फिर से शुरू होती है, यह जांचें कि शर्तें तर्क के रूप में पारित पाठ में हैं या नहीं, और यदि कोई है, तो इसे खोज पृष्ठ के लिंक के साथ पैरामीटर के रूप में बदलें।यह पायथन विधि स्मृति को क्यों लीक कर रही है?
शब्दों की संख्या उच्च (लगभग 100000) है, इसलिए प्रक्रिया बहुत धीमी है, लेकिन यह ठीक है क्योंकि यह क्रॉन नौकरी के रूप में किया जाता है। हालांकि, यह बढ़ना करने के लिए स्क्रिप्ट स्मृति consumtion का कारण बनता है और मैं नहीं मिल सकता है क्यों:
class SearchedTerm(models.Model):
[...]
@classmethod
def add_search_links_to_text(cls, string, count=3, queryset=None):
"""
Take a list of all researched terms and search them in the
text. If they exist, turn them into links to the search
page.
This process is limited to `count` replacements maximum.
WARNING: because the sites got different URLS schemas, we don't
provides direct links, but we inject the {% url %} tag
so it must be rendered before display. You can use the `eval`
tag from `libs` for this. Since they got different namespace as
well, we enter a generic 'namespace' and delegate to the
template to change it with the proper one as well.
If you have a batch process to do, you can pass a query set
that will be used instead of getting all searched term at
each calls.
"""
found = 0
terms = queryset or cls.on_site.all()
# to avoid duplicate searched terms to be replaced twice
# keep a list of already linkified content
# added words we are going to insert with the link so they won't match
# in case of multi passes
processed = set((u'video', u'streaming', u'title',
u'search', u'namespace', u'href', u'title',
u'url'))
for term in terms:
text = term.text.lower()
# no small word and make
# quick check to avoid all the rest of the matching
if len(text) < 3 or text not in string:
continue
if found and cls._is_processed(text, processed):
continue
# match the search word with accent, for any case
# ensure this is not part of a word by including
# two 'non-letter' character on both ends of the word
pattern = re.compile(ur'([^\w]|^)(%s)([^\w]|$)' % text,
re.UNICODE|re.IGNORECASE)
if re.search(pattern, string):
found += 1
# create the link string
# replace the word in the description
# use back references (\1, \2, etc) to preserve the original
# formatin
# use raw unicode strings (ur"string" notation) to avoid
# problems with accents and escaping
query = '-'.join(term.text.split())
url = ur'{%% url namespace:static-search "%s" %%}' % query
replace_with = ur'\1<a title="\2 video streaming" href="%s">\2</a>\3' % url
string = re.sub(pattern, replace_with, string)
processed.add(text)
if found >= 3:
break
return string
आप करेंगे शायद इस कोड के साथ-साथ हैं:
class SearchedTerm(models.Model):
[...]
@classmethod
def _is_processed(cls, text, processed):
"""
Check if the text if part of the already processed string
we don't use `in` the set, but `in ` each strings of the set
to avoid subtring matching that will destroy the tags.
This is mainly an utility function so you probably won't use
it directly.
"""
if text in processed:
return True
return any(((text in string) for string in processed))
मैं वास्तव में संदर्भ के साथ केवल दो वस्तुओं है यह यहां संदिग्ध हो सकता है: terms और processed। लेकिन मैं उनके लिए एकत्रित कचरा नहीं होने का कोई कारण नहीं देख सकता।
संपादित करें:
मैं मैं कहना चाहिए कि इस विधि एक Django मॉडल विधि के अंदर ही कहा जाता है लगता है। मैं अगर यह प्रासंगिक है पता नहीं, लेकिन यहाँ कोड है:
class Video(models.Model):
[...]
def update_html_description(self, links=3, queryset=None):
"""
Take a list of all researched terms and search them in the
description. If they exist, turn them into links to the search
engine. Put the reset into `html_description`.
This use `add_search_link_to_text` and has therefor, the same
limitations.
It DOESN'T call save().
"""
queryset = queryset or SearchedTerm.objects.filter(sites__in=self.sites.all())
text = self.description or self.title
self.html_description = SearchedTerm.add_search_links_to_text(text,
links,
queryset)
मैं कल्पना कर सकते हैं कि स्वत: अजगर regex कैशिंग कुछ स्मृति को खाता है। लेकिन इसे केवल एक बार करना चाहिए और update_html_description की प्रत्येक कॉल पर स्मृति खपत बढ़ जाती है।
समस्या यह नहीं है कि यह बहुत सारी स्मृति का उपभोग करता है, समस्या यह है कि यह इसे जारी नहीं करता है: प्रत्येक कॉल में राम का लगभग 3% हिस्सा होता है, अंत में इसे भरना और स्क्रिप्ट को क्रैश करना 'स्मृति आवंटित नहीं कर सकता '।
' 'पाइथन जैसी कचरा एकत्रित भाषा में स्मृति को लेना लगभग असंभव है। कड़ाई से बोलते हुए, एक स्मृति रिसाव स्मृति है जिसमें इसका कोई संदर्भ नहीं है। सी ++ में यदि आप कक्षा में स्मृति आवंटित करते हैं, लेकिन विनाशक घोषित न करें, तो आपके पास स्मृति रिसाव हो सकती है। आपके पास यहां केवल उच्च मेमोरी खपत है। ' –
:-) ठीक है। तब मुझे एक उच्च स्मृति खपत मिली जो प्रत्येक कॉल के बाद उच्च और उच्च हो जाती है। लेकिन चूंकि यह एक विधि है। और चूंकि मैं इसे पूरा करने के बाद किसी भी चीज को प्रतिबिंबित नहीं करता हूं, फिर भी कुछ स्मृति का उपभोग क्यों करता है? –
इस बारे में प्रश्न अपडेट किया गया। –