पायथन लाइन-दर-लाइन मेमोरी प्रोफाइलर?

Question

मैं एक बड़े पायथन कोडबेस से, एक समारोह के चलाने के दौरान ढेर उपयोग या स्मृति आवंटन का सारांश उत्पन्न करने के लिए देख रहा हूं।

मैं heapy से परिचित हूं, और यह मेरे कोड में विशेष बिंदुओं पर ढेर के "स्नैपशॉट्स" लेने के लिए मुझे अच्छी तरह से सेवा करता है, लेकिन मुझे "मेमोरी-ओवर-टाइम" सारांश उत्पन्न करना मुश्किल हो गया है यह। मैंने line_profiler के साथ भी खेला है, लेकिन यह रन टाइम के साथ काम करता है, स्मृति नहीं।

मेरा फ़ॉलबैक अभी massif के साथ मान्य है, लेकिन उसमें कई पाइथन जानकारी की कमी है जो हेपी और line_profiler दोनों देते हैं। क्या बाद वाले दो के संयोजन का कुछ प्रकार है जो एक पायथन कार्यक्रम के निष्पादन अवधि पर स्मृति उपयोग या ढेर वृद्धि की भावना देता है?

Answer 1

मैं एक कस्टम ट्रेसर फ़ंक्शन पंजीकृत करने के लिए प्रोग्राम स्टार्टअप पर sys.settrace का उपयोग करूंगा। कोड की प्रत्येक पंक्ति के लिए custom_trace_function कहा जाएगा। फिर आप बाद में प्रसंस्करण के लिए फ़ाइल में हेपी या meliae द्वारा एकत्र की गई जानकारी संग्रहीत करने के लिए उस फ़ंक्शन का उपयोग कर सकते हैं।

import sys 
import time 
import atexit 
from guppy import hpy 

_last_log_time = time.time() 
_logfile = open('logfile.txt', 'w') 

def heapy_profile(frame, event, arg): 
    currtime = time.time() 
    if currtime - _last_log_time < 1: 
     return 
    _last_log_time = currtime 
    code = frame.f_code 
    filename = code.co_filename 
    lineno = code.co_firstlineno 
    idset = hpy().heap() 
    logfile.write('%s %s:%s\n%s\n\n' % (currtime, filename, lineno, idset)) 
    logfile.flush() 

atexit.register(_logfile.close) 
sys.settrace(heapy_profile) 

Answer 2

आप memory_profiler द्वारा रुचि हो सकती है:

यहाँ एक बहुत ही सरल उदाहरण है जो() hpy.heap के उत्पादन में एक सादा पाठ फ़ाइल के लिए प्रत्येक दूसरे लॉग है।