पायथन का उपयोग करके, आप स्मृति में पूरी तरह से कैसे उतारते हैं?

Question

मैं ऐसा माहौल मैं डिस्क के लिए कुछ भी नहीं बचा सकता में काम कर रहा हूँ। मुझे टैर फाइलों को खींचने और डिस्क पर सहेजे बिना उन्हें अनजिप करने में सक्षम होना चाहिए। यह असफल लगता है:

मैं इस की कोशिश की है, लेकिन यह त्रुटियों tosses:

# fetch.py 
from cStringIO import StringIO 
import requests 
url = "http://example.com/data.tar.gz" 
response = requests.get(url) 

# ERROR is thrown here. Error shown below 
tar = tarfile.open(mode= "r:gz", fileobj = StringIO(response.content)) 

# This SHOULD break as tar.extract() saves to disk. 
# Can't tell because of error on previous line of code. 
data = tar.extract() 

कोड ब्लॉक में बताया गया है इसके बाद के संस्करण मैं त्रुटि लाइन पर निम्नलिखित ट्रैसबैक मिलती है:

Traceback (most recent call last): 
    File "<input>", line 1, in <module> 
    File "./importers/bestbuy_fetcher.py", line 23, in download_bestbuy_batch 
    tar = tarfile.open(mode= "r:gz", fileobj = StringIO(response.content)) 
    File "/System/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/tarfile.py", line 1662, in open 
    return func(name, filemode, fileobj, **kwargs) 
    File "/System/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/tarfile.py", line 1711, in gzopen 
    **kwargs) 
    File "/System/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/tarfile.py", line 1689, in taropen 
    return cls(name, mode, fileobj, **kwargs) 
    File "/System/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/tarfile.py", line 1568, in __init__ 
    self.firstmember = self.next() 
    File "/System/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/tarfile.py", line 2324, in next 
    raise ReadError(str(e)) 
ReadError: invalid header 

Answer 1

बाहर कर देता है समस्या यह है कि फ़ाइल "data.tar.gz एक tar संग्रह नहीं था बस एक gzip संपीडित फ़ाइल था तो मैं इसके साथ हल:।।

# fetch.py 
from cStringIO import StringIO 
import gzip 
import requests 
# Called a 'tar' file but actually a gzip file. @#$%!!! 
url = "http://example.com/data.tar.gz" 
response = requests.get(url) 

results = gzip.GzipFile(fileobj=StringIO(response.content)) 

हर किसी को जो मदद के लिए धन्यवाद पिच इन!

Answer 2

यह मदद करने के लिए

import sys 
import zipfile 
sys.argv[0] = "/home/tom/Documents/REdata/AllListing1RES.zip" 
zip_file = zipfile.ZipFile(sys.argv[0]) 
items_file = zip_file.open('AllListing1RES.txt', 'rU') 
df = read_table(items_file, sep='\t', index_col=0) 

Answer 3

मुझे लगता है कि त्रुटि आप कह रहा है tarfile की फ़ाइल स्वरूप गलत है चाहिए। wget के साथ फ़ाइल लाने और कमांड लाइन पर इसे अनारक्षित करने का प्रयास करें।

अन्य सवाल, कैसे अजगर डिस्क पर फ़ाइल सामग्री लिखने को रोकने के लिए के बारे में tarfile एपीआई को नज़दीक से देखने की आवश्यकता है। इसके बजाय TarFile.extract() बुलाने की मैं तुम्हें getnames() जो टार फ़ाइल में हर सदस्य के नाम वापस आ जाएगी की जरूरत है। तो फिर तुम extractfile का उपयोग करने वाले सदस्य की सामग्री को प्राप्त करने के लिए कर सकते हैं:

import tarfile  

# Open tarfile 
tar = tarfile.open(mode="r:gz", fileobj = file('foo.tgz')) 

# Iterate over every member 
for member in tar.getnames(): 
    # Print contents of every file 
    print tar.extractfile(member).read() 

Answer 4

आप की कोशिश कर सकते कि हम क्या किया था जब अनुरोध के साथ + टार निपटने:

| extractfile(self, member) 
|  Extract a member from the archive as a file object. `member' may be 
|  a filename or a TarInfo object. If `member' is a regular file, a 
|  file-like object is returned. If `member' is a link, a file-like 
|  object is constructed from the link's target. If `member' is none of 
|  the above, None is returned. 
|  The file-like object is read-only and provides the following 
|  methods: read(), readline(), readlines(), seek() and tell() 

यहाँ एक उदाहरण है का उपयोग करें | फ़ाइल खोलने के लिए मोड। विवरण के लिए http://docs.python.org/library/tarfile.html#tarfile.open देखें।

आप मूल रूप से आप tarfile.open(mode='r|gz', fileobj=response.raw) का उपयोग कर टार फ़ाइल को खोलने https://github.com/djeese/djeese-client/blob/master/djeese/commands/clonestatic.py#L53

पर कोड देख सकते हैं।

यह हमारे लिए शानदार काम किया, और उम्मीद है कि आप के लिए भी करता है।