मैं एक 27GB फ़ाइल है कि मैं एक एडब्ल्यूएस लिनक्स EC2 से S3 के लिए स्थानांतरित करने के लिए कोशिश कर रहा हूँ है। मैं दोनों 'S3put' कमांड और 'S3cmd डाल' कमांड की कोशिश की है। दोनों एक परीक्षण फ़ाइल के साथ काम करते हैं। न तो बड़ी फाइल के साथ काम करते हैं। कोई त्रुटि नहीं दी जाती है, कमांड तुरंत लौटाता है लेकिन कुछ भी नहीं होता है।बड़ी फाइल S3 के लिए
s3cmd put bigfile.tsv s3://bucket/bigfile.tsv
आप 5TB अप करने के लिए आकारों के साथ S3 के लिए वस्तुओं अपलोड कर सकते हैं हालांकि, एस 3 एक व्यक्ति PUT ऑपरेशन के लिए 5GB के आकार की सीमा है।
फ़ाइलों 5GB से बड़ा (या 100MB से बड़ी फ़ाइलें) लोड करने में आप एस 3 की बहुखण्डीय अपलोड सुविधा का उपयोग करना चाहते करने जा रहे हैं।
http://docs.amazonwebservices.com/AmazonS3/latest/dev/UploadingObjects.html
http://aws.typepad.com/aws/2010/11/amazon-s3-multipart-upload.html
(ऊपर ब्लॉग पोस्ट में एक 5GB वस्तु सीमा की पुरानी वर्णन पर ध्यान न दें। वर्तमान सीमा 5TB है।)
अजगर के लिए Boto पुस्तकालय बहुखण्डीय अपलोड का समर्थन करता है, और नवीनतम Boto सॉफ्टवेयर एक "s3multiput" कमांड लाइन उपकरण है जो आप के लिए जटिलताओं का ख्याल रखता है और यहां तक कि भाग अपलोड parallelizes भी शामिल है।
आह, यह अगले समस्या के बारे में मैं हिट करने के लिए कर रहा हूँ की तरह लग रहा है। मैं फ्लू को फिर से उत्पन्न करूंगा और देख सकता हूं कि मैं s3multiput के साथ कैसे जाता हूं। धन्यवाद। – waigani
फ़ाइल मौजूद नहीं था, DOH। मैं -v टैग जोड़कर वर्बोज़ मोड में S3 आदेशों चलाने के बाद इस एहसास हुआ:
s3cmd put -v bigfile.tsv s3://bucket/bigfile.tsv
s3cmd संस्करण 1.1.0 "डाल" कमांड के हिस्से के रूप बहु-भाग अपलोड का समर्थन करता है, लेकिन इसकी अभी भी बीटा में (वर्तमान में।)
मैं नए S3CMD उपकरण बहुखण्डीय अपलोडिंग स्वचालित रूप से कम से कम संस्करण यह उबंटू में यह यह करता है आता है का समर्थन करता है लगता है। – Maziyar
, http://stackoverflow.com/questions/5774808/s3cmd-failed-too-many-times/22107084#22107084 देख और मेरा सुझाव है: http://stackoverflow.com/a/ 22107084/116293 – user116293
और कभी कभी यह रूट पहुँच 'sudo डाल s3cmd की जरूरत है ...' – tarikakyol