अपने डेटाबेस का नमूना खींचना - पोस्टग्रेस्क्ल

Question

हमारे पास एक अर्ध-बड़ा डेटाबेस है जो हमारी व्यक्तिगत देव मशीनों पर स्थानीय रूप से आयात करने में लंबा समय लगता है। मैं सोच रहा था कि क्या कोई उपकरण जो डेटाबेस से कनेक्ट हो सकता है, थोड़ा विश्लेषण करें और पैरामीटर में पारित होने के माध्यम से सभी संबंधों को रखते हुए डेटाबेस का नमूना खींचें। कुछ ऐसा है जैसे pg_sample --rough_size 1000 --dbhost mydbhost --dbuname uname --dbpword pword यह एक डंप बनाता है जिसे मैं परीक्षण और विकास के लिए अपने डेटाबेस में आयात कर सकता हूं। लेकिन ऐसा करने में 45 मिनट लगेंगे नहीं।

धन्यवाद

Answer 1

मैं सुझाव है कि आप की जांच pg_dump --format=custom और pg_restore -j 12। custom प्रारूप समांतर पुनर्स्थापना की अनुमति देता है (और वांछित होने पर कच्चे एसक्यूएल में डाला जा सकता है, इसलिए आप यहां कोई कार्यक्षमता खो नहीं रहे हैं)। -j पैरामीटर pg_restore पर समानांतर में पुनर्स्थापना चलाने का कारण बनता है। यह एक पर्याप्त गति प्रदान कर सकते हैं। विशेष रूप से यदि आपने अपने रखरखाव_work_mem को अच्छे और बड़े पैमाने पर क्रैंक किया है।

यह ऊपर की ओर इरविन द्वारा उल्लिखित कारणों के लिए सीधे पूछे जाने वाले समस्या को हल नहीं करेगा, और क्योंकि इसके बारे में ज्ञान के स्तर की आवश्यकता होती है जो प्रतिनिधित्व करने के लिए महत्वपूर्ण है और यह नहीं है कि यह केवल स्कीमा में नहीं है । यह ऐसा कुछ है जो डेवलपर का समय लेता है और आमतौर पर स्कीमा को पहले स्थान पर बनाया जा रहा है, उसी समय किया जाना चाहिए।

Answer 2

मैं इस तरह के एक उपकरण लिखा है: https://github.com/mla/pg_sample

README से:

pg_sample एक बड़ा PostgreSQL डेटाबेस से एक छोटी सी, नमूना डेटासेट के निर्यात के लिए एक उपयोगिता है। आउटपुट और कमांड लाइन विकल्प निकटता से pg_dump बैकअप उपयोगिता जैसा दिखता है (हालांकि केवल सादे-पाठ प्रारूप समर्थित है)।

उत्पादित नमूना डेटाबेस में मूल से सभी तालिकाएं शामिल हैं, संदर्भित अखंडता को बनाए रखती है, और परिपत्र निर्भरताओं का समर्थन करती है।