एक तालिका के समानांतर में सम्मिलित करने का सबसे तेज़ तरीका

Question

मेरी कंपनी को सिम्बियोटिक साझेदारी द्वारा परजीवी बना दिया गया है। परजीवी से अपना डेटा प्राप्त करने के लिए, हमें एक दर्दनाक धीमी ओडीबीसी कनेक्शन का उपयोग करना होगा। मैंने हाल ही में नोटिस किया है कि मैं समांतर में क्वेरी चलाने के द्वारा अधिक थ्रूपुट प्राप्त कर सकता हूं (यहां तक ​​कि उसी तालिका पर)।

एक विशेष रूप से बड़ी तालिका है जिसे मैं डेटा निकालना चाहता हूं और इसे अपनी स्थानीय तालिका में ले जाना चाहता हूं। समानांतर में चलने वाले प्रश्नों को मैं डेटा तेज़ी से प्राप्त कर सकता हूं, लेकिन मुझे यह भी कल्पना है कि इससे कई प्रश्नों से डेटा को एक ही टेबल में एक ही समय में लिखने का प्रयास किया जा सकता है।

इस स्थिति को सर्वोत्तम तरीके से संभालने के तरीके पर आप मुझे क्या सलाह दे सकते हैं ताकि मैं समांतर में प्रश्नों का उपयोग करने की गति में वृद्धि कर सकूं?

संपादित करें: मुझे यहां कुछ शानदार प्रतिक्रिया मिली है, लेकिन मुझे लगता है कि मैं इस तथ्य पर पूरी तरह स्पष्ट नहीं हूं कि मैं एक लिंक किए गए सर्वर (जो ओडीबीसी ड्राइवरों का उपयोग करता है) के माध्यम से डेटा खींच रहा हूं। दूसरे शब्दों में इसका मतलब है कि मैं सामान्य INSERT कथन चला सकता हूं और मेरा मानना ​​है कि एसकब्लूल्ककॉपी या बल्क इंसर्ट (वास्तव में, मुझे विश्वास नहीं है कि बल्क इंसर्ट भी एक विकल्प होगा) से बेहतर प्रदर्शन प्रदान करेगा।

Answer 1

क्या आपने Load 1TB in less than 1 hour पढ़ा है?

1. आपके पास उपलब्ध CPUs के रूप में कई लोड प्रक्रियाएं चलाएं। यदि आपके पास 32 CPU हैं, तो 32 समानांतर भार चलाएं। यदि आपके पास 8 सीपीयू हैं, तो 8 समांतर लोड चलाएं।
2. यदि आपके पास अपनी इनपुट फ़ाइलों के निर्माण पर नियंत्रण है, तो उन्हें आकार का आकार बनाएं जो लोड समान थ्रेड की संख्या से समान रूप से विभाजित है समानांतर में चलाना चाहते हैं। यह भी सुनिश्चित करें कि यदि आप स्विच विभाजन रणनीति का उपयोग करना चाहते हैं तो सभी रिकॉर्ड एक विभाजन से संबंधित हैं।
3. यदि आप SQL सर्वर मशीन पर प्रक्रिया चला रहे हैं तो बीसीपी के बजाय बल्क सम्मिलन का उपयोग करें।
4. एक और 8-10% हासिल करने के लिए टेबल विभाजन का उपयोग करें, लेकिन केवल तभी यदि आपका इनपुट फ़ाइलें आपके विभाजन फ़ंक्शन से मेल खाने के लिए गारंटीकृत हैं, जिसका अर्थ है कि एक फ़ाइल में सभी रिकॉर्ड एक ही विभाजन में होना चाहिए।
5. एक समय लॉकिंग पर पंक्ति से बचने के लिए टैबलेट का उपयोग करें।
6. प्रति बैच = 2500 का उपयोग करें, या यदि आप एक तालिका में एकाधिक धाराओं को आयात करते हैं तो इसके पास कुछ उपयोग करें।

   एसक्यूएल सर्वर 2008 के तरीकों है कि यह कम से कम प्रवेश के साथ संभाल कर सकते हैं बढ़ाता है:

एसक्यूएल सर्वर 2008 के लिए, वहाँ कुछ निश्चित परिस्थितियों जहां minimal logging for a standard INSERT SELECT का उपयोग कर सकते हैं। यह न्यूनतम लॉग इन नियमित INSERT SELECT कथन का समर्थन करता है। इसके अलावा, ट्रेस ध्वज 610 पर मोड़ने से SQL सर्वर 2008 नई कुंजी श्रेणियों के लिए एक nonempty बी-पेड़ के खिलाफ न्यूनतम लॉगिंग का समर्थन करता है जो नए पृष्ठों के आवंटन का कारण बनता है।

Answer 2

अपने वहाँ (System.Data.SqlClient नामस्थान में) SqlBulkCopy उपयोग करने का विकल्प है और इस लेख समानांतर में यह करने के लिए यह संभव है पता चलता है के रूप में में कोड यानी ग # ऐसा करने के लिए देख रहे हैं।

http://www.adathedev.co.uk/2011/01/sqlbulkcopy-to-sql-server-in-parallel.html

Answer 3

किसी भी संयोग से आप एसक्यूएल 2014 तक अपग्रेड कर दिया है, तो आप समानांतर में सम्मिलित कर सकते हैं (अनुकूलता स्तर 110 होना चाहिए)। इसे देखें: http://msdn.microsoft.com/en-us/library/bb510411%28v=sql.120%29.aspx