मैं BigQuery (यानी रिपोर्ट) से क्लाउडएसक्यूएल डेटाबेस में डेटा डंप करना चाहता हूं, इस प्रोग्राम को प्राप्त करने का सबसे अच्छा तरीका क्या है?क्लाउड एसक्यूएल में Google BigQuery से निर्यात करें?
मुझे पता है मैं एक BigQuery क्वेरी चलाने, CSV के रूप में डाउनलोड करने के लिए, तो बादल कंसोल के माध्यम से अपलोड करके इस manually कर सकता है, लेकिन मैं अधिमानतः पायथन/SQL में प्रोग्राम के ऐसा करने के लिए, चाहते हैं।
यदि आप संपूर्ण सारणी को डंप करना चाहते हैं, तो आप इसे प्राप्त करने के लिए BigQuery और क्लाउड एसक्यूएल एपीआई के संयोजन का उपयोग कर सकते हैं।
क्लाउड स्टोरेज में BigQuery तालिका निकालने के लिए BigQuery दस्तावेज़ has an API example in python।
डेटा क्लाउड स्टोरेज में होने के बाद, आप डेटा को MySQL तालिका में आयात करने के लिए Cloud SQL Admin API का उपयोग कर सकते हैं।
यदि आपको अधिक बारीक नियंत्रण की आवश्यकता है, तो आप क्वेरी करने के लिए BigQuery API का उपयोग कर सकते हैं, परिणाम प्राप्त कर सकते हैं, क्लाउड एसक्यूएल इंस्टेंस से कनेक्ट कर सकते हैं और डेटा डालेंगे। यदि डेटा की मात्रा बड़ी है तो यह भी प्रदर्शन नहीं करेगा।
क्लाउड स्टोरेज में रुचि रखने वाले डेटा को लिखने के लिए डेटाफ्लो का उपयोग करने के लिए एक और जटिल दृष्टिकोण है और इसे आयात करने के लिए क्लाउड एसक्यूएल एपीआई का उपयोग करना है।
(मेरे अपने जिज्ञासा के लिए, आप उपयोग के मामले BigQuery के बजाय क्लाउड SQL में डेटा चाहने के लिए वर्णन कर सकते हैं? यह मेरे में मदद मिलेगी/के तरीके को समझने के लिए हमारे ग्राहकों हमारे उत्पाद का उपयोग कर रहे हैं और जहां हम सुधार कर सकते हैं।)
मैं दो उपयोग मामलों की पेशकश कर सकता हूं: 1) आप किसी तृतीय-पक्ष टूल या LOB एप्लिकेशन का उपयोग करना चाहते हैं जिसके लिए वास्तव में SQL अनुपालन डेटाबेस (अद्यतन, DELETE, आदि के साथ) की आवश्यकता होती है। बीक्यू में डेटा तैयार करें, फिर क्लाउडएसक्यूएल में निर्यात करें। 2) आपके पास MySQL से प्रसंस्करण/विश्लेषण/ईटीएल स्क्रिप्ट हैं जो बीक्यू के लिए पोर्ट के लिए जटिल या महंगे हैं। बीक्यू में डेटा तैयार करें, क्लाउडएसक्यूएल में कुछ प्रोसेसिंग करें, फिर इसे वापस बीक्यू में लाएं। इस आवश्यकता को खत्म करने के लिए, बीक्यू को एएनएसआई-एसक्यूएल संगतता और संग्रहीत प्रक्रियाओं की आवश्यकता होगी। (मैं या तो सिफारिश नहीं कर रहा हूं ... बस कह रहा हूं।) –
धन्यवाद, हमारा उपयोग मामला है: हम BigQuery में बड़े डेटा की 'संख्या क्रंचिंग' करना चाहते हैं और हम दैनिक रिपोर्ट आउटपुट करना चाहते हैं (यानी बहुत छोटा डेटा बीक्यू प्रश्न) एक MySQL डेटाबेस में ताकि हम आसानी से इन्हें वेब डैशबोर्ड/एपीआई –
के माध्यम से आसानी से प्रदर्शित कर सकें। एक अन्य उपयोग केस सरल पहचान की तुलना में अधिक लचीली जुड़ने तक पहुंच प्राप्त करना चाहता है, क्योंकि बड़े टेबल की क्रॉस में शामिल होने से बिगक्वायर की घोड़े की शक्ति भी जल्दी खत्म हो जाती है। – oulenz