एसक्यूप 1.4.6 के साथ एचडीपी 2.3.2 पर, मैं SQL सर्वर से टेबल आयात करने की कोशिश कर रहा हूं 2008स्क्वाओप: SQL सर्वर फेंकने से आयात करना "होस्ट xxxx के लिए टीसीपी/आईपी कनेक्शन, पोर्ट 1433 विफल रहा है" मानचित्र कार्यों के दौरान
मैं सफलतापूर्वक SQL सर्वर से कनेक्ट करने, क्योंकि मैं डेटाबेस और तालिकाओं आदि सूचीबद्ध कर सकते हैं कर सकती हूं
हालांकि, आयात के दौरान हर बार मैं निम्न त्रुटि प्राप्त:
Error: java.lang.RuntimeException: java.lang.RuntimeException: com.microsoft.sqlserver.jdbc.SQLServerException: The TCP/IP connection to the host x.x.x.x, port 1433 has failed. Error: "connect timed out. Verify the connection properties. Make sure that an instance of SQL Server is running on the host and accepting TCP/IP connections at the port. Make sure that TCP connections to the port are not blocked by a firewall.".
फिर से, मैं वास्तव में SQL सर्वर से सफलतापूर्वक आयात करने में सक्षम हूं, लेकिन केवल दो जोड़े के बाद retries के। हालांकि, इस पर ध्यान दिए बिना कि आयात सफल हुआ या असफल रहा, मुझे हमेशा ऊपर उल्लिखित त्रुटि मिलती है और मैं सोच रहा था कि समस्या का कारण क्या हो सकता है? जब भी वे असफल होते हैं तो आयात को दोहराना जारी रखना मुश्किल होता है।
मैंने पहले ही SQL सर्वर पर कनेक्शन टाइम-आउट बंद कर दिया है, और हालांकि हैडोप क्लस्टर और SQL सर्वर से कनेक्शन हमारे कॉर्पोरेट फ़ायरवॉल से गुज़रता है, हमारे व्यवस्थापक मुझे बताते हैं कि फ़ायरवॉल पर टाइमआउट 3600 है सेकंड। उस चिह्न के पास कहीं भी आने से पहले आयात विफल हो जाते हैं।
बस sqoop से कोई एक आदेश का एक उदाहरण मैं का उपयोग करें:
sqoop import \
--connect "jdbc:sqlserver://x.x.x.:1433;database=CEMHistorical" \
--table StreamSummary --username hadoop \
--password-file hdfs:///user/sqoop/.adg.password --hive-import \
--hive-overwrite --create-hive-table --split-by OfferedTime \
--hive-table develop.streamsummary --map-column-hive Call_ID=STRING,Stream_ID=STRING,OriginalCall_ID=STRING,TransactionID=TIMESTAMP
अद्यतन:
हमारे नेटवर्क टीम से संपर्क करने के बाद, ऐसा लगता यह सबसे निश्चित रूप से एक नेटवर्क समस्या है । संदर्भ जोड़ने के लिए, हैडोप क्लस्टर SQL सर्वर के रूप में एक अलग VLAN पर है और यह कई फ़ायरवॉल से गुज़रता है। परीक्षण करने के लिए, मैंने एक ही वीएलएएन के भीतर एक अलग SQL सर्वर से आयात करने का प्रयास किया जो हडोप क्लस्टर के रूप में था और मुझे यह अपवाद बिल्कुल नहीं मिला।
क्या आप कनेक्शन नेटवर्क विफल होने पर फ़ायरवॉल लॉग की जांच करने के लिए अपने नेटवर्क प्रशासकों से पूछ सकते हैं? शायद इस मामले पर कुछ प्रकाश डाला जा सकता है? –
मैंने उनसे पूछा था कि लेकिन आमतौर पर उन्हें वापस आने के लिए उन्हें थोड़ा सा समय लगता है ... जैसे ही मैं उनसे वापस सुनता हूं, फिर से प्रश्न को फिर से अपडेट कर दूंगा। –