डाटाबेस (स्पार्क): .gg निर्भरता स्वचालित रूप से स्थापित नहीं है?

Question

मेरे पास स्थानीय रूप से बनाया गया .egg पैकेज है जो boto==2.38.0. पर निर्भर करता है मैंने बिल्ड वितरण बनाने के लिए setuptools का उपयोग किया। सब कुछ मेरे अपने स्थानीय वातावरण में काम करता है, क्योंकि यह boto को PiP से सही तरीके से प्राप्त करता है। हालांकि databricks पर जब मैं क्लस्टर में लाइब्रेरी संलग्न करता हूं तो यह स्वचालित रूप से निर्भरता प्राप्त नहीं करता है।

मैं वास्तव में डेटाबेस पर लोड होने पर स्वचालित रूप से निर्भरता स्थापित करने की कोशिश करने के कुछ दिनों के लिए संघर्ष कर रहा हूं, मैं setuptools;'install_requires=['boto==2.38.0']' प्रासंगिक क्षेत्र का उपयोग करता हूं।

जब मैं databricks सर्वर पर PyPi से सीधे boto इंस्टॉल करें और फिर अपने ही .egg फोन (ठीक से काम करने install_requires क्षेत्र पर निर्भर ऐसा नहीं), यह पहचान करता है कि boto एक पैकेज है, लेकिन यह के किसी भी नहीं पहचानता है इसके मॉड्यूल (क्योंकि यह मेरे अपने .gg के नामस्थान पर आयात नहीं किया गया है ???)। तो मुझे काम करने के लिए मेरा .egg नहीं मिल सकता है। यदि यह समस्या बिना किसी समाधान के बनी रहती है तो मुझे लगता है कि databricks उपयोगकर्ताओं के लिए वास्तव में एक बड़ी समस्या है। पाठ्यक्रम का समाधान होना चाहिए ...

धन्यवाद!

Answer 1

सामान्य रूप से, यदि वे विविध हैं और समान भाषा समर्थन नहीं है, तो आपके आवेदन की निर्भरता सामान्य रूप से काम नहीं करेगी। Databrick docs समझाने पुस्तकालय का समर्थन करता है दोनों अजगर 2 और 3 पुस्तकालय अजगर 3 का समर्थन नहीं करता है तो पुस्तकालय लगाव एक त्रुटि के साथ विफल हो जाएगा कि अगर

Databricks सही संस्करण स्थापित हो जाएगा।

इस मामले में जब आप क्लस्टर में लाइब्रेरी संलग्न करते हैं तो यह स्वचालित रूप से निर्भरता प्राप्त नहीं करेगा।