अपाचे स्पार्क स्ट्रीमिंग संदर्भ से JAR में संसाधन निर्देशिका में फ़ाइलों तक पहुंच

Question

मेरे पास एक जावा एप्लिकेशन है जिसे मैंने स्पार्क स्ट्रीमिंग नौकरी के रूप में लिखा है जिसके लिए कुछ संसाधन संसाधनों की आवश्यकता है जिन्हें मैंने संसाधन निर्देशिका में जार में शामिल किया है (डिफ़ॉल्ट मेवेन निर्देशिका का उपयोग करना संरचना)। यूनिट परीक्षणों के साथ मुझे इन फ़ाइलों तक पहुंचने में कोई समस्या नहीं है, लेकिन जब मैं स्पार्क-सबमिट के साथ अपना प्रोग्राम चलाता हूं तो मुझे FileNotFoundException मिलता है। स्पार्क-सबमिट के साथ चलते समय मैं अपने जार में क्लासपाथ पर फ़ाइलों का उपयोग कैसे करूं?

कोड मैं वर्तमान में मेरे फ़ाइल तक पहुँचने का उपयोग कर रहा हूँ इस तरह मोटे तौर पर दिखता है:

InputStream input; 

    try { 
     URL url = this.getClass().getClassLoader().getResource("my file"); 
     if (url == null) { 
      throw new IOException("file does not exist"); 
     } 
     String path = url.getPath(); 
     input = new FileInputStream(path); 
    } catch(IOException e) { 
     throw new RuntimeException(e); 
    } 

धन्यवाद।

नोट यह Reading a resource file from within jar (जिसे सुझाया गया था) का डुप्लिकेट नहीं है, क्योंकि यह कोड स्थानीय रूप से चलाने पर काम करता है। स्पार्क क्लस्टर में चलने पर यह केवल विफल रहता है।

Answer 1

मैं संसाधन निर्देशिका एक अलग (और काफी कम मूर्ख) रास्ते तक पहुंच कर इस तय:

input = MyClass.class.getResourceAsStream("/my file");