2014-10-13 5 views
6

मुझे स्पार्क में वर्तमान कार्य की आईडी प्राप्त करने की आवश्यकता है। मैं Google और आधिकारिक एपीआई में खोज कर रहा हूं लेकिन केवल एक ही आईडी जो मैं पा सकता हूं वह निष्पादक आईडी और आरडीडी की आईडी है। क्या किसी को पता है कि किसी कार्य की अद्वितीय आईडी कैसे प्राप्त करें? मैंने देखा है कि कक्षा TaskInfo में वही है जो मैं ढूंढ रहा हूं, लेकिन मुझे नहीं पता कि इस वर्ग का उदाहरण कैसे प्राप्त करें।जावा में स्पार्क में वर्तमान कार्य आईडी प्राप्त करें

उत्तर

5

आदेश विशेष कार्य आईडी आप TaskContext उपयोग कर सकते हैं पाने के लिए: ध्यान में

import org.apache.spark.TaskContext; 

textFile.map(x -> { 
    TaskContext tc = TaskContext.get(); 
    System.out.println(tc.taskAttemptId()); 
}); 

भालू है कि विशिष्ट println नोड यह वर्तमान में क्रियान्वित किया जाता है और न ड्राइवरों कंसोल पर प्रिंट किया जाएगा।

संबंधित मुद्दे