स्पार्क मास्टर

Question

नीचे नए ज़ूकीपर नेता का चुनाव बंद हुआ मुझे एहसास हुआ कि जब मैं नेता जुकीपर को मारता हूं तो मास्टर स्पार्क उत्तरदायी नहीं होता है (बेशक मैंने ज़ूकीपर को नेता चुनाव कार्य सौंपा)। निम्नलिखित त्रुटि लॉग है जो मैं मास्टर स्पार्क नोड पर देखता हूं। क्या आपके पास इसे हल करने के लिए कोई सुझाव है?

15/06/22 10:44:00 INFO ClientCnxn: Unable to read additional data from 
> server sessionid 0x14dd82e22f70ef1, likely server has closed socket, 
> closing socket connection and attempting reconnect 

15/06/22 10:44:00 
> INFO ClientCnxn: Unable to read additional data from server sessionid 
> 0x24dc5a319b40090, likely server has closed socket, closing socket 
> connection and attempting reconnect 

15/06/22 10:44:01 INFO 
> ConnectionStateManager: State change: SUSPENDED 

15/06/22 10:44:01 INFO 
> ConnectionStateManager: State change: SUSPENDED 

15/06/22 10:44:01 WARN 
> ConnectionStateManager: There are no ConnectionStateListeners 
> registered. 

15/06/22 10:44:01 INFO ZooKeeperLeaderElectionAgent: We 
> have lost leadership 

15/06/22 10:44:01 ERROR Master: Leadership has 
> been revoked -- master shutting down. 

Answer 1

यह अपेक्षित व्यवहार है। आप स्वामी के 'एन' नंबर स्थापित करने के लिए है और आप

SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=zk1:2181,zk2:2181" 

ध्यान दें कि चिड़ियाघर संचालक कोरम का कहना है सभी मास्टर env.sh में चिड़ियाघर संचालक यूआरएल निर्दिष्ट करने के लिए की जरूरत है। इसका मतलब है कि आपको ज़ूकीपरों की विषम संख्या की आवश्यकता होती है और केवल तभी जब कोरम बनाए रखा जाता है तो ज़ूकीपर क्लस्टर बन जाएगा। चूंकि स्पार्क ज़ूकीपर पर निर्भर करता है, इसका तात्पर्य है कि स्पार्क क्लस्टर तब तक नहीं होगा जब तक कि ज़ूकीपर कोरम बनाए रखा न जाए।

जब आप दो (एन) स्वामी स्थापित करते हैं और एक ज़ूकीपर नीचे लाते हैं तो वर्तमान मास्टर नीचे जायेगा और नया मास्टर चुनेगा और सभी कार्यकर्ता नोड नए मास्टर से जुड़े होंगे।

आप

./start-slave.sh spark://master1:port1,master2:port2 

आप 1-2 मिनट के लिए प्रतीक्षा करनी देकर अपने कार्यकर्ता शुरू कर दिया जाना चाहिए था !! इस विफलता को ध्यान में रखते हुए।