बहु-नोड अपाचे स्टॉर्म क्लस्टर को कॉन्फ़िगर कैसे करें

Question

मैं http://jayatiatblogs.blogspot.com/2011/11/storm-installation.html & http://zookeeper.apache.org/doc/r3.3.3/zookeeperAdmin.html#sc_zkMulitServerSetup का पालन कर रहा हूं ताकि एडब्ल्यूएस ईसी 2 में उबंटू 14.04 एलटीएस में अपाचे स्टॉर्म क्लस्टर स्थापित किया जा सके।

मेरा मास्टर नोड 10.0.0.185 है। मेरे दास नोड्स क्रमशः उनके zookeeper-data में 1, 2 और 3 के myid के साथ 10.0.0.7 9, 10.0.0.124 & 10.0.0.84 हैं। मैंने अपाचे जुकीपर के एक समूह को स्थापित किया है जिसमें सभी 3 गुलाम नोड्स शामिल हैं।

नीचे मेरी गुलाम नोड्स के लिए मेरी zoo.cfg हैं:

########### These MUST be filled in for a storm configuration 
storm.zookeeper.server: 
    - "10.0.0.79" 
    - "10.0.0.124" 
    - "10.0.0.84" 
#  - "localhost" 
storm.zookeeper.port: 2181 

# nimbus.host: "localhost" 
nimbus.host: "10.0.0.185" 

storm.local.dir: "/home/ubuntu/storm/data" 
java.library.path: "/usr/lib/jvm/java-7-oracle" 

supervisor.slots.ports: 
    - 6700 
    - 6701 
    - 6702 
    - 6703 
    - 6704 
# 
# worker.childopts: "-Xmx768m" 
# nimbus.childopts: "-Xmx512m" 
# supervisor.childopts: "-Xmx256m" 
# 
# ##### These may optionally be filled in: 
# 
## List of custom serializations 
# topology.kryo.register: 
#  - org.mycompany.MyType 
#  - org.mycompany.MyType2: org.mycompany.MyType2Serializer 
# 
## List of custom kryo decorators 
# topology.kryo.decorators: 
#  - org.mycompany.MyDecorator 
# 
## Locations of the drpc servers 
# drpc.servers: 
#  - "server1" 
#  - "server2" 

## Metrics Consumers 
# topology.metrics.consumer.register: 
# - class: "backtype.storm.metric.LoggingMetricsConsumer" 
#  parallelism.hint: 1 
# - class: "org.mycompany.MyMetricsConsumer" 
#  parallelism.hint: 1 
#  argument: 
#  - endpoint: "metrics-collector.mycompany.org" 

नीचे storm.yaml हैं:

tickTime=2000 
initLimit=10 
syncLimit=5 

dataDir=/home/ubuntu/zookeeper-data 
clientPort=2181 

server.1=10.0.0.79:2888:3888 
server.2=10.0.0.124:2888:3888 
server.3=10.0.0.84:2888:3888 

autopurge.snapRetainCount=3 
autopurge.purgeInterval=1 

नीचे मेरी गुलाम नोड्स के लिए मेरी storm.yaml हैं मेरी गुरु के लिए नोड:

########### These MUST be filled in for a storm configuration 
storm.zookeeper.servers: 
    - "10.0.0.79" 
    - "10.0.0.124" 
    - "10.0.0.84" 
#  - "localhost" 
# 
storm.zookeeper.port: 2181 

nimbus.host: "10.0.0.185" 
# nimbus.thrift.port: 6627 
# nimbus.task.launch.secs: 240 

# supervisor.worker.start.timeout.secs: 240 
# supervisor.worker.timeout.secs: 240 

ui.port: 8772 

# nimbus.childopts: "‐Xmx1024m ‐Djava.net.preferIPv4Stack=true" 

# ui.childopts: "‐Xmx768m ‐Djava.net.preferIPv4Stack=true" 
# supervisor.childopts: "‐Djava.net.preferIPv4Stack=true" 
# worker.childopts: "‐Xmx768m ‐Djava.net.preferIPv4Stack=true" 

storm.local.dir: "/home/ubuntu/storm/data" 

java.library.path: "/usr/lib/jvm/java-7-oracle" 

# supervisor.slots.ports: 
#  - 6700 
#  - 6701 
#  - 6702 
#  - 6703 
#  - 6704 

# worker.childopts: "-Xmx768m" 
# nimbus.childopts: "-Xmx512m" 
# supervisor.childopts: "-Xmx256m" 

# ##### These may optionally be filled in: 
# 
## List of custom serializations 
# topology.kryo.register: 
#  - org.mycompany.MyType 
#  - org.mycompany.MyType2: org.mycompany.MyType2Serializer 
# 
## List of custom kryo decorators 
# topology.kryo.decorators: 
#  - org.mycompany.MyDecorator 
# 
## Locations of the drpc servers 
# drpc.servers: 
#  - "server1" 
#  - "server2" 

## Metrics Consumers 
# topology.metrics.consumer.register: 
# - class: "backtype.storm.metric.LoggingMetricsConsumer" 
#  parallelism.hint: 1 
# - class: "org.mycompany.MyMetricsConsumer" 
#  parallelism.hint: 1 
#  argument: 
#  - endpoint: "metrics-collector.mycompany.org" 

मैं अपने सभी गुलाम नोड्स में अपना ज़ूकीपर शुरू करता हूं, फिर अपने मास्टर नोड में अपना तूफान निंबस शुरू करता हूं, फिर मेरे सभी दास नोड्स में तूफान पर्यवेक्षक शुरू करता हूं। हालांकि, जब मैं अपने तूफान यूआई में देखता हूं, तो क्लस्टर सारांश & में पर्यवेक्षक सारांश में केवल 1 पर्यवेक्षक की जानकारी में कुल 5 स्लॉट के साथ केवल 1 पर्यवेक्षक होता है, ऐसा क्यों?

अगर मैं इस मामले में टोपोलॉजी जमा करता हूं तो वास्तव में कितने गुलाम नोड्स काम कर रहे हैं?

कुल 15 स्लॉट वाले 3 पर्यवेक्षकों क्यों नहीं हैं?

3 पर्यवेक्षकों के लिए मुझे क्या करना चाहिए?

जब मैं दास नोड्स में supervisor.log में जाँच, कारणों के रूप में नीचे है:

2015-05-29T09:21:24.185+0000 b.s.d.supervisor [INFO] 5019754f-cae1-4000-beb4-fa0 
16bd1a43d still hasn't started 

Answer 1

आप क्या कर रहे हैं और इसके काम भी।

केवल एक चीज जो आपको बदलनी चाहिए वह है storm.dir। यह दास में समान है और मास्टर नोड्स storm.dir पथ में निंबस & पर्यवेक्षक नोड्स (उसी स्थानीय पथ का उपयोग न करें) में पथ को बदल दें। जब आप उसी स्थानीय पथ का उपयोग करते हैं तो निम्बस और पर्यवेक्षक एक ही आईडी साझा करते हैं। वे खेल में आते हैं लेकिन आपको 8 स्लॉट नहीं दिखते हैं, वे आपको श्रमिकों के रूप में 4 स्लॉट दिखाते हैं।

(storm.local.dir:/home/ubuntu/storm/data) बदलें और पर्यवेक्षक और निंबस में उसी पथ का उपयोग न करें।

Answer 2

आप मास्टर नोड के रूप में निंबस की चर्चा करते हुए कर रहे हैं?

आम तौर पर, ज़ुकीपर क्लस्टर को पहले और फिर निंबस और फिर पर्यवेक्षकों को शुरू किया जाना चाहिए। ज़ूमिपीर और निंबस हमेशा तूफान क्लस्टर के लिए सही तरीके से काम करने के लिए उपलब्ध होना चाहिए।

विफलताओं की जांच के लिए आपको पर्यवेक्षक लॉग की जांच करनी चाहिए। निम्बस मेजबान और जुकीपर मशीनों को सुपरवाइजर मशीनों तक पहुंचा जा सकता है।