mysql डेटा को ElasticSearch रीयलटाइम पर माइग्रेट करने के लिए कैसे करें

Question

मेरे पास दो टेबल के साथ एक MySQL डेटाबेस है, मैं mysql डेटा को ElasticSearch पर माइग्रेट करना चाहता हूं। बैच नौकरी के माध्यम से पूरे डेटाबेस को ईएस में माइग्रेट करना आसान है। लेकिन मैं mysql रीयलटाइम से ES को कैसे अपडेट करना चाहिए। यानी अगर MySQL में एक अद्यतन ऑपरेशन था तो मुझे ES में एक ही ऑपरेशन करना चाहिए। मैंने mysql binLog का शोध किया जो mysql से किसी भी बदलाव को प्रतिबिंबित कर सकता है। लेकिन मुझे ES वाक्यविन्यास में binLog को पार्स करना है, मुझे लगता है कि यह वास्तव में दर्दनाक है। धन्यवाद! (सोलर के साथ एक ही मामला)

Answer 1

मौजूदा प्रोजेक्ट जो आपके binlog लेता है, यह और जहाजों यह Elasticsearch को बदल देती है, आप इसे बाहर की जाँच कर सकते हैं: https://github.com/siddontang/go-mysql-elasticsearch

एक और एक होगा इस एक: https://github.com/noplay/python-mysql-replication।

नोट, हालांकि, जो भी आप चुनते हैं, यह आपके बिनलॉग को अनुक्रमणित करने से पहले अपनी अनुक्रमणिका और मैपिंग को पूर्व-निर्माण करने का एक अच्छा अभ्यास है। इससे आपको अपने डेटा पर अधिक नियंत्रण मिल जाता है।

Answer 2

सबसे अच्छा ओपन सोर्स समाधान this होगा। आप इसे कमांड लाइन के रूप में चला सकते हैं और कमांड में वृद्धिशील तर्क भी दे सकते हैं।

this सत्र के माध्यम से एक पूर्ण विचार प्राप्त करने के लिए जाओ।