पोस्टग्रेएसक्यूएल डेटाबेस में लगातार सोलर/लोचदार खोज डेटाबेस में डेटा बदलने के लिए सबसे अच्छा तरीका क्या है?पोस्टग्रेज़ से सोलर/लोचदार खोज
मेरे पास एडब्ल्यूएस आरडीएस पर एक पोस्टग्रेज़ डेटाबेस है और मैं उस पर जटिल खोज करना चाहता हूं। हालांकि जिस डेटा के खिलाफ मैं पूछताछ करता हूं वह लगातार उच्च लेखन/अपडेट के साथ बदल रहा है। इसलिए मुझे यकीन नहीं है कि मुझे डेटा को सोलर/लोचदार खोज में कुशलतापूर्वक और भरोसेमंद तरीके से कैसे स्थानांतरित करना चाहिए।
मदद
Solr के मामले में के लिए धन्यवाद, एक सामान्य दृष्टिकोण Data Import Handler (DIH छोटे के लिए) का उपयोग किया जा सके। पूर्ण आयात & डेल्टा-आयात एसक्यूएल को ठीक से कॉन्फ़िगर करें, जहां delta import डेटाबेस से आयात डेटा जो टाइमस्टैम्प के माध्यम से अंतिम आयात निर्णय के बाद बदलता है (इसलिए, आपको उचित टाइमस्टैम्प के साथ डिज़ाइन स्कीमा की आवश्यकता है)।
डेल्टा-आयात की समय, 2 शैलियों जो अलग से इस्तेमाल किया जा सकता या संयुक्त है। (उदाहरण के लिए हर 5 मिनट)
DIH विस्तार के लिए https://cwiki.apache.org/confluence/display/solr/Uploading+Structured+Data+Store+Data+with+the+Data+Import+Handler का संदर्भ लें।
इस प्रश्न को डुप्लिकेट के रूप में चिह्नित करने वाले किसी के जोखिम पर, यहां दूसरे स्टैक ओवरफ्लो थ्रेड में postgres-to-elasticsearch सेट करने का लिंक दिया गया है। एटलसियन पर this blog post भी है जो PostgreSQL से ElasticSearch में वास्तविक समय अपडेट कैसे प्राप्त करें इस बारे में भी बात करता है।
टीएल भीड़ के लिए एटलसियन धागा, संग्रहीत पीजीएस प्रक्रियाओं का उपयोग एक स्टेजिंग तालिका में अद्यतन/डाले गए डेटा की प्रतिलिपि बनाने के लिए करता है, फिर स्टेजिंग तालिका को अलग से संसाधित करता है। यह एक अच्छा दृष्टिकोण है जो ईएस या सोलर के लिए काम करेगा। दुर्भाग्यवश, यह एक रोल-अप-खुद का समाधान है, जब तक कि आप क्लोजर से परिचित न हों।