ओपनसीवी के साथ पासपोर्ट पेज की सीमाओं का पता लगाने के लिए कैसे?

Question

मैं एक स्कैनर विकसित करने की कोशिश कर रहा हूं जो कैमरे के साथ पासपोर्ट के पेज को स्कैन कर सकता है।

एक पासपोर्ट पेज से

तो इस तरह:

मैं उल्लेखनीय हिस्सा बाहर फसल करना चाहते हैं।

मैंने ओपनसीवी का उपयोग करके एज डिटेक्शन के लिए कोड लिखा है जो समोच्च पाता है और फिर सबसे बड़ा चतुर्भुज का अनुमान लगाता है। अंत में यह छवि के शीर्ष दृश्य प्राप्त करने के लिए एक 4 बिंदु परिप्रेक्ष्य परिवर्तन करता है। बढ़त का पता लगाने कोड ऐसा दिखाई:

public static List<MatOfPoint> findContours(Mat src){ 
    Mat img = src.clone(); 
    src.release(); 
    //find contours 
    double ratio = getScaleRatio(img.size()); 
    int width = (int) (img.size().width/ratio); 
    int height = (int) (img.size().height/ratio); 
    Size newSize = new Size(width, height); 
    Mat resizedImg = new Mat(newSize, CvType.CV_8UC4); 
    Imgproc.resize(img, resizedImg, newSize); 

    Imgproc.medianBlur(resizedImg, resizedImg, 5); 

    Mat cannedImg = new Mat(newSize, CvType.CV_8UC1); 
    Imgproc.Canny(resizedImg, cannedImg, 70, 200, 3, true); 
    resizedImg.release(); 

    Imgproc.threshold(cannedImg, cannedImg, 200, 255, Imgproc.THRESH_OTSU); 

    Mat dilatedImg = new Mat(newSize, CvType.CV_8UC1); 
    Mat morph = Imgproc.getStructuringElement(Imgproc.MORPH_RECT, new Size(3, 3)); 
    Imgproc.dilate(cannedImg, dilatedImg, morph, new Point(-1, -1), 2, 1, new Scalar(1)); 
    cannedImg.release(); 
    morph.release(); 

    ArrayList<MatOfPoint> contours = new ArrayList<>(); 
    Mat hierarchy = new Mat(); 
    Imgproc.findContours(dilatedImg, contours, hierarchy, Imgproc.RETR_EXTERNAL, Imgproc.CHAIN_APPROX_SIMPLE); 
    hierarchy.release(); 

    Log.d(TAG, "contours found: " + contours.size()); 

    Collections.sort(contours, new Comparator<MatOfPoint>() { 
     @Override 
     public int compare(MatOfPoint o1, MatOfPoint o2) { 
      return Double.valueOf(Imgproc.contourArea(o2)).compareTo(Imgproc.contourArea(o1)); 
     } 
    }); 

    return contours; 
} 

for(MatOfPoint contour:contours){ 
     MatOfPoint2f mat = new MatOfPoint2f(contour.toArray()); 
     double peri = Imgproc.arcLength(mat, true); 
     MatOfPoint2f approx = new MatOfPoint2f(); 
     Imgproc.approxPolyDP(mat, approx, 0.02 * peri, true); 

     Point[] points = approx.toArray(); 
     Log.d("SCANNER", "approx size " + points.length); 

     if (points.length == 4) { 
       Point[] spoints = CVProcessor.sortPoints(points); 

       if (CVProcessor.insideArea(spoints, newSize)) { 
         rectContour = contour; 
         foundPoints = spoints; 
         break; 
       } 
     } 
    } 

इस कोड को एक पृष्ठ दस्तावेज यानी आईडी कार्ड, क्रेडिट कार्ड के लिए काम करता है। जहां 4 अलग-अलग किनारों हैं।

लेकिन पासपोर्ट के लिए काम नहीं करता है क्योंकि शीर्ष किनारे विशिष्ट नहीं है।

इनपुट एंड्रॉइड पर कैमरे से लिया जाएगा। कोई विचार मैं पासपोर्ट पेज का पता कैसे लगा सकता हूं? मैं ओपनसीवी 3.1 का उपयोग कर रहा हूँ।

Answer 1

अगर आप पासपोर्ट (क्षेत्र के Machine Readable Zone (MRZ) में लाल रंग में उल्लिखित पता लगा सकते हैं पेज को निकालने के लिए संभव हो जाएगा:

यहां पर कुछ नमूना आदानों (Google छवि खोज से प्राप्त कर रहे हैं) नीचे छवि)। आमतौर पर, एमआरजेड और इसकी पृष्ठभूमि के बीच बहुत अच्छा अंतर होता है, इसलिए इसे ढाल आधारित विधि या MSER एस का उपयोग करके पता लगाया जा सकता है।

मान लीजिए कि एक मानक टेम्पलेट (यानी, पेज के लिए पहलू अनुपात, एमआरजेड, फ़ील्ड के लिए ऑफ़सेट आदि) मानते हैं कि पासपोर्ट तैयार होने के बाद, एमआरजेड का पता लगाने के बाद, पृष्ठ का पता लगाना आसान है सीमाओं और अन्य क्षेत्रों जैसे कि टेम्पलेट छवि में दिखाए गए व्यक्ति की तस्वीर जहां एमआरजेड लाल रंग में उल्लिखित है और पृष्ठ सीमा हरे रंग में उल्लिखित है। यह माना जाता है कि कोई परिप्रेक्ष्य विकृति नहीं है। अगर ऐसा विकृति है, तो पहले आपको इसे सही करना चाहिए और फिर टेम्पलेट को लागू करना चाहिए। आप एमआरजेड क्षेत्र के पहलू अनुपात को जानते हुए विकृति को सही करने के लिए एमआरजेड का उपयोग कर सकते हैं।

टेम्पलेट image से तैयार किया गया टेम्पलेट।

इस टेम्पलेट मॉडल एक पासपोर्ट से आधारित क्षेत्र निष्कर्षण के एक बहुत ही सरल कार्यान्वयन के लिए चेक here। यह आपकी छवियों के लिए काम नहीं करेगा, और बहुत सारे पैरामीटर ट्यूनिंग की आवश्यकता होगी, इसलिए मैं इसे सीधे उपयोग करने की अनुशंसा नहीं करता हूं। मैं इसे टेम्पलेट-आधारित निष्कर्षण और अन्य प्री-प्रोसेसिंग विधियों के विचार को व्यक्त करने के लिए जिक्र कर रहा हूं।

हालांकि, अगर पासपोर्ट नीचे दी गई छवि में घुमाया गया है (आप देख सकते हैं कि एमआरजेड सीमा सीधे लाइनों का उपयोग नहीं किया जा सकता है), विकृति को सही करना मुश्किल है।

अंत में, यदि आप उच्च रिज़ॉल्यूशन छवियों का उपयोग कर रहे हैं, तो यह एक अच्छा विचार होगा कि उन्हें डाउन नमूना और संसाधित करना क्योंकि यह एक एम्बेडेड सिस्टम पर तेज़ होगा। एक बार जब आप डाउनसमल्ड छवि से एमआरजेड का पता लगा लेते हैं, तो आप कोनों को परिशोधित करने के लिए उच्च-रेज छवि का उपयोग कर सकते हैं।