403 जावा के साथ निषिद्ध लेकिन वेब ब्राउजर नहीं?

Question

मैं किसी दिए गए Google खोज शब्द के परिणामों की मात्रा प्राप्त करने के लिए एक छोटा जावा प्रोग्राम लिख रहा हूं। किसी कारण से, जावा में मुझे 403 निषिद्ध मिल रहा है लेकिन मुझे वेब ब्राउज़र में सही परिणाम मिल रहे हैं। कोड:

import java.io.BufferedReader; 
import java.io.IOException; 
import java.io.InputStreamReader; 
import java.net.URL; 


public class DataGetter { 

    public static void main(String[] args) throws IOException { 
     getResultAmount("test"); 
    } 

    private static int getResultAmount(String query) throws IOException { 
     BufferedReader r = new BufferedReader(new InputStreamReader(new URL("https://www.google.com/search?q=" + query).openConnection() 
       .getInputStream())); 
     String line; 
     String src = ""; 
     while ((line = r.readLine()) != null) { 
      src += line; 
     } 
     System.out.println(src); 
     return 1; 
    } 

} 

और त्रुटि:

Exception in thread "main" java.io.IOException: Server returned HTTP response code: 403 for URL: https://www.google.com/search?q=test 
    at sun.net.www.protocol.http.HttpURLConnection.getInputStream(Unknown Source) 
    at sun.net.www.protocol.https.HttpsURLConnectionImpl.getInputStream(Unknown Source) 
    at DataGetter.getResultAmount(DataGetter.java:15) 
    at DataGetter.main(DataGetter.java:10) 

यह ऐसा क्यों कर रहा है?

Answer 1

तुम सिर्फ यह काम करने के लिए के लिए उपयोगकर्ता एजेंट शीर्ष लेख निर्धारित करने की आवश्यकता:

URLConnection connection = new URL("https://www.google.com/search?q=" + query).openConnection(); 
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11"); 
connection.connect(); 

BufferedReader r = new BufferedReader(new InputStreamReader(connection.getInputStream(), Charset.forName("UTF-8"))); 

StringBuilder sb = new StringBuilder(); 
String line; 
while ((line = r.readLine()) != null) { 
    sb.append(line); 
} 
System.out.println(sb.toString()); 

एसएसएल पारदर्शी रूप से के रूप में अपने अपवाद स्टैकट्रेस से देखा जा सकता है आप के लिए नियंत्रित किया गया था।

परिणाम प्राप्त करना वास्तव में यह आसान नहीं है, इसके बाद आपको नकली होना है कि आप कुकी लाने और रीडायरेक्ट टोकन लिंक को पार्स करके ब्राउज़र हैं।

String cookie = connection.getHeaderField("Set-Cookie").split(";")[0]; 
Pattern pattern = Pattern.compile("content=\\\"0;url=(.*?)\\\""); 
Matcher m = pattern.matcher(response); 
if(m.find()) { 
    String url = m.group(1); 
    connection = new URL(url).openConnection(); 
    connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11"); 
    connection.setRequestProperty("Cookie", cookie); 
    connection.connect(); 
    r = new BufferedReader(new InputStreamReader(connection.getInputStream(), Charset.forName("UTF-8"))); 
    sb = new StringBuilder(); 
    while ((line = r.readLine()) != null) { 
     sb.append(line); 
    } 
    response = sb.toString(); 
    pattern = Pattern.compile("<div id=\"resultStats\">About ([0-9,]+) results</div>"); 
    m = pattern.matcher(response); 
    if(m.find()) { 
     long amount = Long.parseLong(m.group(1).replaceAll(",", "")); 
     return amount; 
    } 

} 

the full code चल रहा है मैं एक परिणाम के रूप 2930000000L मिलता है।

Answer 2

आप शायद सही शीर्षलेख स्थापित नहीं कर रहे हैं। यह देखने के लिए ब्राउज़र में LiveHttpHeaders (या समतुल्य) का उपयोग करें कि ब्राउजर कौन से शीर्षलेख भेज रहा है, फिर उन्हें अपने कोड में अनुकरण करें।

Answer 3

ऐसा इसलिए है क्योंकि साइट SSL का उपयोग करती है। जर्सी HTTP क्लाइंट का उपयोग करने का प्रयास करें। आपको शायद HTTPS और प्रमाणपत्रों के बारे में कुछ भी सीखना होगा, लेकिन मुझे लगता है कि जर्सी वास्तविक सुरक्षा से संबंधित अधिकांश विवरणों को अनदेखा करने के लिए सेट कर सकता है।