अपाचे स्पार्क: SparkSql में, एसक्यूएल के एसक्यूएल इंजेक्शन की चपेट में हैं

Question

परिदृश्य:

कहो हाइव में एक टेबल है, और इसके नीचे SparkSql अपाचे में स्पार्क, जहां तालिका नाम पारित हो जाता है का उपयोग कर क्वेरी की जाती है एक तर्क के रूप में और क्वेरी से जुड़े हुए हैं।

गैर-वितरित प्रणाली के मामले में, मुझे SQL-इंजेक्शन भेद्यता की मूल समझ है और जेडीबीसी के संदर्भ में उन प्रकार के परिदृश्य में createStatement/readyStatement के उपयोग को समझते हैं।

लेकिन स्पार्कस्क्ल के मामले में इस परिदृश्य के बारे में क्या, यह कोड कमजोर है? कोई अंतर्दृष्टि?

def main(args: Array[String]) { 

    val sconf = new SparkConf().setAppName("TestApp") 
    val sparkContext = new SparkContext(sconf) 
    val hiveSqlContext = new org.apache.spark.sql.hive.HiveContext(sparkContext) 

    val tableName = args(0) // passed as an argument 

    val tableData = hiveSqlContext.sql("select IdNUm, Name from hiveSchemaName." + tableName + " where IdNum <> '' ") 
             .map(x => (x.getString(0), x.getString(1))).collectAsMap() 


    ................ 
    ............... 

} 

Answer 1

आप स्पार्क 2.0 में निम्नलिखित की कोशिश कर सकते हैं:

def main(args: Array[String]) { 
val conf = new SparkConf() 

val sparkSession = SparkSession 
    .builder() 
    .appName("TestApp") 
    .config(conf) 
    .enableHiveSupport() 
    .getOrCreate() 

val tableName = args(0) // passed as an argument 

val tableData = sparkSession 
.table(tableName) 
.select($"IdNum", $"Name") 
.filter($"IdNum" =!= "") 
.map(x => (x.getString(0), x.getString(1))).collectAsMap() 


................ 
............... 

} `

Answer 2

जावा में आम तौर पर सबसे आम तरीका एसक्यूएल इंजेक्शन खतरों को संभालने के लिए तैयार बयानों उपयोग करने के लिए है।

आप उस के लिए स्कैला पुस्तकालयों को देखने के लिए जावा पुस्तकालयों या स्कैला में Google तैयार कथन का उपयोग कर सकते हैं। चूंकि वेब अनुप्रयोगों में स्कैला का भी उपयोग किया जाता है, मुझे यकीन है कि इस तरह के पुस्तकालय मौजूद हैं ..