Wed Dec 30 15:59:34 CST 2015 2301
SparkSQL十分强大,可以利用SparkSQL执行SQL语句,实现结构化查询。
Tue Dec 29 09:43:41 CST 2015 2021
SparkSQL对于SQL语句中的函数,会经过SqlParser解析成UnresolvedFunction,UnresolvedFunction最后会被Analyzer解析。解析SQL语句中函数的工作,就是在Analyzer中的ResolveFunctions进行。但是SparkSQL自带支持的函数比较少,很多需要我们自己去自定义。
Tue Dec 22 02:58:03 CST 2015 2874
java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does not match signer information of other classes in the same package
Sat Dec 19 20:00:28 CST 2015 1026
jsonRDD转DataFrame的方法,hiveContext.jsonRDD(jsonRDD: RDD[String])会删除value为null的key
Mon Oct 05 16:41:59 CST 2015 11883
DataFrame是spark推出的一个API,能够使得大数据更为简单,从而拥有更广泛的受众群体。使用DataFrameSpark可以大大简化从前使用RDD对数据进行操作的繁琐。