spark SQL学习（spark连接 mysql）

水电工888

scala> import org.apache.spark.sql.SQLContext　　import org.apache.spark.sql.SQLContext
　　scala> val sqlContext = new SQLContext(sc)
　　sqlContext: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@fdf029a
　　scala> val jdbcDF = sqlContext.read.format("jdbc").options(Map("url" -> "jdbc:mysql://slave02:3306/testdb?useUnicode=true&characterEncoding=gbk&zeroDateTimeBehavior=convertToNull","driver" -> "com.mysql.jdbc.Driver", "dbtable" -> "testdb.stud_score","user" -> "feigu","password" -> "feigu")).load()
　　jdbcDF: org.apache.spark.sql.DataFrame = [stud_code: string, sub_code: string, sub_name: string, sub_tech: string, sub_score: int, stat_date: date]
　　scala> jdbcDF.show()
　　+----------+--------+--------+--------+---------+---------+
　　| stud_code|sub_code|sub_name|sub_tech|sub_score|stat_date|
　　+----------+--------+--------+--------+---------+---------+
　　|2015101000|   10101|    数学分析|        |       90|     null|
　　|2015101000|   10102|    高等代数|        |       88|     null|
　　|2015101000|   10103|    大学物理|        |       67|     null|
　　|2015101000|   10104|   计算机原理|        |       78|     null|
　　|2015101000|   10105|     电磁学|        |       89|     null|
　　|2015101001|   10101|    数学分析|        |       87|     null|
　　|2015101001|   10102|    高等代数|        |       78|     null|
　　|2015101001|   10103|    大学物理|        |       88|     null|
　　|2015101001|   10104|   计算机原理|        |       86|     null|
　　|2015101001|   10105|     电磁学|        |       91|     null|
　　|2015101002|   10101|    数学分析|        |       98|     null|
　　|2015101002|   10102|    高等代数|        |       97|     null|
　　|2015101002|   10103|    大学物理|        |       95|     null|
　　|2015101002|   10104|   计算机原理|        |       96|     null|
　　|2015101002|   10105|     电磁学|        |       90|     null|
　　|2015101003|   10101|    数学分析|        |       70|     null|
　　|2015101003|   10102|    高等代数|        |       87|     null|
　　|2015101003|   10103|    大学物理|        |       65|     null|
　　|2015101003|   10104|   计算机原理|        |       98|     null|
　　|2015101003|   10105|     电磁学|        |       76|     null|
　　+----------+--------+--------+--------+---------+---------+
　　only showing top 20 rows
　　//注册为一个表。这就可以直接进行select等操作样
　　scala> jdbcDF.registerTempTable("wu_stud_info")
　　scala> jdbcDF.sqlContext.sql("select sub_name from wu_stud_info").collect.foreach(println)

[数学分析]

[高等代数]

[大学物理]

[计算机原理]

[电磁学]

[数学分析]

[高等代数]

[大学物理]

[计算机原理]

[电磁学]

[数学分析]

[高等代数]

[大学物理]

[计算机原理]

[电磁学]

[数学分析]

[高等代数]

[大学物理]

[计算机原理]

[电磁学]

[数学分析]

[高等代数]

[大学物理]

[计算机原理]

[电磁学]

[数学分析]

[高等代数]

[大学物理]

[计算机原理]

[电磁学]

[数学分析]

[高等代数]

[大学物理]

[计算机原理]

[电磁学]

[数学分析]

[高等代数]

[大学物理]

[计算机原理]

[电磁学]

[数学分析]

[高等代数]

[大学物理]

[计算机原理]

[电磁学]

[数学分析]

[高等代数]

[大学物理]

[计算机原理]

[电磁学]

[数学分析]

[高等代数]

[大学物理]

[计算机原理]

[电磁学]

[计算机软件与理论]

[计算机系统结构]

[操作系统]

[概率统计]

[汇编语言]

[数据结构]

[计算机软件与理论]

[计算机系统结构]

[操作系统]

[概率统计]

[汇编语言]

[数据结构]

[计算机软件与理论]

[计算机系统结构]

[操作系统]

[概率统计]

[汇编语言]

[数据结构]

[计算机软件与理论]

[计算机系统结构]

[操作系统]

[概率统计]

[汇编语言]

[数据结构]

[计算机软件与理论]

[计算机系统结构]

[操作系统]

[概率统计]

[汇编语言]

[数据结构]

[计算机软件与理论]

[计算机系统结构]

[操作系统]

[概率统计]

[汇编语言]

[数据结构]

[计算机软件与理论]

[计算机系统结构]

[操作系统]

[概率统计]

[汇编语言]

[数据结构]

[计算机软件与理论]

[计算机系统结构]

[操作系统]

[概率统计]

[汇编语言]

[数据结构]

[计算机软件与理论]

[计算机系统结构]

[操作系统]

[概率统计]

[汇编语言]

[数据结构]

[计算机软件与理论]

[计算机系统结构]

[操作系统]

[概率统计]

[汇编语言]

[数据结构]

[计算机软件与理论]

[计算机系统结构]

[操作系统]

[概率统计]

[汇编语言]

[数据结构]