spark通过jdbc读取oracle程序报错invalid character
问题背景：
我原先是通过我么api直接读取的oracle,现在由于要并行读取这个oracle数据库表数据，因此采用jdbc的方式，一开始我把sql变成query直接查，所以报上面的问题。部分样例代码如下
val date = "2024/07/01"
val query = s"SELECT * FROM your_table WHERE stat_date = TO_DATE('$date', 'YYYY/MM/DD')"
val df = spark.read
.format("jdbc")
.option("url", url)
.option("dbtable", "user.table1")
.option("user", user)
.option("password", password)
.option("numPartitions", "8")
.option("query", query) //
.load()这样是不行的，不能加query
解决
不加query，直接在这里整出全表数据，然后再filter一下我们要的数据
.option("dbtable", "user.table1")
思考
其实一开始就是想要快一点读取oracle表数据，但是发现设置这个并行度和我调我们自己搞得类时间是差不多的。效率我在优化一下吧，看看时间怎么样
原文地址：https://blog.csdn.net/qq_52128187/article/details/140615231
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！