在 Apache Spark 2.0.0 中，是否可以从外部数据库获取

沃梦达教程数据库问题

2021-01-01 6

In Apache Spark 2.0.0, is it possible to fetch a query from an external database (rather than grab the whole table)?(在 Apache Spark 2.0.0 中，是否可以从外部数据库获取查询(而不是获取整个表)?)

本文介绍了在 Apache Spark 2.0.0 中，是否可以从外部数据库获取查询(而不是获取整个表)?的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！

问题描述

使用pyspark:

from pyspark.sql import SparkSession火花 = SparkSession\.builder\.appName("spark play")\.getOrCreate()df = spark.read\.format("jdbc")\.option("url", "jdbc:mysql://localhost:port")\.option("dbtable", "schema.tablename")\.option("用户", "用户名")\.option("密码", "密码")\.加载()我宁愿获取查询的结果集，而不是获取schema.tablename". 解决方案 同 1.x 可以传递有效的子查询作为 dbtable 参数例如:<预><代码>....option("dbtable", "(SELECT foo, bar FROM schema.tablename) AS tmp")...

Using pyspark:

from pyspark.sql import SparkSession

spark = SparkSession\
    .builder\
    .appName("spark play")\
    .getOrCreate()    

df = spark.read\
    .format("jdbc")\
    .option("url", "jdbc:mysql://localhost:port")\
    .option("dbtable", "schema.tablename")\
    .option("user", "username")\
    .option("password", "password")\
    .load()

Rather than fetch "schema.tablename", I would prefer to grab the result set of a query.

解决方案

Same as in 1.x you can pass valid subquery as dbtable argument for example:

...
.option("dbtable", "(SELECT foo, bar FROM schema.tablename) AS tmp")
...

这篇关于在 Apache Spark 2.0.0 中，是否可以从外部数据库获取查询(而不是获取整个表)?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！

沃梦达教程

本文标题为：在 Apache Spark 2.0.0 中，是否可以从外部数据库获取

上一篇：猪中的组串联等价物?

下一篇：如何将 Apache Spark 与 MySQL 集成以将数据库表作为

基础教程推荐

学习HTML

学习jQuery

学习Laravel

学习CSS3

学习Vue.js

学习Bootstrap5

学习ThinkPHP

学习AJAX