hiveonspark和sparkonhive区别,

1. hiveonspark和sparkonhive区别
2. 有木有用sparksql的，怎么批量执行很多个sql语句
3. hive和sparksql的区别
4. pyspark怎么设置自动适配

hiveonspark和sparkonhive区别

1、Spark on Hive

数据源是：hive，Spark 获取hive中的数据，然后进行SparkSQL的操作  （hive只是作为一个spark的数据源）。

spark on hive 是spark 通过spark-sql 使用hive 语句操作hive ,底层运行的还是 spark rdd.
*（1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息
* （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据
* （3）接下来就可以通过spark sql来操作hive表中的数据

2、Hive on Spark

（数据源是hive本身）   Hive 将自己的MapReduce计算引擎替换为Spark，当我们执行HiveSQL(HQL)时底层以经不是将HQL转换为MapReduce任务，而是跑的Spark任务（即：将HQL转换为Spark任务）。

hive on spark是hive 等的执行引擎变成spark , 不再是mapreduce. 

有木有用sparksql的，怎么批量执行很多个sql语句

在PL/SQL中直接用command window执行就可以了:PL/SQL developer----->File------>New---->command window然后在弹出的窗口里依次执行:SQL> @f:\abc\a.sql;SQL> @f:\abc\b.sql;SQL> @f:\abc\c.sql;

hive和sparksql的区别

功能点上： hive：

1、数据存储

2、数据清洗 spark：1、数据清洗 2、流式计算 hive可以通过Hql方式读hive数据进行数据清洗 spark可以通过sparkSQL或sparkCore方式进行数据清洗，可以读取的数据源包活jdbc,hive，elasticsearch，文件等 所以spark可以取代hive的数据清洗功能，也可以把hive做为数据源 hive的强项在于1、大数据存储，2、通过sql方式进行MapReduce操作，降低大数据使用门槛 spark强项在于1、基于内存的MapReduce操作，速度快2、流式计算（对标产品flink,storm）

pyspark怎么设置自动适配

在Pyspark中，可以通过设置SparkConf对象中的spark.sql.autoBroadcastJoinThreshold属性来自动适配数据大小，该属性的默认值为10MB，如果要自动适配，则需要将其设置为-1，这样Spark会根据数据大小自动决定是否使用广播变量。

同时，还可以通过设置spark.sql.shuffle.partitions属性来控制Shuffle操作的并行度，从而使数据分布均匀，提高性能。

同时，还可以通过使用DataFrame或SQL中的cache()函数显式地将数据缓存到内存中，加快后续的查询速度。

到此，以上就是小编对于的问题就介绍到这了，希望介绍的4点解答对大家有用，有任何问题和不懂的，欢迎各位老师在评论区讨论，给我留言。