最新消息: USBMI致力于为网友们分享Windows、安卓、IOS等主流手机系统相关的资讯以及评测、同时提供相关教程、应用、软件下载等服务。

[面试]

IT圈 admin 34浏览 0评论

[面试]

A所有的hive任务都会有reducer的执行吗?

答:不是,由于当前hive的优化,使得一般简单的任务不会去用reducer任务;只有稍微复杂的任务才会有reducer任务

举例:使用select * from person ; 就不会有reducer

      使用from person p 

                  insert  into  person2 select p.age,p.name  

 

B\hive解决了什么问题

答:多用户的使用,解决了元数据的冲突,hive2代理管理元数据       

    区别hive2,hiveserver2是服务,而hive是一个交互窗口

 

C\设置时钟同步的定时任务

crontab -e

*/10 * * * * /usr/sbin/ntpdate time.nist.gov

 

D\hive的函数:UDF  UDAF UDTF的区别

UDF:   单行进入,单行输出

UDAF:  多行进入,单行输出

UDTF:  单行输入,多行输出

 

E\hive的优化

答:优化可以从几个方面着手:

    1. 好的模型设计事半功倍。

    2. 解决数据倾斜问题。

3. 减少 job 数。

4. 设置合理的 map reduce 的 task 数,能有效提升性能。(比如,10w+级

[面试]

A所有的hive任务都会有reducer的执行吗?

答:不是,由于当前hive的优化,使得一般简单的任务不会去用reducer任务;只有稍微复杂的任务才会有reducer任务

举例:使用select * from person ; 就不会有reducer

      使用from person p 

                  insert  into  person2 select p.age,p.name  

 

B\hive解决了什么问题

答:多用户的使用,解决了元数据的冲突,hive2代理管理元数据       

    区别hive2,hiveserver2是服务,而hive是一个交互窗口

 

C\设置时钟同步的定时任务

crontab -e

*/10 * * * * /usr/sbin/ntpdate time.nist.gov

 

D\hive的函数:UDF  UDAF UDTF的区别

UDF:   单行进入,单行输出

UDAF:  多行进入,单行输出

UDTF:  单行输入,多行输出

 

E\hive的优化

答:优化可以从几个方面着手:

    1. 好的模型设计事半功倍。

    2. 解决数据倾斜问题。

3. 减少 job 数。

4. 设置合理的 map reduce 的 task 数,能有效提升性能。(比如,10w+级

发布评论

评论列表 (0)

  1. 暂无评论