[面试]
A所有的hive任务都会有reducer的执行吗?
答:不是,由于当前hive的优化,使得一般简单的任务不会去用reducer任务;只有稍微复杂的任务才会有reducer任务
举例:使用select * from person ; 就不会有reducer
使用from person p
insert into person2 select p.age,p.name
B\hive解决了什么问题
答:多用户的使用,解决了元数据的冲突,hive2代理管理元数据
区别hive2,hiveserver2是服务,而hive是一个交互窗口
C\设置时钟同步的定时任务
crontab -e
*/10 * * * * /usr/sbin/ntpdate time.nist.gov
D\hive的函数:UDF UDAF UDTF的区别
UDF: 单行进入,单行输出
UDAF: 多行进入,单行输出
UDTF: 单行输入,多行输出
E\hive的优化
答:优化可以从几个方面着手:
1. 好的模型设计事半功倍。
2. 解决数据倾斜问题。
3. 减少 job 数。
4. 设置合理的 map reduce 的 task 数,能有效提升性能。(比如,10w+级
[面试]
A所有的hive任务都会有reducer的执行吗?
答:不是,由于当前hive的优化,使得一般简单的任务不会去用reducer任务;只有稍微复杂的任务才会有reducer任务
举例:使用select * from person ; 就不会有reducer
使用from person p
insert into person2 select p.age,p.name
B\hive解决了什么问题
答:多用户的使用,解决了元数据的冲突,hive2代理管理元数据
区别hive2,hiveserver2是服务,而hive是一个交互窗口
C\设置时钟同步的定时任务
crontab -e
*/10 * * * * /usr/sbin/ntpdate time.nist.gov
D\hive的函数:UDF UDAF UDTF的区别
UDF: 单行进入,单行输出
UDAF: 多行进入,单行输出
UDTF: 单行输入,多行输出
E\hive的优化
答:优化可以从几个方面着手:
1. 好的模型设计事半功倍。
2. 解决数据倾斜问题。
3. 减少 job 数。
4. 设置合理的 map reduce 的 task 数,能有效提升性能。(比如,10w+级