最新消息: USBMI致力于为网友们分享Windows、安卓、IOS等主流手机系统相关的资讯以及评测、同时提供相关教程、应用、软件下载等服务。

CDH

IT圈 admin 12浏览 0评论

CDH

在一次CDH环境升级过后(CDH5.13升级到CDH6.3.2版本)测试各组件是否可以正常使用时,发现发现YARN中的mapreduce任务执行失败,起初以为是升级之后的配置文件没有全部更换,后来全部更换完后还是报错,后来又认为是需要调用任务端的网络与集群端的网络没有开通,结果验证了网络也没有问题。

结果搜了好多资料发现是异端连接问题

web端连接linux端运行mr任务失败,原因是本地idea跨平台远程调试hadoop集群出现的,在使用windows调用Hadoop yarn平台的时候都会出现类似的错误,在集群中的mapred-site配置添加mapreduce.app-submission.cross-platform true这项配置,或者在代码跨平台提交代码的方法解决问题

(报错日志忘记记录了。。)

CDH

在一次CDH环境升级过后(CDH5.13升级到CDH6.3.2版本)测试各组件是否可以正常使用时,发现发现YARN中的mapreduce任务执行失败,起初以为是升级之后的配置文件没有全部更换,后来全部更换完后还是报错,后来又认为是需要调用任务端的网络与集群端的网络没有开通,结果验证了网络也没有问题。

结果搜了好多资料发现是异端连接问题

web端连接linux端运行mr任务失败,原因是本地idea跨平台远程调试hadoop集群出现的,在使用windows调用Hadoop yarn平台的时候都会出现类似的错误,在集群中的mapred-site配置添加mapreduce.app-submission.cross-platform true这项配置,或者在代码跨平台提交代码的方法解决问题

(报错日志忘记记录了。。)

发布评论

评论列表 (0)

  1. 暂无评论