CDH
在一次CDH环境升级过后(CDH5.13升级到CDH6.3.2版本)测试各组件是否可以正常使用时,发现发现YARN中的mapreduce任务执行失败,起初以为是升级之后的配置文件没有全部更换,后来全部更换完后还是报错,后来又认为是需要调用任务端的网络与集群端的网络没有开通,结果验证了网络也没有问题。
结果搜了好多资料发现是异端连接问题
web端连接linux端运行mr任务失败,原因是本地idea跨平台远程调试hadoop集群出现的,在使用windows调用Hadoop yarn平台的时候都会出现类似的错误,在集群中的mapred-site配置添加mapreduce.app-submission.cross-platform true这项配置,或者在代码跨平台提交代码的方法解决问题
(报错日志忘记记录了。。)
CDH
在一次CDH环境升级过后(CDH5.13升级到CDH6.3.2版本)测试各组件是否可以正常使用时,发现发现YARN中的mapreduce任务执行失败,起初以为是升级之后的配置文件没有全部更换,后来全部更换完后还是报错,后来又认为是需要调用任务端的网络与集群端的网络没有开通,结果验证了网络也没有问题。
结果搜了好多资料发现是异端连接问题
web端连接linux端运行mr任务失败,原因是本地idea跨平台远程调试hadoop集群出现的,在使用windows调用Hadoop yarn平台的时候都会出现类似的错误,在集群中的mapred-site配置添加mapreduce.app-submission.cross-platform true这项配置,或者在代码跨平台提交代码的方法解决问题
(报错日志忘记记录了。。)