自定义UDF解析IP地址获取 省份/城市+HDP集群TEZ报错问题

  •  编写UDF解析IP段落属于哪个身份城市(公司给了一份IP地址库格式大致如下)

  • 接下来用eclipse-jee-juno-SR2按照fatjar开始创建udf工程

pom.xml

  • 1.描述

    用java开发UDF打包成功放入hdp08140(HDP)的集群hive上运行。创建jar包成功,创建函数成功

下一步运行HQL 执行mapreduce程序出现报错如下

  • 同时只要创建了这个jar包和函数之后 运行任何mapreduce 程序都会出现同样错误。比如
  • Select count(*) from log_login_info where day=’20171212’
  • 会报错相同的错误,我个人觉得,只是个人觉得跟TEZ 引擎有关系.
  • 注:我在DM集群上用相同的方法是可以查询出来数据 也是可以运行MapReduce的因为DM集群是CDH环境 ,没有使用TEZ引擎。所以也不会暴露出跟TEZ引擎有关系的错误。解决办法:默认为TEZ引擎,更改为普通MR(set hive.execution.engine=mr; )这样的话创建jar之后运行任何都没有问题了。
  • 支付宝打赏
若你觉得我的文章对你有帮助,欢迎点击上方按钮对我打赏
Administrator

Administrator

知人不必言尽,留三分余地与人,留些口德与己。 责人不必苛尽,留三分余地与人,留些肚量与己。 才能不必傲尽,留三分余地与人,留些内涵与己。 锋芒不必露尽,留三分余地与人,留些深敛与己。 有功不必邀尽,留三分余地与人,留些谦让与己。

发表评论

电子邮件地址不会被公开。 必填项已用*标注