通过BulkLoad快速将海量数据导入到Hbase

  • 原始文件从mysq导出来的csv文件

     
  • 使用MR 对文件进行加盐操作根据MD5/region数量

     
  • 加盐生成另一种文件MR程序

     
  • 生成文件的形式为

     
  • 在进行另一个MR操作将生成的文件导入到Hbase表中


  •  

知人不必言尽,留三分余地与人,留些口德与己。 责人不必苛尽,留三分余地与人,留些肚量与己。 才能不必傲尽,留三分余地与人,留些内涵与己。 锋芒不必露尽,留三分余地与人,留些深敛与己。 有功不必邀尽,留三分余地与人,留些谦让与己。

发表评论

电子邮件地址不会被公开。 必填项已用*标注