码上敲享录 > 大数据常见问题解答 > 原数据没有主键datax如何同步到kudu

原数据没有主键datax如何同步到kudu

上一章章节目录下一章 2021-12-20已有1312人阅读 评论(0)

原数据没有主键datax如何同步到kudu


解决方法:

原数据没主键,kudu的id是主键,可以用querySql来获取原数据,临时生成一个主键即可。

{

   "job": {

       "setting": {

           "speed": {

                "byte": 1048576

           }

       },

       "content": [

           {

               "reader": {

                   "name": "sqlserverreader",

                   "parameter": {

                       "username": "username",

                       "password": "password",

                       "connection": [

                           {

                               "querySql":  ["select newid() as id,oucode from  GunStatis where WorkDay>=dateadd(dd,-1,cast(getdate() as date))"],

                               "jdbcUrl": ["jdbc:sqlserver://12.191.2.22:1233;database=cldb"]

                           }

                       ]

                   }

               },

              "writer": {

"parameter": {

"batch-size": 2048,

"column": [

                    {

                     "name": "id",

                     "index": 0,

                     "type": "string"

                    },{

"index": 1,

"name": "oucode",

"type": "string"

}],

"mutationBufferSpace": 5000,

"isUpsert": true,

"table": "impala::stat.GunStatis",

"masterAddr": "11.222.222.125:7221,10.228.222.126:7221,10.222.222.102:7221",

"primaryKey": [{

"index": 0,

"name": "id",

"type": "string"

}]

},

"name": "kuduwriter"

}

           }

       ]

   }

}


向大家推荐《Activiti工作流实战教程》:https://xiaozhuanlan.com/activiti
0

有建议,请留言!

  • *您的姓名:

  • *所在城市:

  • *您的联系电话:

    *您的QQ:

  • 咨询问题:

  • 提 交