利用sqoop1 同步hive數(shù)據(jù)到postgresql 報錯如下圖1
圖1
sqoop命令如下：
sqoop export --connect 'jdbc:postgresql://${ip}:5432/${db}?prepareThreshold=0' --username '${username}' --password '${pwd}' --table '${tablename}' --export-dir '${hdfs_dir}' --hive-partition-key part_dt --hive-partition-value '20200315' --input-fields-terminated-by '\t' -- --schema '${schema_name}'
由于使用PgBouncer 發(fā)現(xiàn)postgresql 版本過低引起的诵次。
PgBounceris usedin transaction modeby default for all PostgreSQL connections, which?breaks JDBC's defaultPREPARED STATEMENThandling.
將最新的驅(qū)動包拷貝到sqoop lib 目錄（/opt/cloudera/parcels/CDH/lib/sqoop/lib）下即可執(zhí)行成功
