其他
如何成为开源社区commiter
你为什么想成为commiter
如何起步
代码通用性原则
#source ${dir}/check-hive-usability.sh
#hive_env=`hive ${hive_conf_properties} -e set 2>&1 | grep 'env:CLASSPATH'`
hive_env=`cat ${dir}/hive-cli.txt`
36 if [ ! -f ${dir}/hive-env-classpath.txt ]
37 then
38 echo "init hive env classpath"
39 source ${dir}/check-hive-usability.txt
40 hive_env=`hive ${hive_conf_properties} -e set 2>&1 | grep 'env:CLASSPATH'`
41 echo $hive_env > ${dir}/hive-env-classpath.txt
42 else
43 echo "load hive-env-classpath.txt"
44 hive_env=`cat ${dir}/hive-env-classpath.txt`
18 kylin.engine.xiaoju.kafka-enabled=true
19 kylin.engine.xiaoju.kafka.clusterId=xxx
20 kylin.engine.xiaoju.kafka.topic.name=xxx
21 kylin.engine.xiaoju.kafka.appId=xxx
22 kylin.engine.xiaoju.kafka.password=xxx
23 kylin.engine.xiaoju.kafka.bootstrap.servers=xxx
增加kylin.engine.job-status.write.kafka=true,启用该功能。
配置kylin.engine.job-status.kafka.bootstrap.servers=xxx,指定连接服务地址。
kylin.engine.job-status.kafka.topic.name=xx,指定发送topic名。
其他需要的kafka配置,可以通过kylin.engine.job-status.kafka.{name}={value}配置,kafka的Properties配置会增加所有的{name}={value}的配置。
提供一些默认值:
ACKS_CONFIG=-1,
COMPRESSION_TYPE_CONFIG=lz4,
RETRIES_CONFIG=3,
LINGER_MS_CONFIG=500,
BATCH_SIZE_CONFIG, 10000
善用工具