Skip to main content

Hadoop 资源集成

在 K8s 上使用 Hadoop 资源

在 StreamX Flink-K8s runtime 下使用 Hadoop 资源,如 checkpoint 挂载 HDFS、读写 Hive 等,目前用户需要自行构建相关 Flink Base Docker Image,Image 中需要包含以下内容:

  • 包含 Hadoop Lib, 并设置 HADOOP_CLASSPATH 到该目录;
  • 包含 Hadoop Config,并设置 HADOOP_CONF_DIR 到该目录;
  • 如果使用 Hive, 需要包含 Hive Config;

这其实挺不优雅的 🥲,我们将在随后的版本里支持自动集成 Hadoop 的功能支持, Plz look forward to !