datahub安装教程

偶然发现datahub很不错，单机部署来了。

1. 本地安装docker，进入到opt目录或home目录，执行以下命令（国内锁了）：

    git clone https://github.com/linkedin/datahub.git
   
    cd /opt/datahub/docker
   
    datahub docker quickstart -f ./quickstart/docker-compose-without-neo4j.quickstart.yml
   
    source ./quickstart.sh
   

1. 执行以下命令

    python3 -m pip install --upgrade pip wheel setuptools
    python3 -m pip uninstall datahub acryl-datahub || true 
    python3 -m pip install --upgrade acryl-datahub
    datahub version
    datahub docker quickstart
   

   • 发现没有pip配置，果断下载get-pip.py，然后执行以下命令安装pip

     sudo python3 get-pip.py

   • 安装成功后，依次执行以上命令。结果如图

3.使用datahub导入数据

   pip install pymysql
   cd /opt/datahub/docker/ingestion

• 复制一份sample_recipe.yml修改配置文件：

    vi recipe.yml
  

  

• 编辑配置
  

  • 具体如下:

source:
  type: "mysql"
  config:
    username: "root"
    password: "root"
    database: "games_paly"
    host_port: "127.0.0.1:3306"
sink:
  type: "datahub-rest"
  config:
    server: 'http://localhost:8080'

4.导入数据

 datahub ingest -c recipe.yml