Join Doe

Join Doe是一个在匿名化敏感数据的同时复制数据库内容到不同环境中的工具。

它将源数据导出到S3桶中，匿名化数据，然后将其上传到目标。

当前状态

当前项目仅支持Redshift。

如何使用

Join Doe从YAML配置文件执行其作业。

示例

source:
  connection_uri: $DATABASE_URL
  tables:
    - name: providers
      transform:
          - column: identifier
            transformer: reverse
          - column: first_name
            transformer: first-name
          - column: last_name
            transformer: last-name
    - name: orders
      transform:
          - column: identifier
            transformer: reverse
store:
  bucket: nw-data-transfer
  aws_access_key_id: $AWS_ACCESS_KEY_ID
  aws_secret_access_key: $AWS_SECRET_ACCESS_KEY
destination:
  connection_uri: $TARGET_DATABASE_URL

此配置处理源数据库中的两个表：providers和orders。然后使用给定的转换器修改一些字段，将其存储在S3桶中，然后上传到目标数据库。

支持的转换器有

• reverse：反转字段的值
• first-name：用随机名字替换字段的值
• last-name：用随机姓氏替换字段的值