README.md



character-library-metadata-bastion


源文件管理


文件列表 - list
上传 - 上传 oss / 创建 file
加载 - loadDataTable
编辑 - editDataTable
持久化 - flushDataTable
导出 - url
删除 - delete
操作日志 - log
editDataTable params 列表


加载表格数据 loadDataTable - 查询

{
  "fileId": 1,
  "where": [
    {
      "field": {
        "index": 1,
        "name": "产品名称"
      },
      "in": ["a", "b"],
      "ex": ["c", "d"],
      "sort": ["a", "asc"]
    }
  ]
}


编辑表格 editDataTable

{
  "field": {
    "index": 1,
    "name": "产品名称"
  },
  "operation": {
    "desc": ["拆分", "按字符数"],
    "code": "split_by_char_number"
  },
  "params": []
}


精简

{
  "field": "产品名称",
  "desc": ["拆分", "按字符数"],
  "operationCode": "split_by_char_number",
  "params": []
}


params 列表


数据展示

{
  "code": 0,
  "data": {
    "dataFields": [
      {
        "index": 1,
        "name": "产品名称",
        "type": "string"
      },
      {
        "index": 2,
        "name": "产品数量",
        "type": "int"
      }
    ],
    "dataRows": [
      ["素面", 200],
      ["冻豆腐", 400],
      ["冻豆腐1", 300],
      ["冻豆2", "A"]
    ],
    "total": 100,
    "pageNumber": 1,
    "inValidCells": [
      {
        "x": 1,
        "y": 3,
        "error": "不是一个有效的数值"
      }
    ]
  },
  "msg": "ok"
}


表关联关系


 可追加数据的表列表 /tables/search-appended-list

 校验文件列表 /files/search-verified-file

 匹配方案列表 /mapping-rule-config/search

 匹配方案主表 /mapping-rule-config/prepare //主表 校验表 主表字段 校验文件表字段

 匹配方案添加 /mapping-rule-config/

 匹配方案删除 /mapping-rule-config/:id

 追加数据到表格 /append-data-to-table // 验证是否追加过
 取消校验中的文件 /cancel-verifying-file //
 表结构更新 /tables/update-table-struct
 表结构添加 /tables/add-table-struct
 分表列表 /tables/search
 表复制 /tables/copy-data-table
 表删除 /tables/:id // 若是删除主表，需级联删除关联的分表，删除内容包括表数据及表结构；? 分表的副表是否要删除
 表详情 /tables/:id // 表结构
 表更新 /tables/:id // 表结构、分表才可以编辑
 日志搜索 /log/search
 校验步骤日志 /log/verified-step-Log


数据预览


 表数据预览（格式） /table/preview

 表数据自定义查询 /table/preview where conditions 升序、降序 包含、不包含

 表数据字段可选值搜索 /table/field-optional 文本匹配

 表数据更新、添加、删除 /table/row-data-mutation

 表数据导出 /table/export-table


数据验证


 文件验证 /data/edit-data-table


底层字库接口


 数据预览 1

 表格编辑 1

 保存校验文件 (文件地址) 1

 生成主表 1

 表复制 （副表）1

 追加数据 （主表、副表）

 表删除 （主表、副表）、分表


 表拆分 1

 更新表结构（分表）1

 编辑、添加、删除表数据（副表） 1

 取消校验


定时作业


 隔天清理校验中的文件

 隔天清理 public 临时文件


表数据导出


 加锁,只允许当前用户同时只能发起一次导出命令 ,3min 过期

 单次拉取数量 MR


 100W ..

 50W 120s 读取数据库:30s 保存文件:10s 下载:30M/500K=60S;RAR 压缩 24M/500k=50S

 20W ..

 10W ..


 保存单个文件、压缩 | 保存多个文件、压缩


讨论事项


 校验动作，参数模型讨论

 校验日志错误（标红）

 校验完毕应答实体，类型修改即使错误，也要返回修改完毕的表


参数说明


通用格式

{
  "objectId": 1,
  "processFields": [],
  "action": "xx",
  "params": {}
}


processFields：操作字段


常规


删除列


{
  "action": "remove-column",
  "params": {}
}


复制列


{
  "action": "copy-column",
  "params": {}
}


重命名


{
  "action": "rename-column",
  "params": {
    "newColumnName": "新的列名称"
  }
}


替换值


{
  "action": "replace-column",
  "params": {
    "replaceMethod": "replace",
    "searchValue": "搜索值",
    "replaceValue": "替换值"
  }
}


参数说明

replaceMethod: 替换方法(1.replace:替换值 2.add-prefix:添加前缀 3.add-postfix:添加后缀 4.remove-prefix:去除前缀 5.remove-postfix:去除后缀 6.remove-chars:去除固定字符 7.clean:清除)
searchValue: 搜索值-replace,remove-prefix,remove-postfix,remove-chars参数
replaceValue: 替换值-replace,add-prefix,add-postfix参数


格式 formatMethod


大写


{
  "action": "format-column",
  "params": {
    "formatMethod": "upper"
  }
}


参数说明

formatMethod: 格式化方法(1.upper:大写2.lower:小写3.capitalize:首字母大写4.strip:修整)


小写


{
  "action": "format-column",
  "params": {
    "formatMethod": "lower"
  }
}


首字母大写


{
  "action": "format-column",
  "params": {
    "formatMethod": "capitalize"
  }
}


清除


{
  "action": "replace-column",
  "params": {
    "replaceMethod": "clean"
  }
}


修整


{
  "action": "format-column",
  "params": {
    "formatMethod": "strip"
  }
}


添加前缀


{
  "action": "replace-column",
  "params": {
    "replaceMethod": "add-prefix",
    "replaceValue": "前缀值"
  }
}


添加后缀


{
  "action": "replace-column",
  "params": {
    "replaceMethod": "add-postfix",
    "replaceValue": "后缀值"
  }
}


去除前缀


{
  "action": "replace-column",
  "params": {
    "replaceMethod": "remove-prefix",
    "searchValue": "前缀值"
  }
}


去除后最


{
  "action": "replace-column",
  "params": {
    "replaceMethod": "remove-postfix",
    "searchValue": "后缀值"
  }
}


去除固定字符


{
  "action": "replace-column",
  "params": {
    "replaceMethod": "remove-chars",
    "searchValue": "字符"
  }
}


拆分 split-column


按分隔符


{
  "action": "split-column",
  "params": {
    "splitMethod": "separator",
    "separator": "|",
    "splitDirection": "left",
    "splitCount": "1"
  }
}


参数说明

separator: 分割符号 ‘|’
splitDirection: 拆分方向(1.left:从左边 2.right:从右边)
splitCount: 拆分次数


按字符数


{
  "action": "split-column",
  "params": {
    "splitMethod": "char-length",
    "splitDirection": "left",
    "charLength": "10",
    "splitCount": "1"
  }
}


参数说明

charLength: 字符长度-char-length专属参数
splitDirection: 拆分方向(1.left:从左边 2.right:从右边)
splitCount: 拆分次数 (拆分策略是重复时：值0或者非1整数)


提取 extract-column


按日期


{
  "action": "extract-column",
  "params": {
    "extractMethod": "by-date"
  }
}


参数说明

extractMethod: 提取方法(1.by-date:按日期 2.by-number:按数值)


按数值 action


{
  "action": "extract-column",
  "params": {
    "extractMethod": "by-number"
  }
}


修改字段类型

{
  "action": "convert-column-type",
  "params": {
    "convertType": "STRING"
  }
}


参数说明

convertType:转换类型 STRING 数值: INT 小数: FLOAT 日期: DATE 时间: DATETIME