如何处理批量数据

通过数据批量处理工具完成大批量数据的导入、导出和删除操作。

概述

💡 数据批量处理工具专为大规模数据操作设计，在数据量和使用频次上无限制，且跳过前台业务逻辑校验，让数据迁移和系统初始化工作更高效。

开始之前

[!IMPORTANT]

• 权限要求：您需要拥有 CRM 管理员权限，且可以访问后台管理的 数据维护工具。
• 前置条件：导入操作前，请准备好符合标准格式的 CSV 文件。
• 文件大小：单次导入文件不超过 100 MB。
• 影响范围：批量处理工具不执行查重、不触发工作流和审批流。导入的数据在修改记录中显示为"系统"操作。

访问入口

前往 后台管理 > CRM 管理 > 数据维护工具 > 数据批量处理。

批量导入数据

批量导入适用于系统上线前的数据初始化、历史数据迁移等场景。与前台导入相比，批量导入在数据量和使用频次上无限制，且不执行前台业务逻辑（仅保持元数据层面校验）。

上传文件

1. 在数据批量处理页面中，选择导入对象。
2. 选择导入方式：新增数据或更新现有数据。

[!NOTE]
选择"更新现有数据"时，可以设置导入字段为空值时是否继续更新。更新相关团队成员对象时，只有所有相关团队导入列都为空时才判定为空，否则会执行覆盖更新。

3. 选择数据导入的识别方式：唯一性 ID、对象主属性或对象下任选字段。

[!TIP]
导入前可以查看每个字段的标准格式说明。请按标准格式填写每个字段，避免出现导入失败的情况。

4. 根据模板要求上传 CSV 文件。

[!WARNING]
由于数据批量处理工具不校验业务逻辑，导入字段不符合业务规则可能导致对象数据在系统中产生报错。请务必确保导入字段符合业务逻辑。

映射字段

系统自动将文件中的字段与 CRM 对象中的字段对应，也可手动调整匹配关系。

1. 在字段映射页面中，检查系统自动匹配的字段对应关系。

2. 对未匹配的字段，手动选择目标 CRM 字段进行匹配。
3. 对于带有唯一属性的字段，通过主属性、ID 或自定义唯一规则确定字段的唯一性。

[!TIP]
自定义唯一规则可以将上传文件的表头与系统表单的表头在名称不一致时进行映射，减少对标准导入模板的依赖。

4. 点击确认导入，等待任务完成。

查看导入结果

导入完成后，在数据批量处理首页查看导入任务的状态和导入成功数。

• 任务失败时，可以下载失败文件查看失败原因。
• 失败任务支持重新启用。

批量导出数据

批量导出适用于数据备份、数据分析等场景。支持导出到本地、阿里云 OSS 或 FTP 系统，并支持周期性自动导出。

导出全对象

导出 CRM 系统中全部业务对象的数据，适用于整体数据备份。

1. 在数据批量处理页面中，选择导出全对象。
2. 选择导出方式并填写必填项。
3. 根据需要选择是否同步导出已作废数据。
4. 选择导出时间：立即导出或周期性导出。

[!NOTE]
周期性导出支持设置导出频率（一次、每天、每周、每月）和执行时间。

按对象导出

针对特定对象导出数据，支持设置导出条件和字段范围。

1. 在数据批量处理页面中，选择按对象导出。
2. 选择目标对象（只能选择一个对象）。
3. 根据需要选择是否同时导出关联对象。
4. 选择导出方式：本地、阿里云 OSS 或 FTP 系统。
5. 设置数据导出选项：是否同时导出已作废数据、是否同时导出数据 ID。
6. 选择导出时间：立即导出或周期性导出。
7. 在导出条件中，设置希望导出的字段。
8. 设置筛选条件：全部数据或按筛选条件导出。

批量删除数据

批量删除适用于清理测试数据、废弃数据等场景。

[!CAUTION]
通过此方式删除的数据永久不可恢复。请确认操作范围后再执行删除。

1. 在数据批量处理页面中，选择删除对象。
2. 选择目标对象（只能选择一个对象）。
3. 选择删除范围：全部删除或按筛选条件删除。
4. 选择删除时间：立即删除或周期性删除。

5. 输入登录密码进行验证。

6. 确认执行删除。

[!NOTE]
为了数据安全，执行删除操作需要校验登录密码。

预期结果

• 导入：目标对象列表中出现批量导入的数据，数据修改记录显示"系统"操作。
• 导出：导出文件生成在指定位置（本地下载、OSS 存储桶或 FTP 目录）。
• 删除：目标对象列表中不再显示被删除的数据。

常见问题

批量处理速度是否比标准导入更快？

是的。数据批量处理不执行前台业务逻辑和流程校验，因此速度更快。标准导入每批处理 50 条数据大约需要 1 秒，批量处理的速度在此基础上有显著提升。公有云环境可通过配置独立库进一步提升速度。

标准导入和批量处理的文件大小限制分别是多少？

批量处理是否支持功能权限控制？

目前不支持通过功能权限控制导入、导出、删除按钮。此功能已在规划中。

导出是否支持对接文件服务器？

导出功能支持对接阿里云 OSS 或本地搭建的 FTP 服务。导入功能暂不支持直接对接文件服务器。

相关主题

• 数据批量处理工具概述
• 数据迁移工具
• 配置对象导入规则