Excel文件格式的标准化要求
数据库对数据格式的敏感度远高于Excel,需提前完成以下规范化处理:
mysql -u root -p –local-infile=1
LOAD DATA LOCAL INFILE '/path/data.csv' INTO TABLE my_table
FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY 'rn';
Workbench可视化操作
- 导航至Table Data Import Wizard
- 选择CSV文件并映射字段类型
▍SQL Server
-
使用SSIS包
- 在Integration Services中配置Excel Source → OLEDB Destination
- 处理数据类型转换错误(如文本转数值)
-
OPENROWSET函数
INSERT INTO dbo.MyTable SELECT * FROM OPENROWSET('Microsoft.ACE.OLEDB.12.0', 'Excel 12.0;HDR=YES;Database=C:Data.xlsx', [Sheet1$])
▍PostgreSQL
COPY my_table FROM '/path/data.csv' DELIMITER ',' CSV HEADER;
高频问题解决方案
-
日期格式报错
DELETE t1 FROM my_table t1
INNER JOIN my_table t2
WHERE t1.id < t2.id AND t1.unique_field = t2.unique_field;
专业工具链推荐
工具名称 | 适用场景 | 核心功能 |
---|---|---|
Navicat | 跨数据库可视化导入 | 自动类型推断、实时数据预览 |
Pentaho Kettle | 大数据量ETL处理 | 并行加载、异常数据隔离 |
Python脚本 | 定制化清洗(正则匹配) | 使用pandas +sqlalchemy 库 |
权威引用来源
- MySQL官方文档 – LOAD DATA语法
- Microsoft Learn – SQL Server导入Excel指南
- PostgreSQL手册 – COPY命令详解
通过标准化文件预处理、选择适配的导入方式,以及采用自动化工具,可降低人工干预风险,建议在正式导入前使用LIMIT 100
子句进行小批量验证,确保数据完整性。