当前位置：网站首页>项目中数据库插入大批量数据遇到的问题

项目中数据库插入大批量数据遇到的问题

2022-07-24 06:57:00 【导演我尽力了】

上周五的时候在测试环境跑大批数据(大概有8000万),想着等周一来看,但周一发现数据并没有处理完,停住了,查看日志时发现问题,首先是看到“no space left on device”这个异常,哦,磁盘空间不足了,删呗…,df- I 查一下文件属性使用情况:

使用的都很少,那再用 df -h 看看实际文件大小:

(这个图是删完以后的,当时忘截图了……)

标红的地方当时使用情况已经达到100G,达到了100%;所以显而易见,服务器内存不足了;然后就可以找一些没用的日志文件删一删就可以了;

当我继续去跑数据后,过了会儿我发现数据又不动了,于是去查看日志,又发现另一个新的异常:” ORA-01653: unable to extend table 表名by 1024 in tablespace 表空间名”

哈,日常表空间不足;

首先检查一下oracle表空间：

SELECT UPPER(F.TABLESPACE_NAME) "表空间名",
D.TOT_GROOTTE_MB "表空间大小(M)",
D.TOT_GROOTTE_MB - F.TOTAL_BYTES "已使用空间(M)",
TO_CHAR(ROUND((D.TOT_GROOTTE_MB - F.TOTAL_BYTES) / D.TOT_GROOTTE_MB * 100,2),'990.99') || '%' "使用比例",
F.TOTAL_BYTES "空闲空间(M)",
F.MAX_BYTES "最大块空间(M)"
FROM (SELECT TABLESPACE_NAME,
ROUND(SUM(BYTES) / (1024 * 1024), 2) TOTAL_BYTES,
ROUND(MAX(BYTES) / (1024 * 1024), 2) MAX_BYTES
FROM SYS.DBA_FREE_SPACE
GROUP BY TABLESPACE_NAME) F,
(SELECT DD.TABLESPACE_NAME,
ROUND(SUM(DD.BYTES) / (1024 * 1024), 2) TOT_GROOTTE_MB
FROM SYS.DBA_DATA_FILES DD
GROUP BY DD.TABLESPACE_NAME) D
WHERE D.TABLESPACE_NAME = F.TABLESPACE_NAME
ORDER BY 4 desc ;

查询结果(这个图是扩完以后的,之前是60G,当时忘截图了……)

所以当时情况就是表空间不足了,需要扩表空间;

查看表空间所使用数据文件：

select file_name,tablespace_name,bytes/1024/1024,maxbytes/1024/1024 from dba_data_files where tablespace_name='表空间名';

(4是扩完以后加的,原来只有60个G,)

每次扩最多32G,( 至于怎么扩的,我不清楚了,管理员扩的,)

查询表空间中占用最多的10个对象:

select OWNER,SEGMENT_NAME,SEGMENT_TYPE,total||'M' from
(select OWNER,SEGMENT_NAME,SEGMENT_TYPE,bytes/1024/1024 total from dba_segments
where TABLESPACE_NAME='表空间名' order by bytes/1024/1024 desc ) where rownum <11;

前俩列是表空间名和表名,就不展示了,这俩列是类型和占用大小;