PostgreSQL异常：An I/O error occurred while sending to the backend
在使用PostgreSQL数据库批量写入数据的时候，遇到了一个问题，异常内容如下：
Cause: org.postgresql.util.PSQLException: An I/O error occurred while sending to the backend.
报错内容
报错提示1
Caused by: org.postgresql.util.PSQLException: An I/O error occurred while sending to the backend.
at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:336)
at org.postgresql.jdbc.PgStatement.executeInternal(PgStatement.java:446)
at org.postgresql.jdbc.PgStatement.execute(PgStatement.java:370)
at org.postgresql.jdbc.PgPreparedStatement.executeWithFlags(PgPreparedStatement.java:149)
at org.postgresql.jdbc.PgPreparedStatement.execute(PgPreparedStatement.java:138)
报错提示2
Caused by: java.io.IOException: Tried to send an out-of-range integer as a 2-byte value: 1847252
at org.postgresql.core.PGStream.sendInteger2(PGStream.java:252)
at org.postgresql.core.v3.QueryExecutorImpl.sendParse(QueryExecutorImpl.java:1470)
at org.postgresql.core.v3.QueryExecutorImpl.sendOneQuery(QueryExecutorImpl.java:1793)
at org.postgresql.core.v3.QueryExecutorImpl.sendQuery(QueryExecutorImpl.java:1356)
at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:301)
... 117 common frames omitted
问题分析
从首个错误信息中可以看出，在PostgreSQL运行SQL语句时遭遇了输入/输出（I/O）异常，这意味着所执行的SQL语句存在某种问题或数据库文件系统有潜在故障。
而第二条错误信息则揭示，PostgreSQL在向客户端传输数据时，数据量超过了预设的限制。这通常表明，执行中的SQL查询结果过于庞大，超出了系统默认的传输容量，可能是因为查询返回了过多的数据行或单行数据包含大量信息所致。
查看源码
/**
* Sends a 2-byte integer (short) to the back end.
*
* @param val the integer to be sent
* @throws IOException if an I/O error occurs or {@code val} cannot be encoded in 2 bytes
*/
public void sendInteger2(int val) throws IOException {
if (val < Short.MIN_VALUE || val > Short.MAX_VALUE) {
throw new IOException("Tried to send an out-of-range integer as a 2-byte value: " + val);
}
int2Buf[0] = (byte) (val >>> 8);
int2Buf[1] = (byte) val;
pgOutput.write(int2Buf);
}
sendInteger2方法的作用是将一个整型值转换成短整型的二进制表示，并通过输出流发送给后端。如果输入的值超出短整型的范围，或者在写入过程中出现I/O错误，则会抛出IOException。
在方法内部，首先进行了一次范围检查，确保传入的整数值在短整型（short）的表示范围内，即介于 Short.MIN_VALUE 和 Short.MAX_VALUE 之间。如果超出范围，会抛出一个 IOException，指明试图发送的值过大或过小，无法用两个字节表示。
上面的错误提示，能确定就是在这块抛出的了，接下来重点查看代码中批量写入数据的代码。
问题发现
拿到接口执行的SQL以后，发现是一个批量写入的SQL，执行语句特别长，在Navicat中执行就直接报错了；修改批量写入的数据条数，发现是可以正常执行的；
伪代码如下：
// 从一个响应中获取一个名为"list"的数据集合
List<CustomEntity> entityList = ExtractListFromResponse(response, "list");
// 使用一个数据访问层组件，将数据插入到数据库中的指定表中
DataMapper.persistResponseData(entityList, targetTableName);
问题解决
将大集合进行拆分
// 使用org.apache.commons.collections4提供的ListUtils工具类，将大集合按照每组1000条进行拆分
List<List<CustomEntity>> partition = ListUtils.partition(entityList,1000);
// 循环遍历拆分之后的集合，分批写入数据
for (List<CustomEntity> customEntityList : partition){
// 使用一个数据访问层组件，将数据插入到数据库中的指定表中
DataMapper.persistResponseData(customEntityList, targetTableName);
}
使用MybatisPlus的批量写入
请确保自己的项目当中使用了MybatisPlus
// 从一个响应中获取一个名为"list"的数据集合
List<CustomEntity> entityList = ExtractListFromResponse(response, "list");
// 使用MybatisPlus的批量写入，指定每批写入条数
customService.saveBatch(entityList,1000);
原文地址：https://blog.csdn.net/aaalk1001/article/details/140545982
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！