网站知名度推广,谷雨网页设计作业,网站开发证有没有用,网络营销方式论文作者 | 王磊来源 | Java中文社群#xff08;ID#xff1a;javacn666#xff09;转载请联系授权#xff08;微信ID#xff1a;GG_Stone#xff09;前面的文章咱们讲了 MyBatis 批量插入的 3 种方法#xff1a;循环单次插入、MyBatis Plus 批量插入、MyBatis 原生批量插入… 作者 | 王磊来源 | Java中文社群IDjavacn666转载请联系授权微信IDGG_Stone前面的文章咱们讲了 MyBatis 批量插入的 3 种方法循环单次插入、MyBatis Plus 批量插入、MyBatis 原生批量插入详情请点击《MyBatis 批量插入数据的 3 种方法》但之前的文章也有不完美之处原因在于使用 「循环单次插入」的性能太低使用「MyBatis Plus 批量插入」性能还行但要额外的引入 MyBatis Plus 框架使用「MyBatis 原生批量插入」性能最好但在插入大量数据时会导致程序报错那么今天咱们就会提供一个更优的解决方案。原生批量插入的“坑”首先我们来看一下 MyBatis 原生批量插入中的坑当我们批量插入 10 万条数据时实现代码如下import com.example.demo.model.User;
import com.example.demo.service.impl.UserServiceImpl;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;import java.util.ArrayList;
import java.util.List;SpringBootTest
class UserControllerTest {// 最大循环次数private static final int MAXCOUNT 100000;Autowiredprivate UserServiceImpl userService;/*** 原生自己拼接 SQL批量插入*/Testvoid saveBatchByNative() {long stime System.currentTimeMillis(); // 统计开始时间ListUser list new ArrayList();for (int i 0; i MAXCOUNT; i) {User user new User();user.setName(test: i);user.setPassword(123456);list.add(user);}// 批量插入userService.saveBatchByNative(list);long etime System.currentTimeMillis(); // 统计结束时间System.out.println(执行时间 (etime - stime));}
}核心文件 UserMapper.xml 中的实现代码如下?xml version1.0 encodingUTF-8?
!DOCTYPE mapper PUBLIC -//mybatis.org//DTD Mapper 3.0//EN http://mybatis.org/dtd/mybatis-3-mapper.dtd
mapper namespacecom.example.demo.mapper.UserMapperinsert idsaveBatchByNativeINSERT INTO USER(NAME,PASSWORD) VALUESforeach collectionlist separator, itemitem(#{item.name},#{item.password})/foreach/insert/mapper当我们开心地运行以上程序时就出现了以下的一幕沃程序竟然报错了这是因为使用 MyBatis 原生批量插入拼接的插入 SQL 大小是 4.56M而默认情况下 MySQL 可以执行的最大 SQL 为 4M那么在程序执行时就会报错了。解决方案以上的问题就是因为批量插入时拼接的 SQL 文件太大了所以导致 MySQL 的执行报错了。那么我们第一时间想到的解决方案就是将大文件分成 N 个小文件这样就不会因为 SQL 太大而导致执行报错了。也就是说我们可以将待插入的 List 集合分隔为多个小 List 来执行批量插入的操作而这个操作过程就叫做 List 分片。有了处理思路之后接下来就是实操了那如何对集合进行分片操作呢分片操作的实现方式有很多种这个我们后文再讲接下来我们使用最简单的方式也就是 Google 提供的 Guava 框架来实现分片的功能。分片 Demo 实战要实现分片功能第一步我们先要添加 Guava 框架的支持在 pom.xml 中添加以下引用!-- google guava 工具类 --
!-- https://mvnrepository.com/artifact/com.google.guava/guava --
dependencygroupIdcom.google.guava/groupIdartifactIdguava/artifactIdversion31.0.1-jre/version
/dependency接下来我们写一个小小的 demo将以下 7 个人名分为 3 组每组最多 3 个实现代码如下import com.google.common.collect.Lists;import java.util.Arrays;
import java.util.List;/*** Guava 分片*/
public class PartitionByGuavaExample {// 原集合private static final ListString OLD_LIST Arrays.asList(唐僧,悟空,八戒,沙僧,曹操,刘备,孙权.split(,));public static void main(String[] args) {// 集合分片ListListString newList Lists.partition(OLD_LIST, 3);// 打印分片集合newList.forEach(i - {System.out.println(集合长度 i.size());});}
}以上程序的执行结果如下从上述结果可以看出我们只需要使用 Guava 提供的 Lists.partition 方法就可以很轻松的将一个集合进行分片了。原生批量插入分片实现那接下来就是改造我们的 MyBatis 批量插入代码了具体实现如下Test
void saveBatchByNativePartition() {long stime System.currentTimeMillis(); // 统计开始时间ListUser list new ArrayList();// 构建插入数据for (int i 0; i MAXCOUNT; i) {User user new User();user.setName(test: i);user.setPassword(123456);list.add(user);}// 分片批量插入int count (int) Math.ceil(MAXCOUNT / 1000.0); // 分为 n 份每份 1000 条ListListUser listPartition Lists.partition(list, count);// 分片批量插入for (ListUser item : listPartition) {userService.saveBatchByNative(item);}long etime System.currentTimeMillis(); // 统计结束时间System.out.println(执行时间 (etime - stime));
}执行以上程序最终的执行结果如下从上图可以看出之前批量插入时的异常报错不见了并且此实现方式的执行效率竟比 MyBatis Plus 的批量插入的执行效率要高MyBatis Plus 批量插入 10W 条数据的执行时间如下总结本文我们演示了 MyBatis 原生批量插入时的问题可能会因为插入的数据太多从而导致运行失败我们可以通过分片的方式来解决此问题分片批量插入的实现步骤如下计算出分片的数量分为 N 批使用 Lists.partition 方法将集合进行分片分为 N 个集合循环将分片的集合进行批量插入的操作。往期推荐MyBatis 批量插入数据的 3 种方法MyBatis Plus 批量数据插入功能yyds如何给SpringBoot配置轻松加密
