美团面试题：MySql批量插入时，如何不插入重复的数据？

大家好，我是鸭哥。

温故而知新

业务很简单：需要批量插入一些数据，数据来源可能是其他数据库的表，也可能是一个外部excel的导入

向大数据数据库中插入值时，还要判断插入是否重复，然后插入。如何提高效率看来这个问题不止我一个人苦恼过。

解决的办法有很多种，不同的场景解决方案也不一样，数据量很小的情况下，怎么搞都行，但是数据量很大的时候，这就不是一个简单的问题了。

几百万的数据，不可能查出来，做去重处理

说一下我Google到的解决方案

1、insert ignore into

当插入数据时，如出现错误时，如重复数据，将不返回错误，只以警告形式返回。所以使用ignore请确保语句本身没有问题，否则也会被忽略掉。例如：

INSERT IGNORE INTO user (name) VALUES ('telami')

这种方法很简便，但是有一种可能，就是插入不是因为重复数据报错，而是因为其他原因报错的，也同样被忽略了～

2、on duplicate key update

例如，为了实现name重复的数据插入不报错，可使用一下语句：

INSERT INTO user (name) VALUES ('telami') ON duplicate KEY UPDATE id = id

这种方法有个前提条件，就是，需要插入的约束，需要是主键或者唯一约束（在你的业务中那个要作为唯一的判断就将那个字段设置为唯一约束也就是unique key）。

3、insert … select … where not exist

根据select的条件判断是否插入，可以不光通过primary 和unique来判断，也可通过其它条件。例如：

INSERT INTO user (name) SELECT 'telami' FROM dual WHERE NOT EXISTS (SELECT id FROM user WHERE id = 1)

4、replace into

如果存在primary or unique相同的记录，则先删除掉。再插入新记录。

REPLACE INTO user SELECT 1, 'telami' FROM books

这种方法就是不管原来有没有相同的记录，都会先删除掉然后再插入。

实践

选择的是第二种方式

<insert id="batchSaveUser" parameterType="list">        insert into user (id,username,mobile_number)        values        <foreach collection="list" item="item" index="index" separator=",">            (                #{item.id},                #{item.username},                #{item.mobileNumber}            )        </foreach>        ON duplicate KEY UPDATE id = id    </insert>

来源：http://vmy9p.cn/0mmmj

近期技术热文

点击下方公众号

回复关键字【666】

领取资料

我就知道你会点赞+“在看”