查看原文
其他

EF Core 中高效批量删除、更新数据的 Zack.EFCore.Batch发布三个新特性

DotNet 2021-12-15

The following article is from 杨中科 Author 杨中科

前言


开源‮目项‬《Entity Framework Core 5中实现批量更新、删除》已经迭‮到代‬了1.4.3版,经‮大过‬家反馈的issue,功‮已能‬经比较稳定了。目前‮馈反‬的大部分issue‮能都‬在三天内‮理处‬修复,增加了"批‮插量‬入、限‮条制‬数更新删除"等,欢迎‮家大‬使用反馈。


Zack.EFCore.Batch是一个支持在Entity Framework Core中高效删除和更新数据的开源库。我们知道,EF Core中不支持高效的删除和更新数据,所有的更新和操作都是逐条数据处理。比如,如果使用如下的语句删除实现"删除所有价格大于10元的书":

ctx.RemoveRange(ctx.Books.Where(b=> b.Price > 33))

那么,EntityFramework Core会先执行Select * from books where price>33,然后再对于每一条数据执行delete from books where id=@id进行删除。

EF Core中批量数据的更新原理也是类似。因此在EF Core中进行大量数据的批量删除、更新效率是比较低的。


为了能够实现"一句SQL实现数据的删除、更新",我开发了开源项目Zack.EFCore.Batch,这个开源项目实现了如下批量删除的写法:

await ctx.DeleteRangeAsync<Book>(b => b.Price > n || b.AuthorName =="zack yang");

上面的C#代码就会执行如下的SQL语句,从而实现"一句SQL删除数据"的效果:

Delete FROM[T_Books] WHERE ([Price] > @__p_0) OR ([AuthorName] = @__s_1)

这个开源项目使用EF Core实现SQL语句的翻译,因此只要EF Core支持的数据库,对应的Linq操作都可以实现翻译成对应的方言SQL,比如下面的批量更新操作的Linq代码:

await ctx.BatchUpdate<Book>()
   .Set(b => b.Price, b => b.Price + 3)
   .Set(b => b.Title, b => s)
   .Set(b =>b.AuthorName,b=>b.Title.Substring(3,2)+b.AuthorName.ToUpper())
   .Set(b => b.PubTime, b => DateTime.Now)
   .Where(b => b.Id > n || b.AuthorName.StartsWith("Zack"))
.ExecuteAsync();

在SQL Server数据库下就会翻译成一条Update语句,如下:

Update [T_Books]SET [Price] = [Price] + 3.0E0, [Title] = @__s_1, [AuthorName] =COALESCE(SUBSTRING([Title], 3 + 12), N'') + COALESCE(UPPER([AuthorName]),N''), [PubTime] = GETDATE()
WHERE ([Id] >@__p_0) OR ([AuthorName] IS NOT NULL AND ([AuthorName] LIKE N'Zack%'))

经历用户几个月的使用和反馈issue,目前项目已经升级到1.4.3版,支持SQLServer、MySQL、PostgreSQL、Oracle、SQLite数据库。理论上来讲,只要EF Core支持的数据库,Zack.EFCore.Batch都可以支持。如果您有其他数据库需要支持,请和我联系。除了已有的特性之外,Zack.EFCore.Batch新版增加了如下特性。

特性一、基于实体关系的数据过滤    在过滤条件中支持实体之间的关系。例如:

ctx. DeleteRangeAsync<Article>(a=>a.Comments.Any(c=>c.Message.Contains(“History”))
||a.Author.BirthDay.Year<2000);

特性二、支持数据的批量插入可以用如下的方式进行高效的批量插入:

List<Book> books = new List<Book>();
for (int i = 0; i < 100; i++)
{
       books.Add(newBook { AuthorName = "abc" + i, Price = new Random().NextDouble(),PubTime = DateTime.Now, Title = Guid.NewGuid().ToString() });
}
using (TestDbContext ctx = newTestDbContext())
{
       ctx.BulkInsert(books);
}

BulkInsert()底层使用各个数据库的BulkCopy机制实现数据插入,因此插入效率非常高。

目前有如下两个缺点:不支持关联数据的自动插入,对于关联的对象,请同样调用BulkInsert()进行插入;由于PostgreSQL的.NET Core Provider还没有支持BulkCopy,所以目前Zack.EFCore.Batch暂不支持PostgreSQL,我后面再去想办法解决。

特征三、支持Take()、Skip()来限制删除和更新数据的范围       批量删除和批量更新都支持通过Take()、Skip()来实现部分删除和部分更新,例子代码如下:

await ctx.Comments.Where(c =>c.Article.Id == id).Skip(3)
.DeleteRangeAsync<Comment>(ctx);
await ctx.Comments.Where(c =>c.Article.Id == id).Skip(3).Take(10)
.DeleteRangeAsync<Comment>(ctx);
await ctx.Comments.Where(c =>c.Article.Id == id).Take(10)
.DeleteRangeAsync<Comment>(ctx);
 
awaitctx.BatchUpdate<Comment>().Set(c => c.Message, c => c.Message +"abc")
       .Where(c=> c.Article.Id == id)
       .Skip(3)
       .ExecuteAsync();
 
await ctx.BatchUpdate<Comment>().Set(c=> c.Message, c => c.Message + "abc")
       .Where(c=> c.Article.Id == id)
       .Skip(3)
       .Take(10)
       .ExecuteAsync();
awaitctx.BatchUpdate<Comment>().Set(c => c.Message, c => c.Message +"abc")
  .Where(c => c.Article.Id == id)
  .Take(10)
  .ExecuteAsync();

具体用法请访问开源项目地址:https://github.com/yangzhongke/Zack.EFCore.Batch
NuGet地址:https://www.nuget.org/packages/Zack.EFCore.Batch/


- EOF -

推荐阅读  点击标题可跳转
.NET 之 Docker 部署详细流程C# 数据类型在内存中的存储原理.NET Core with 微服务 - Ocelot 网关


看完本文有收获?请转发分享给更多人

推荐关注「DotNet」,提升.Net技能 

点赞和在看就是最大的支持❤️

: . Video Mini Program Like ,轻点两下取消赞 Wow ,轻点两下取消在看

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存