EF Core 中高效批量删除、更新数据的 Zack.EFCore.Batch发布三个新特性
The following article is from 杨中科 Author 杨中科
前言
开源目项《Entity Framework Core 5中实现批量更新、删除》已经迭到代了1.4.3版,经大过家反馈的issue,功已能经比较稳定了。目前馈反的大部分issue能都在三天内理处修复,增加了"批插量入、限条制数更新删除"等,欢迎家大使用反馈。
Zack.EFCore.Batch是一个支持在Entity Framework Core中高效删除和更新数据的开源库。我们知道,EF Core中不支持高效的删除和更新数据,所有的更新和操作都是逐条数据处理。比如,如果使用如下的语句删除实现"删除所有价格大于10元的书":
ctx.RemoveRange(ctx.Books.Where(b=> b.Price > 33))
那么,EntityFramework Core会先执行Select * from books where price>33,然后再对于每一条数据执行delete from books where id=@id进行删除。
EF Core中批量数据的更新原理也是类似。因此在EF Core中进行大量数据的批量删除、更新效率是比较低的。
为了能够实现"一句SQL实现数据的删除、更新",我开发了开源项目Zack.EFCore.Batch,这个开源项目实现了如下批量删除的写法:
await ctx.DeleteRangeAsync<Book>(b => b.Price > n || b.AuthorName =="zack yang");
上面的C#代码就会执行如下的SQL语句,从而实现"一句SQL删除数据"的效果:
Delete FROM[T_Books] WHERE ([Price] > @__p_0) OR ([AuthorName] = @__s_1)
这个开源项目使用EF Core实现SQL语句的翻译,因此只要EF Core支持的数据库,对应的Linq操作都可以实现翻译成对应的方言SQL,比如下面的批量更新操作的Linq代码:
await ctx.BatchUpdate<Book>()
.Set(b => b.Price, b => b.Price + 3)
.Set(b => b.Title, b => s)
.Set(b =>b.AuthorName,b=>b.Title.Substring(3,2)+b.AuthorName.ToUpper())
.Set(b => b.PubTime, b => DateTime.Now)
.Where(b => b.Id > n || b.AuthorName.StartsWith("Zack"))
.ExecuteAsync();
在SQL Server数据库下就会翻译成一条Update语句,如下:
Update [T_Books]SET [Price] = [Price] + 3.0E0, [Title] = @__s_1, [AuthorName] =COALESCE(SUBSTRING([Title], 3 + 1, 2), N'') + COALESCE(UPPER([AuthorName]),N''), [PubTime] = GETDATE()
WHERE ([Id] >@__p_0) OR ([AuthorName] IS NOT NULL AND ([AuthorName] LIKE N'Zack%'))
经历用户几个月的使用和反馈issue,目前项目已经升级到1.4.3版,支持SQLServer、MySQL、PostgreSQL、Oracle、SQLite数据库。理论上来讲,只要EF Core支持的数据库,Zack.EFCore.Batch都可以支持。如果您有其他数据库需要支持,请和我联系。除了已有的特性之外,Zack.EFCore.Batch新版增加了如下特性。
特性一、基于实体关系的数据过滤 在过滤条件中支持实体之间的关系。例如:
ctx. DeleteRangeAsync<Article>(a=>a.Comments.Any(c=>c.Message.Contains(“History”))
||a.Author.BirthDay.Year<2000);
特性二、支持数据的批量插入可以用如下的方式进行高效的批量插入:
List<Book> books = new List<Book>();
for (int i = 0; i < 100; i++)
{
books.Add(newBook { AuthorName = "abc" + i, Price = new Random().NextDouble(),PubTime = DateTime.Now, Title = Guid.NewGuid().ToString() });
}
using (TestDbContext ctx = newTestDbContext())
{
ctx.BulkInsert(books);
}
BulkInsert()底层使用各个数据库的BulkCopy机制实现数据插入,因此插入效率非常高。
目前有如下两个缺点:不支持关联数据的自动插入,对于关联的对象,请同样调用BulkInsert()进行插入;由于PostgreSQL的.NET Core Provider还没有支持BulkCopy,所以目前Zack.EFCore.Batch暂不支持PostgreSQL,我后面再去想办法解决。
特征三、支持Take()、Skip()来限制删除和更新数据的范围 批量删除和批量更新都支持通过Take()、Skip()来实现部分删除和部分更新,例子代码如下:
await ctx.Comments.Where(c =>c.Article.Id == id).Skip(3)
.DeleteRangeAsync<Comment>(ctx);
await ctx.Comments.Where(c =>c.Article.Id == id).Skip(3).Take(10)
.DeleteRangeAsync<Comment>(ctx);
await ctx.Comments.Where(c =>c.Article.Id == id).Take(10)
.DeleteRangeAsync<Comment>(ctx);
awaitctx.BatchUpdate<Comment>().Set(c => c.Message, c => c.Message +"abc")
.Where(c=> c.Article.Id == id)
.Skip(3)
.ExecuteAsync();
await ctx.BatchUpdate<Comment>().Set(c=> c.Message, c => c.Message + "abc")
.Where(c=> c.Article.Id == id)
.Skip(3)
.Take(10)
.ExecuteAsync();
awaitctx.BatchUpdate<Comment>().Set(c => c.Message, c => c.Message +"abc")
.Where(c => c.Article.Id == id)
.Take(10)
.ExecuteAsync();
具体用法请访问开源项目地址:https://github.com/yangzhongke/Zack.EFCore.Batch
NuGet地址:https://www.nuget.org/packages/Zack.EFCore.Batch/
- EOF -
看完本文有收获?请转发分享给更多人
推荐关注「DotNet」,提升.Net技能
点赞和在看就是最大的支持❤️