Comment accélérer DbSet.Add()?

Question

Je dois importer environ 30k lignes à partir d'un fichier CSV vers ma base de données SQL, cela prend malheureusement 20 minutes.

Dépannage avec un profileur me montre que DbSet.Add prend le plus de temps, mais pourquoi?

J'ai ces Entity Framework code-Premières classes:

public class Article 
{ 
    // About 20 properties, each property doesn't store excessive amounts of data 
} 

public class Database : DbContext 
{ 
    public DbSet<Article> Articles { get; set; } 
} 

Pour chaque élément dans ma boucle que je fais:

db.Articles.Add(article); 

En dehors de la boucle que je fais:

db.SaveChanges(); 

Il est connecté avec mon serveur SQLExpress local, mais je suppose qu'il n'y a rien écrit jusqu'à ce que Sav eChanges est appelé donc je suppose que le serveur ne sera pas le problème ....

Answer 1

Chaque élément dans une unité de travail a des frais généraux, car il doit vérifier (et mettre à jour) le gestionnaire d'identité, ajouter à divers La première chose que j'essaierais est de regrouper, disons, des groupes de 500 (changer ce nombre), en commençant par un nouveau (nouveau) contexte d'objet chaque fois - comme vous pouvez raisonnablement attendre performance télescopique. La rupture en lots empêche également une transaction mégalithique de tout arrêter.

Au-delà de cela; SqlBulkCopy. Il est conçu pour les grandes importations avec un minimum de frais généraux. Ce n'est pas EF cependant.

Answer 2

Je n'ai pas vraiment essayé cela, mais ma logique serait de conserver le pilote ODBC pour charger le fichier dans datatable, puis d'utiliser la procédure SQL stockée pour passer la table à la procédure.

Pour la première partie, essayez: http://www.c-sharpcorner.com/UploadFile/mahesh/AccessTextDb12052005071306AM/AccessTextDb.aspx

Pour la deuxième partie essayer la procédure SQL: http://www.builderau.com.au/program/sqlserver/soa/Passing-table-valued-parameters-in-SQL-Server-2008/0,339028455,339282577,00.htm

Et créer un objet SqlCommnand en C# et ajouter à sa collection de paramètres SqlParameter qui est SqlDbType. Structuré

Eh bien, j'espère que ça aide.

Answer 3

Selon le commentaire de Kevin Ramen (mars 29) Je peux confirmer que la mise en db.Configuration.AutoDetectChangesEnabled = false fait une énorme différence dans la vitesse

Courir Add() sur 2324 articles par défaut couru 15sec 3min sur ma machine, désactiver la détection automatique a permis dans l'opération complétant en 0.5sec.

http://blog.larud.net/archive/2011/07/12/bulk-load-items-to-a-ef-4-1-code-first-aspx

Answer 4

Je vais ajouter au commentaire de Kervin Ramen en disant que si vous ne faites que des inserts (aucune mise à jour ou de suppression), vous pouvez, en général, en toute sécurité définissez les propriétés suivantes avant de faire des inserts sur le contexte:

DbContext.Configuration.AutoDetectChangesEnabled = false; 
DbContext.Configuration.ValidateOnSaveEnabled = false; 

J'avais un problème avec une importation en vrac unique à mon travail. Sans définir les propriétés ci-dessus, ajouter environ 7500 objets compliqués au contexte prenait plus de 30 minutes.La définition des propriétés ci-dessus (désactivation des vérifications EF et modification du suivi) a réduit l'importation à quelques secondes.

Mais, encore une fois, je ne l'utilise que si vous faites des insertions. Si vous devez mélanger des insertions avec des mises à jour/des suppressions, vous pouvez diviser votre code en deux chemins et désactiver les vérifications EF pour la pièce d'insertion, puis réactiver les vérifications pour le chemin de mise à jour/suppression. J'ai utilisé cette approche avec succès pour contourner le comportement lent DbSet.Add().

Answer 5

Il est extrêmement facile à utiliser et l'extension très rapide ici: https://efbulkinsert.codeplex.com/

Il est appelé « Entity Framework d'insertion en bloc ».

L'extension elle-même est dans l'espace de nom EntityFramework.BulkInsert.Extensions. Donc, pour révéler la méthode d'extension ajouter à l'aide

using EntityFramework.BulkInsert.Extensions; 

Et vous pouvez le faire

context.BulkInsert(entities); 

BTW - Si vous ne souhaitez pas utiliser cette extension pour une raison quelconque, vous pouvez également essayer au lieu de courir db.Articles.Add (article) pour chaque article, pour créer chaque fois une liste de plusieurs articles et ensuite utiliser AddRange (nouveau dans EF version 6, avec RemoveRange) pour les ajouter ensemble au dbcontext.