Обработка массовой вставки данных SQLite + python

Эффективная обработка данных

Когда дело доходит до обработки огромного объема данных, разработчик обычно сохраняет данные в едином порядке, когда для каждого оператора SQL запускается новая транзакция. Это очень долго, поскольку требует повторного открытия, записи и закрытия файла журнала для каждого оператора, несмотря на то, что они могут делать это в массовых транзакциях. 

Допустим, у вас есть 20 000 записей кандидатов, которые нужно вставить в вашу базу данных. Есть ли смысл рассматривать массовую транзакцию? Конечно, почему бы и нет.

Я действительно рекомендую использовать этот метод для массовой транзакции не менее 20К данных, и что я могу сказать, это очень быстро и эффективно. 

Дополнительный способ

Существует также еще один эффективный способ повышения скорости выполнения транзакций SQLite. В этом случае у вас есть несколько экземпляров записи базы данных, поместите их в транзакцию. Вместо того, чтобы записывать (и блокировать) файл каждый раз, когда выполняется запрос на запись, запись будет происходить только один раз, когда транзакция завершится.