Понял, я отдельный скрипт создал, который как раз работает через html Парсинг. Инфорамцию с страницы забирает за 2 секунды примерно, но обычно страниц около 200 если не больше.

У меня данные по апи забираются из разных источников поэтому нет такой проблемы

Тогда да, это довольно быстрый способ👍🙂

Привет, сохранение сначала в csv файл, а дальше в базу. Сегодня как раз хочу писать крон, для посуточной проверки данных и обновления. При этом главное что бы все не перезаписывалось с нуля, а просто обновлялись поля🙂

Интересно. Я пока на аналогичной задаче дошел до этапа когда csv загружается через админку и обновляет поля, но по множественному ключу. У меня строчки в базе отслеживаются в логике период, страна, а показатель обновляется в любом случае. То есть если есть строчка Россия 2022 год, то в любом случае обновляется значение. Есть какая-то ценная статья или репа на этот счет? Я пришел к решению через общение с нейромозгом в основном

Не встречал. Я через документацию делаю. Получается долго, но очень интересно 🤔 Вчера еще сделал проверку полей, если какое то поле не заполнено, а информация появилась, обновить поле. Но у меня 4к записей прилетает, и думаю как лучше все распределить так что бы не было нагрузки. Тайм-аут прописал, но хочется быстродействия. Так как пока обмен занимает до 10 минут

У меня 40 тысяч записей пока и это секунды

Круто, а какой парсер используете?😉

В основном работаю через Django-import-export