Да, на эксель вполне реально собрать небольшую базу данных. Как раз хотела одну из статей посвятить этой теме, т.к тоже был такой опыт 😀🙈 И power query тут незаменим, в плане связываний таблиц по ключам.

Ну как сказать небольшую. У меня данные по продажам, заказам, планам за 3 года с детализацией до день, клиент, номенклатура (исходники, справочники + модели) весят 13 Гб ))))

А количество строк? Excel же принимает максимум чуть более 1 млн. Или с разных листов/файлов объединяли?

1 месяц = 1 файл исходник с 1 видом документа. Правда не всегда заходил (строк не хватало) в итоге решил хранить по неделям. Дальше промежуточные таблицы (модели). Итоги в сводные таблицы. Там и смотрим аналитику. Правда 3 года если по дням загрузить, то файл не подъемный. Поэтому группировка и фильтры в Power Query легко решают эти проблемы.

Жесткий вариант 😀 а в csv формат не пробовали выгружать? Там намного больше строк умещается, чем в экселе, и с квери совместим.

Исходник - отчёт из 1С. 1 месяц в xlsx весит от 55 Mb. В отчёте заголовки, итоги, скрытые столбцы и т.д. В итоге проще взять xlsx, отформатировать функцией в PQ и дальше работать с данными. У меня название файла привязано к году и месяцу/неделе. В результате прогоняю файлы в папке по фильтру необходимого периода, форматирую функцией и получаю первую базовую модель. Как пример данные за текущий месяц или год. Частота обновления данных в зависимости от базовой модели. Некоторые ежедневно, некоторые 1 раз в месяц.

Для таких операций нужны хорошие ресурсы железа. У меня бы ноут точно сказал «прощай» 😅 Но, за неимением лучшего, хорошее решение. Главное же результат)

Ну у меня Core i5 + 8Gb оперативы. С меньшими параметрами думаю за аналитику лучше вообще не садиться ))). Справляется более менее нормально. Мечтаю о SQL. Обещают вроде выделить скоро Postgre гигов на 10. Для начала хватит. Жаль, что MS ушел из России. Там и Olap и Power BI достойные. Но, как говорится, будем работать тем что есть. Postgre + DataLens ).

У меня 16гб, но иногда прямо не тянет, приходится переключаться на виртуальную машину, где 36гб, вот там летает все)) Без SQL грустно, да(( очень сильно помогает в автоматизации отчетности.

Мне моих параметров не хватает при анализе вторичных продаж федеральных сетей. 4 и более исходников каждый по 90Мб. Это только 1 месяц. Его то еле-еле в сводную комп загружает, а есть ещё потребность в динамике по месяцам. Вот здесь уже начинается засада (.

Я очень трепетно отношусь к размеру файла, т.к не у всех бизнес-пользователей мощный ноут и хороший интернет, чтобы открыть с сетевого диска тяжелый файл отчета…

Если говорить про аналитика, которому необходимо обрабатывать серьезные массивы данных, то тут нет вариантов. Если размер файла большой, бьём на меньшие и обрабатываем. Ну а бизнес-пользователю могу только порекомендовать взять на работу аналитика, который ему всё принесёт на блюдечке).

Да, полностью согласна. По факту в этом и вижу свою задачу - сделать так, чтобы бизнес получил свои цифры максимально удобным для него способом 🙂 их же не должно волновать, какой ценой это было 😁 🥴 и что там «под капотом» 😀

Не совсем согласен с какой ценой и что под капотом. Цена определяет ценник за работу, а это очень важный фактор)))). Что под капотом определяет то, с каким ПО приходится работать. Как результат зачем тебе SQL, когда и в Excel всё можно посчитать или зачем Power BI, когда в Excel тоже есть графики или в OpenOffice тоже есть сводные таблицы. Как результат приходится заниматься редкостными извращениями на ПО, которое предназначено изначально для других целей.

Тут только аналитик аналитика поймет)) бизнес как правило вообще не вникает, чего мне это стоило 🫤 ну это из моего опыта)