Мечты, мечты...

Раньше для парсинга сайтов часто использовал или power query или vba. Не по той причине, что эксель для этого хорош. Просто у меня он всегда под рукой.

Иногда случалась необходимость замучить сайт, который экселю не по зубам.

Тогда я глубоко вздыхал и вспоминал про питончика с его selenium, request и beautifulsoap. Разбирался несколько часов как с этим делом работать, как pandas лить данные в базу...

Вспоминал, реализовывал загрузку и снова про это забывал. Такая фигня повторяется примерно раз в год.

И вот сказал себе ХВАТИТ! Возьми на себя парсинг нескольких сайтов с поддержкой актуальности этого парсинга.

Сказано - сделано. Подключил сбор данных, заливку данных в ms sql. Создал процедуры чистки кривых данных и заполнения пропусков.

И тут пришла она. Та кого я и ждал - поддержка. Сайт меняется и вновь нужно переписывать css селекторы, нажатия на кнопки и прочее неинтересное.

Лень в таких случаях всегда приходит на помощь.

Добрый человек посоветовал IDE Cursor. В эту штуку сразу встроен ИИ ассистент. Он помогает писать код настолько, что ты перестаешь писать код и составляешь промты с хотелками.

Но! Промты писать тоже надоедает. И вот сейчас ищу способ создать промт внутри программы, который сам будет править программу и себя.

Как пример. Настроили мы с иишкой загрузку данных с сайта. Я попросил где-то запомнить структуру сайта. При начале работы прога смотрит не поменялась ли структура. Если поменялась - она сама переписывает код под новую структуру сайта. Запоминает эту новую структуру и впитывает данные.

В этом случае я, однажды разобрав сайт, уже не трачу время на поддержку парсинга.

Самому интересно - получится ли такое при затратах разумного количества времени...