arrow

назад

ask

Вопрос

Сможете посоветовать не привязанное ПО для сплошного непрерывного сканирования всех интернет-ресурсов по ключевым выражениям, графическим и фото изображениям, видео и мелодиям с формированием отчётов?

repost

241

input message

напишите коммент


19 комментов

· 18.05

Даже для узкой задачи вроде мониторинга вакансий на hh нужен отдельный инструмент - я через jobpath авто-отклики настраивал, и это парсер одного сайта под конкретную задачу. А тут весь интернет плюс картинки плюс видео. Это не ПО, это свой мини-гугл, как выше верно написали.

0

ответить

Да я то думал, что есть такие готовые продукты, но похоже ошибался 🤷‍♂️

0

ответить

Самому сделать. Взять агрегатор поисковиков или один, но с платным апи и сканить. И ходить по результатам поиска и сканить что надо. Сейчас можно и свой поисковик сделать, но это не столько сложно сколько дорого по железу (диски, память)

0

ответить

Сложно технически реализавать это через уже имеющиеся поисковые системы?

0

ответить

Не сложно, но они не дают бесплатного апи для поиска. Им нужны живые посетители чтобы показывать рекламу.

0

ответить

Как или где можно подробности узнать?

0

ответить

Поспрашивайте у нейронок. Готовых решений нет.

0

ответить

Ок. Спасибо за совет 🙏

0

ответить

Вы видимо не понимаете о чем спрашиваете. Такого ПО не существует.

Парсер - значит сохраняет информацию. Вы понимаете о каком объеме идет речь? Вам потребуется персональный датацентр с тысячами серверов чтобы хотя бы хранить просто текмтовую информацию о ресурсах.

Я уж молчу о том, что таких парсеров должно работать тысячи одновременно. Относительно мощный ПК потянет может быть 50-100 парсеров на базе какого нибудь селениума. Чтбы обойти ими весь интернет потребуется наверное пару веков

0

ответить

Спасибо, что ответили, Денис. А то я уже напрягся немного. Ну, думаю, чой-то не то спросил... А тут вона чего. Обьем накопленной человечеством информации не под силу одолеть ни одному компьютеру в мире, и скорость её нарастания, судя по всему, увеличивается. Но, браузеры же построены на поисковых системах, и ИИ - тоже занимается поиском.

0

ответить

Так. «браузеры построены на поисковых системах». «Ии занимается поиском». Тут сразу видно-человек компетентный. Прошу, рассуждайте далее.

0

ответить

Браузеры построены не на поисковых систтемах. Браузер это программа для просмотра веб ресурсов. Поиск, будь то гугл или яндекс, это такой же веб ресурс.

Чтобы создать такой веб ресурс, надо много мощностей. Яндекс конечно начинашся с одного компьютера, но тогда и интернет был не такого объёма

0

ответить

Не особо шарю в этом, поэтому интересуюсь. Вероятно, нужно начинать с азов, вы правы. С эпохи зарождения информационной ноосферы? Говорят, что она началась с момента, когда удалось связать два процессора, верно?

0

ответить

Мысль верная, но с важным уточнением. Связать два процессора на одной плате - это просто сделать мощный компьютер (суперкомпьютер). А вот ноосфера (интернет) родилась, когда в 1969 году связали две огромные машины на расстоянии 640 км друг от друга по телефонному проводу. Главная фишка была не в самом соединении, а в том, что информацию научили резать на кусочки (пакеты) и гонять по разным маршрутам. Именно эта живучесть сети и позволила ей разрастись до сегодняшних масштабов, когда ИИ за секунду переваривает терабайты

0

ответить

Да, мамонта невозможно проглотить целиком, нго нужно нарезать на бифштексы 😁

0

ответить

А вы не хотите, Денис, написать несколько научно-популярных постов на эту тему? Затем статью а журнале, выступить с лекцией в обществе Знание? Может и до книжки созреете? Дело хорошее. Если есть желание и найдёте время на это.

0

ответить

Образование в виде 9 классов мощное препятствие для такого рода вещей. За 20 лет инвалидности привык варится в собственном соку. Мой круг общения - сварщики да токаря. Обсуждать темы сложнее прогоревших клапанов довольно проблематично.

0

ответить

Моя задача - бесперебойная работа серверов и херни для которой они настроены., будь то сайт или трансляции

0

ответить

Просто о сложном - это искусство 👍

0

ответить

еще контент автора

пост закреплён — пока закрепить можно только один пост

trash bin
перейти к нему не получится