Эксперт в ООО «Эксперт-Т» Эксперт в кубе 🎲 +7 (925) 244-42-60 a.karimov@expert-t.ru
· 11.05Вопрос
Сможете посоветовать не привязанное ПО для сплошного непрерывного сканирования всех интернет-ресурсов по ключевым выражениям, графическим и фото изображениям, видео и мелодиям с формированием отчётов?
19 комментов
· 16.05
Самому сделать. Взять агрегатор поисковиков или один, но с платным апи и сканить. И ходить по результатам поиска и сканить что надо. Сейчас можно и свой поисковик сделать, но это не столько сложно сколько дорого по железу (диски, память)
0
ответить
коммент удалён
· 16.05
Сложно технически реализавать это через уже имеющиеся поисковые системы?
0
ответить
ответ удалён
· 16.05
Не сложно, но они не дают бесплатного апи для поиска. Им нужны живые посетители чтобы показывать рекламу.
0
ответить
ответ удалён
· 16.05
Как или где можно подробности узнать?
0
ответить
ответ удалён
· 16.05
Поспрашивайте у нейронок. Готовых решений нет.
0
ответить
ответ удалён
· 16.05
Ок. Спасибо за совет 🙏
0
ответить
ответ удалён
· 13.05
Вы видимо не понимаете о чем спрашиваете. Такого ПО не существует.
Парсер - значит сохраняет информацию. Вы понимаете о каком объеме идет речь? Вам потребуется персональный датацентр с тысячами серверов чтобы хотя бы хранить просто текмтовую информацию о ресурсах.
Я уж молчу о том, что таких парсеров должно работать тысячи одновременно. Относительно мощный ПК потянет может быть 50-100 парсеров на базе какого нибудь селениума. Чтбы обойти ими весь интернет потребуется наверное пару веков
0
ответить
коммент удалён
· 13.05
Спасибо, что ответили, Денис. А то я уже напрягся немного. Ну, думаю, чой-то не то спросил... А тут вона чего. Обьем накопленной человечеством информации не под силу одолеть ни одному компьютеру в мире, и скорость её нарастания, судя по всему, увеличивается. Но, браузеры же построены на поисковых системах, и ИИ - тоже занимается поиском.
0
ответить
ответ удалён
· 13.05
Так. «браузеры построены на поисковых системах». «Ии занимается поиском». Тут сразу видно-человек компетентный. Прошу, рассуждайте далее.
0
ответить
ответ удалён
· 14.05
Браузеры построены не на поисковых систтемах. Браузер это программа для просмотра веб ресурсов. Поиск, будь то гугл или яндекс, это такой же веб ресурс.
Чтобы создать такой веб ресурс, надо много мощностей. Яндекс конечно начинашся с одного компьютера, но тогда и интернет был не такого объёма
0
ответить
ответ удалён
· 14.05
Не особо шарю в этом, поэтому интересуюсь. Вероятно, нужно начинать с азов, вы правы. С эпохи зарождения информационной ноосферы? Говорят, что она началась с момента, когда удалось связать два процессора, верно?
0
ответить
ответ удалён
· 14.05
Мысль верная, но с важным уточнением. Связать два процессора на одной плате - это просто сделать мощный компьютер (суперкомпьютер). А вот ноосфера (интернет) родилась, когда в 1969 году связали две огромные машины на расстоянии 640 км друг от друга по телефонному проводу. Главная фишка была не в самом соединении, а в том, что информацию научили резать на кусочки (пакеты) и гонять по разным маршрутам. Именно эта живучесть сети и позволила ей разрастись до сегодняшних масштабов, когда ИИ за секунду переваривает терабайты
0
ответить
ответ удалён
· 14.05
Да, мамонта невозможно проглотить целиком, нго нужно нарезать на бифштексы 😁
0
ответить
ответ удалён
· 14.05
А вы не хотите, Денис, написать несколько научно-популярных постов на эту тему? Затем статью а журнале, выступить с лекцией в обществе Знание? Может и до книжки созреете? Дело хорошее. Если есть желание и найдёте время на это.
0
ответить
ответ удалён
· 14.05
Образование в виде 9 классов мощное препятствие для такого рода вещей. За 20 лет инвалидности привык варится в собственном соку. Мой круг общения - сварщики да токаря. Обсуждать темы сложнее прогоревших клапанов довольно проблематично.
0
ответить
ответ удалён
· 14.05
Моя задача - бесперебойная работа серверов и херни для которой они настроены., будь то сайт или трансляции
0
ответить
ответ удалён
· 14.05
Просто о сложном - это искусство 👍
0
ответить
ответ удалён
· 18.05
Даже для узкой задачи вроде мониторинга вакансий на hh нужен отдельный инструмент - я через jobpath авто-отклики настраивал, и это парсер одного сайта под конкретную задачу. А тут весь интернет плюс картинки плюс видео. Это не ПО, это свой мини-гугл, как выше верно написали.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 18.05
Да я то думал, что есть такие готовые продукты, но похоже ошибался 🤷♂️
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён