15 стр. / 26 с
обход и выгрузка текста
Было
Чтобы загрузить сайт в базу знаний бота или разобрать сайт конкурента, нужен чистый текст. Копировать страницы руками долго, а при скачивании получается текст вместе с меню, подвалом и рекламой.
Что сделал
- →Краулер обходит сайт и вытаскивает из каждой страницы основной текст.
- →Меню, подвал и рекламные блоки отбрасываются.
- →Результат отдаётся архивом, папкой или таблицей.
Результат
- →Обход 15 страниц занимает 26 секунд.
- →Чистый текст сразу годится для базы знаний бота.
Технологии
PythonFastAPIPostgreSQLDocker
Ограничения
- Время замерено на реальных запусках, на медленном сайте будет дольше.
- Сайты, где текст подгружается только после входа в аккаунт, требуют отдельной настройки.
Похожая задача?
Опишите её в двух строках. Скажу, подойдёт ли такое решение, сколько это займёт и во сколько обойдётся. Если задачу можно решить проще и дешевле, скажу до старта.
Похожие кейсы
Названия заказчиков не указываю. Демо и концепты помечены на странице как «Демо».