Разработка парсера для анализа конкурентов

Требуется разработать парсер для сбора и анализа данных с сайтов конкурентов. Основная задача — парсинг текущих карточек товаров нашего сайта, структурирование полученной информации (характеристики, текст, метатеги, содержимое меню) с учетом тега noindex.

Парсер должен извлекать заголовок H1, формировать на его основе поисковый запрос и выполнять поиск в режиме инкогнито по региону Екатеринбург, собирая органические результаты с первой страницы выдачи (исключая промо-сайты). С каждого найденного сайта необходимо собрать всю информацию, также учитывая noindex.

Собранные данные должны быть записаны в отдельные поля. Парсер должен сравнивать данные и формировать рекомендации по улучшению контента (например, что добавить в текст). На основе этих рекомендаций необходимо автоматически корректировать контент текущей страницы, выделяя внесенные изменения для удобства сравнения. Также требуется выносить отдельные рекомендации по добавлению новых блоков (отзывы, товары и т.п.).

После внедрения изменений парсер должен проводить самопроверку: сравнивать обновленный контент со старым и с другими товарами из той же категории для оценки уникальности, а также сравнивать новую страницу с контентом сайтов конкурентов (облако слов, ссылки, общий контент) для оценки эффективности оптимизации. Процесс формирования рекомендаций и их внедрения должен быть итеративным. Результаты должны быть представлены на утверждение и сохраняться в Google Таблице для последующей индексации.