Разработка парсера данных конкурентов

Требуется разработать парсер, который будет собирать данные с сайтов конкурентов.

Функционал парсера: 1. Парсинг текущих карточек товаров с нашего сайта. 2. Структурирование полученной информации по полям (характеристики, текст, метатеги, данные из меню), с учетом тега #noindex. 3. Извлечение заголовка H1, его очистка и формирование релевантного запроса. 4. Использование полученного запроса для анализа выдачи.