Парсинг данных для биржи и новостной ленты

Требуется автоматизировать сбор информации для двух разделов экологической платформы: биржи отходов и новостного блока.

Для биржи отходов необходимо собирать объявления о покупке, продаже, вывозе и утилизации отходов. Поля для сбора включают название, тип предложения, ФККО и класс опасности (если указаны), объём, цену, регион, организацию, дату и ссылку на источник.

Для новостного блока требуется собирать отраслевые новости, изменения законодательства, материалы по технологиям переработки и анонсы мероприятий. Поля для сбора: заголовок, краткое описание, категория, дата, ссылка на первоисточник.

Источники данных: открытые реестры, торговые площадки, доски объявлений, информационные сайты и публичные Telegram-каналы. Важные требования включают аудит доступности и условий сбора данных, автоматическое обновление по расписанию, очистку, нормализацию и удаление дубликатов. Передача данных должна осуществляться через API или в БД платформы. Также необходимы фильтры по региону, категории и дате, логи ошибок и уведомления о сбоях, а также предоставление исходного кода и инструкции по запуску. Обход защит и закрытого доступа не требуется. Необходимо соблюдать права на контент и требования к персональным данным.