Парсинг 7 млн товаров с сайта с Yandex SmartCaptcha
Описание
Требуется исполнитель для парсинга данных с сайта, защищённого Yandex SmartCaptcha. Исполнитель должен самостоятельно подобрать способ стабильного сбора данных, включая все расходы на прокси, сервисы и серверы. Общий объём работы — около 7 000 000 товаров. Перед началом работ необходимо подтвердить фактическое количество товаров и категорий.
Для каждого товара необходимо собрать следующие данные: категория 1-го уровня, корневой раздел каталога, подкатегории (полный путь), наименование (полное название), ссылка на основное фото (прямой URL в максимальном разрешении; если фото несколько — все через «;»), ссылка на товар, артикул/ID на сайте (если есть). Сами изображения скачивать не нужно, только ссылки.
Результат должен быть предоставлен в Google Sheets: отдельный файл на каждую категорию 1-го уровня, внутри файла — листы по подкатегориям. Первая строка каждого листа должна быть закреплена и содержать заголовки с автофильтром. Кодировка UTF-8, кириллица без искажений. Дополнительно требуется сводная таблица (категория, подкатегория, количество товаров, имя файла и листа) и полная выгрузка одним CSV-файлом (UTF-8, разделитель «;») для загрузки в базу.
Бюджет
Выше рынкаМедиана по «Бэкенд-разработка» – 10 000 ₽
Свежесть и конкуренция
AI Score
Требования к навыкам
Спросить AI о заказе
Спросите что угодно об этом заказе
Помогу понять, ваш ли это заказ: оценю бюджет и сроки, подсвечу подводные камни и подскажу, как откликнуться.
