KworkБоты и автоматизация
ТЗ: 1. Источник Сайт: [адрес сайта] На сайте установлена защита Yandex SmartCaptcha. Способ стабильного сбора данных при наличии защиты подбирает исполнитель; все расходы на прокси, сервисы и серверы включаются в стоимость работ 2. Объём Весь каталог сайта, ориентировочно 7 000 000 товаров. Перед началом работ исполнитель подтверждает фактическое количество товаров и категорий. 3. Собираемые данные (по каждому товару) ПолеОписание Категория 1-го уровня Корневой раздел каталога Подкатегории Полный путь, через « > » (напр. «Разъёмы > Круглые > ...») Наименование Полное название товара, как на странице, без обрезки Ссылка на фото Прямой URL на основное изображение в максимальном доступном разрешении; если фото несколько — все через «;» в одной ячейке Ссылка на товар URL карточки товара (нужна для проверки и дозапросов) Артикул/ID на сайте Если есть на странице — для исключения дублей Сами изображения скачивать не нужно, только ссылки. 4. Формат результата googlesheets - требуемая структура: отдельный файл на каждую категорию 1-го уровня; внутри файла — листы по подкатегориям; первая строка каждого листа — заголовки, закреплена, включён автофильтр; кодировка UTF-8, кириллица без искажений; дополнительно — таблица со сводкой: категория, подкатегория, количество товаров, имя файла и листа; дополнительно — полная выгрузка одним CSV-файлом (UTF-8, разделитель «;») для загрузки в базу.
s3nick