Sсrареs – универсальный автоматический парсер на WordPress

Надежный и проверенный годами хостинг для вашего сайта
Регистрация доменов. Аренда VPS сервера. Регистрация домена и хостинга

Sсrареs – плагин для WordPress, который автоматически копирует содержимое с сайта на ваш сайт WordPress, один или несколько раз в выбранные промежутки времени.

Плагин парсит контент из ленты, по селекторам, по контенту, по шаблонам. Можно настроить расписание работы парсера.

Содержание
  1. Что можно парсить? Идеи для парсинга
  2. Scrapes поддерживает и автоматически заполняет все поля записи WordPress
  3. Возможности плагина
  4. 3 режима работы парсера
  5. Возможности парсера
  6. Примеры работы парсера
  7. Парсинг курса валюты (режим Single) и отображение на странице
  8. Парсинг статей (режим Serial) на примере сайта Themeforest с последующей публикацией на сайте
  9. Парсинг товаров с AliExpress и публикация в интернет-магазине WooCommerce (режим Serial)
  10. Парсинг постов из Facebook с последующей публикацией на сайте (режим Serial)
  11. Парсинг видео из Youtube (режим Serial) с последующей публикацией на сайте
  12. Парсинг фото из Flickr (режим Feed) с последующей публикацией на сайте
  13. Парсинг записей на примере TechCrunch (режим Serial) с последующей публикацией на сайте
  14. Парсинг постов из Twitter и публикация на сайте (режим Serial)
  15. Парсинг товаров с Amazon и публикация в интернет-магазине WooCommerce (режим Serial)
  16. Ответы на вопросы
  17. Поддерживает ли плагин работу с вариациями в WooCommerce?

Что можно парсить? Идеи для парсинга

  • Новости
  • Валюты
  • Прогноз погоды
  • Спортивные результаты
  • Блоги и журналы
  • Статьи
  • Объявления доски объявлений
  • Социальные профили
  • Изображения и галереи
  • Видео
  • Кино
  • Музыка и плейлисты
  • Приложения и игры
  • Книги
  • Товары
  • Вакансии и резюме по поиску работы
  • Учебные программы
  • Меню ресторанов
  • Рецепты
  • Билеты и расписание аэропортов
  • Автобусные рейсы
  • Отели
  • Туры и отдых
  • и многое другое

Вы можете парсить целые статьи по селектору или с помощью ленты RSS, парсить товары, новости и отдельные елементы на странице (курсы валют, прогноз погоды, различные информационные виджеты).

Scrapes поддерживает и автоматически заполняет все поля записи WordPress

  • Тип записи
  • Таксономия
  • Название записи
  • Контент
  • Анонс
  • Произвольные поля
  • Обсуждение
  • Автор
  • Статус
  • Дата
  • Изображение

Вы прочитали, что работать придется с селекторами? Бояться этого не нужно, ведь выбор нужного селектора на странице сайта-донора происходит с помощью визуального инструмента. Вы просто наводите мышь на нужный блок и таким образом указываете плагину, что парсить.

Если у вас возник вопрос, не стоит теряться в догадках. Задайте его в комментариях. Задать вопрос

Плагин Scrapes автоматически определяет селекторы на странице и выделяет их цветными блоками, вам остается только выбрать какой блок и в какое поле его вставить. Это может быть миниатюра записи, постраничная навигация, дата записи, цена и т.д.

Если возникли трудности с автоматическим определением селектора – всегда можно указать XPath вручную.

Возможности плагина

  • Простой и интуитивно-понятный интерфейс настройки парсера.
  • Работает в фоновом режиме – настройте плагин один и запустите автоматический парсинг.
  • Высокая производительность
  • Скачивание изображений – плагин загружает изображения в собственную медиабиблиотеку или загружает их с удаленного URL-адреса.
  • Многозадачность – на сайте может одновременно работать несколько парсеров.
  • Оптимальная конфигурация – плагин отлично работает на любых хостингах.
  • Парсит контент на любом языке.
  • Не создает дубликаты записей и товаров.
  • Поиск и замена – в настройках парсера можно указать какие элементы на странице следует заменять или удалять, чтобы они не были опубликованы на вашем сайте в оригинальном варианте.

3 режима работы парсера

Scrapes - три режима работы парсера
  • Single – копирование/обновление отдельной страницы (с определенными элементами, например, виджет погоды, курсы валют, спортивные результаты и т.д.)
  • Serial – копирование записей/статей/товаров (например, лента Твиттер, видео из Youtube, записи из Facebook, товары Amazon или AliExpress и др.)
  • Feed – копирование контента из ленты RSS/ATOM (например, ленты разных сайтов, лента Flickr и т.д.)

Возможности парсера

  • Поддержка произвольных полей.
  • Поддержка произвольных типов записей и таксономий (куда будем публиковать наши записи).
  • Поддержка магазина WooCommerce (тип товара, обычная цена, цена продажи, URL товара, текст на кнопке, артикул товара, управление запасами, избранный товар, галерея).
  • Выбор визуальных селекторов на сайте донора.
  • Автоматическое определение контента (заголовок, анонс, статья, теги, миниатюра, цена).
  • Создание произвольных шаблонов для отображение контента
  • Создание категорий.
  • Планирование публикаций.
  • Автоматический перевод контента на разные языки (в т.ч. на русский язык).
  • Функция найти и заменить.
  • Настройка цикла и паузы.
  • Перезапись существующих записей.
  • Возможность локализации плагина на любые языки.
  • Фильтры контента (например: не пропускать товары с определенной ценой, статьи без миниатюры, фильтры по названию и т.д.).
Scrapes - добавленные задачи

Примеры работы парсера

Парсинг курса валюты (режим Single) и отображение на странице

Парсинг статей (режим Serial) на примере сайта Themeforest с последующей публикацией на сайте

Парсинг товаров с AliExpress и публикация в интернет-магазине WooCommerce (режим Serial)

Парсинг постов из Facebook с последующей публикацией на сайте (режим Serial)

Парсинг видео из Youtube (режим Serial) с последующей публикацией на сайте

Парсинг фото из Flickr (режим Feed) с последующей публикацией на сайте

Парсинг записей на примере TechCrunch (режим Serial) с последующей публикацией на сайте

Парсинг постов из Twitter и публикация на сайте (режим Serial)

Парсинг товаров с Amazon и публикация в интернет-магазине WooCommerce (режим Serial)

Ответы на вопросы

Поддерживает ли плагин работу с вариациями в WooCommerce?

Ответ от автора плагина:
It can create “Simple”, “External” and “Virtual” WooCommerce products automatically from the target you want but “Grouped”, “Variable” and “Downloadable” product types and product attributes are not fully supported currently.
Т.е. можно парсить простые, внешние и виртуальные товары.
А сгруппированные, вариативные и скачиваемые поддерживаются не полностью.

Ответ от автора сайта:

Пробовал парсить товары с атрибутами в WooCommerce. Атрибуты не вставляются (нужно вручную товарам задавать атрибуты). Плагином хорошо парсить/обновлять простые товары и статьи.



Русификация Sсrареs – универсальный автоматический парсер на WordPress

Полный перевод для плагина в виде файлов локализации.
Цена: 200 руб.


КУПИТЬ РУСИФИКАЦИЮ


Покупка русификации через сервис Plati.market:
Русификация представлена в виде файлов локализации (.po, .mo) + инструкция. Покупка совершается через автоматический сервис Plati.market (различные способы оплаты, личный кабинет, скидки).
Перед покупкой русификации обратите внимание на то, что переводит русификация (версия продукта, перевод публичной и административной части и т.д.)
Обновление русификации:
Независимо от способа заказа и оплаты вам предоставляются бесплатные и постоянные обновления русификации. Если покупали через Plati.com - скачайте новую версию в личном кабинете. Если покупали напрямую - напишите мне письмо и я вышлю обновленный архив на ваш e-mail.

Возникли вопросы? Отправить сообщение

СКАЧАТЬ

Нажмите на кнопку СКАЧАТЬ, чтобы перейти на оригинальную страницу с описанием Sсrареs – универсальный автоматический парсер на WordPress



Понравилась статья? Поделиться с друзьями:
ОБ АВТОРЕ
Николай Пекарский
Автор сайта. Фрилансер. Занимаюсь созданием сайтов на WordPress, локализацией шаблонов и плагинов WordPress.

КОММЕНТАРИИ: 65
  1. morehack

    есть возможность загружать картинки и файлы не на локальный сервер?

    1. Николай Пекарский (автор)

      Нет возможности для изображений в самом контенте. Но, для миниатюры можно указать откуда она будет браться, но нельзя указать куда будет сохраняться.

      1. morehack

        Жаль, это было бы очень удобно(

  2. Денис

    Парсер хороший, удалось даже на свой сайт поставить, но выдает ошибку на php 7.1 “fatal error, feed replased”, можете подсказать в чем причина данной проблемы, и как ее устранить?

    1. Николай Пекарский (автор)

      Я ни одного парсера Scrapes, которые есть в паблике не встречал в рабочем варианте. Их все можно поставить, но ни один из них не парсит. Статус операций висит Запущено или В ожидании и больше ничего не происходит.
      В вашей ситуации, попробуйте снизить версию php – сначала до 7.0, а потом если не поможет до версии 5.6.
      Но, скорей всего, как я писал выше – версии из паблика просто не работают.

      1. Жебир

        Я тоже не нашел! но писали что работает на локалке, пробовал не работает

  3. Витор

    Здравствуйте! Скажите а как быть с атрибутами в Woocommerce ? Их я так понимаю не получится парсить? :sad:

    1. Николай Пекарский (автор)

      Здесь нужно смотреть в сторону мета-полей. Я пробовал парсить атрибуты из др. магазина и у меня не получилось. Пришел к выводу, что для парсинга товаров с атрибутами нужно использовать др. инструменты. Или добавлять атрибуты уже вручную после парсинга товаров. Возможно, др. пользователи подскажут и поделятся своим опытом.

      1. Виктор

        Спасибо, да жаль конечно.

    2. Николай Пекарский (автор)

      Ответ от автора плагина:
      It can create “Simple”, “External” and “Virtual” WooCommerce products automatically from the target you want but “Grouped”, “Variable” and “Downloadable” product types and product attributes are not fully supported currently.
      Т.е. можно парсить простые, внешние и виртуальные товары.
      А сгруппированные, вариативные и скачиваемые товары поддерживаются не полностью.

  4. Андрей

    Как можно отключить автоматический запуск парсера, т.к. я хочу самостоятельно запускать его?

    1. Николай Пекарский (автор)

      В таблице списка парсеров можно ставить на паузу. А еще в настройках парсера там есть планировщик задач.

  5. Алекс

    Здравствуйте! А с авито объявления будет парсить или нет?

    1. Николай Пекарский (автор)

      Здравствуйте! Я не пробовал. Но, нужно брать режим Serial.
      Там в чем суть: вы берете сайт у которого четко обозначены категории и записи, постраничная навигация, а также есть записи в которых четко обозначен заголовок, миниатюра и контент, также можно спарсить цену, автора и город и все это вставить в сам контент (используя шорткоды).

  6. Валера

    там что привязка к одному домену идёт?

  7. Валера

    с яндекс маркетом не хочет работать, при попытке указать категорию или тайтл вот что выдаёт http://joxi.ru/Y2L85bNh7VwEN2

  8. Валера

    у этого плагина есть возможность подключение синонимайзера текста по API?

  9. Андрей

    Что необходимо указать в настройках, чтобы парсер также считывал наличие товара (в наличии или нет), так как на многих сайтах выставлены все товары, которых даже нет в наличии?
    Необходимо чтобы парсер также устанавливал это значение, потому что после парсинга у всех товаров стоит значение “В наличии”, CMS – WordPress.

  10. A

    Ребята, я не понял, так парсер рабочий?? к примеру товары с амазона парсить получиться? со всеми полями?

    1. Николай Пекарский (автор)

      Парсер рабочий и выполняет свои функции. Но, как он будет работать с конкретным сайтом – это нужно пробовать. Парсер может спарсить все поля и их можно выводить например в самом контенте записи. Это одно. А второе, более сложное: спарсить поля и вставить значения в нужные произвольные поля (например плагина ACF).

  11. Fan

    Купил данный плагин у разработчиков, чтобы парсить курсы валют. Парсит он шикарно! Но я в недоумении – я поставил, чтобы он обновлял данные каждые 15 минут, и он каждые 15 минут создает новый пост с курсами. Спрашивается, зачем??? И как это побороть?

    1. Николай Пекарский (автор)

      При создании задачи выбрали Single?
      А в опции ON EXISTING POST – Update post

  12. Илья

    Здравствуйте. Подскажите как сделать что бы в сео загловок Title парсилось так же как и на другом сайте. Пока получилось только заголовок статьи парсить (h1) а title получается пустой или такой же как заголовок h1.

  13. Илья

    И еще вопрос, как удалять из статьи, например блок содержания или кусок лишнего текста?? Что нужно писать в разделе EXCERPT > Value

  14. Кирилл

    Подскажите, где можно взять рабочие значения куки для парса? Различные расширения, для получения value работают, но ни одно значение не срабатывает.

    1. Николай Пекарский (автор)

      Вы хотите значения своих куки получить?
      Можно использовать браузерные расширения для хрома:
      EditThisCookie
      Cookie Inspector
      Cookie Quick Manager

      1. Кирилл

        Да дело в том, что я не совсем в курсе, какие значения просит программа. В парсе я новичок, не могу точно ответить. На счет этих расширений я уже упомянул, пробовал разные значения с разных сайтов, которые у меня есть в браузере.
        Объясню поподробнее, скорее всего не я один нуждаюсь в правильном ответе.
        При парсе страничек (от 100 до 400) в день, сайты блокируют скраппер, и чтобы этого избежать, нужна подмена куки со значением name и value (самые верхние поля в плагине, меню Request).
        Что интересно, некоторые сайты после 00:00, “обнуляются” и можно снова парсить, до этого лимита. Некоторые блокируют по ip, но это уже другая история.

  15. Николай

    С помощью какого сервиса выполняется перевод?

    1. Николай Пекарский (автор)

      Перевод спарсенного контента выполняется с помощью API translation.googleapis.com
      Сервис уже интегрирован в плагине. Достаточно включить перевод и выбрать языки.

  16. Серж

    скажите пожалуйста, если Настроить тип: “Serial ” – то это будет разовый парсинг, пока не спарсит всё? Или как это работает? А если настроить Single – то он будет парсить новые появившиеся статьи или он только спарсит также один пост и всё?

    1. Николай Пекарский (автор)

      Serial – это не разовый парсинг контента. Парсер будет парсить определенными этапами (через промежутки), пока не спарсит весь контент, например в категории, или в магазине и т.д. После того как все спарсит, он снова через промежутки времени будет заходить на сайт и проверять не появились ли новые статьи. Если есть новые статьи – будет опять парсить.

      Single – это проверка и парсинг одной страницы/записи. Парсер также через определенные промежутки времени заходит на эту страницу и обновляет ее содержимое уже на вашем сайте. Например, это может быть определенная статистика, курсы валют, биржи, информеры, баннеры, цены, прогнозы. Т.е. можно указать не просто страницу, а блок, который будет проверяться и обновлять на вашем сайте (на странице).

      Надеюсь объяснил.

  17. Серж

    этот парсер может работать через прокси?

    1. Николай Пекарский (автор)

      У него нет настроек прокси. Ставится он на сайт, а сайт стоит на сервере. Т.е. нет.

  18. Денис

    Предусловие:
    Есть сайт на WP с каталогом, разделенным на категории товаров. Дочерняя страница для категории – “Товар” Каталог создан отдельно, то есть это не сущность “Запись”
    Есть около 10 сайтов с товарами, которые нужно спарсить, можно ли указывать не только, что парсятся в каталог, а именно в нужную категорию http://joxi.ru/5mdvdwQu3dNO1A

    1. Николай Пекарский (автор)

      В настройках парсера есть опция добавить в конкретную категорию (одну). В эту категорию будут добавляться все спарсенные товары. Потом вы уже из этой категории будете распределять товары в нужные категории. Если этого не сделать, то парсер сам будет создавать категории, которые есть на сайте-доноре. Вообще, лучше товары добавлять в статусе Черновик.

      1. Денис

        Спасибо! Поздно увидел ответ, но уже и сам разобрался)
        Тогда еще вопрос, парсим на сайте на тестовом домене, пока не переехали на постоянный. После переезда парсер будет работать?

        1. Николай Пекарский (автор)

          На странице с условиями написано следующее:
          You may use the Octolooks’ softwares for the purposes of running a single domain website with its subdomains and localhost for testing purposes only. (использование на одном домене с поддоменами и локальный сервер для тестирования)
          You may not use Octolooks’ softwares on any domain not wholly owned by you. (использовать лицензию можно только на своем сайте, который нам принадлежит)

      2. Денис

        Спасибо! Поздно увидел ответ, но уже и сам разобрался)
        Тогда еще вопрос, парсим на сайте на тестовом домене, пока не переехали на постоянный. После переезда парсер будет работать?

  19. Владимир

    Добрый день, никак не могу подружиться с скрапером, не парсит ничего, если не затруднит ответить на вопрос, какие требования у плагина, тоесть работает ли с последней версией WP и WooCommers, какая версия PHP DB SQL требуется или обязательна

    1. Николай Пекарский (автор)

      Если ломанная версия, то они почти всегда не работают. С лицензией подобных проблем не встречал.

      1. Владимир

        Лицензия, разобрался в чем была проблема, беда плагина в том ,что он никак не сообщает о том если не может сделать что-то или где-то возникает ошибка. Лезем в логи и видим что там какая то пролема в виде “не могу что -то считать”, но в прошлый рас он считывал уаказанные данные с кода. Если вы дружны с этим плагином, был бы признателен обменяться контактами, например телеграмм, можете прислать на почту, я отпишусь, обговорим мою задачу.

  20. Василий

    Здр, нужно объеденить парсинг нескольких плагинов.
    Есть Content Egg WP Plugin – но там с контентом беда, одни товарки и тп. Парсит по кею.
    Нужен ваш плагин для парсинга контента (статьи [часть статьи], картинки, видюшки) по кею + по шорткоду наполнение страниц товаром Пример куска шорткода ниже
    Коротко говоря, там есть автоблогинг по кею, нужно просто вставить туда что должен спарсить scrapes по шорткоду.
    [wpsm_titlebox title="Where to Buy" style="1"]
    [content-egg-block template=custom/all_offers_logo post_id="72"]
    [/wpsm_titlebox]
    <h2>Price History</h2>
    [content-egg-block template=price_statistics post_id="72"]

    [content-egg-block template=custom/all_pricehistory_full post_id="72"]

    [content-egg-block template=custom/all_pricealert_full post_id="72"]

  21. Василий

    Или может делать в два прохода. Сперва контент, потом товар.

  22. Илья

    Подскажите что делать когда такая ошибка выходит, раньше все работало.

    “На сайте возникла критическая ошибка. Пожалуйста, проверьте входящие сообщения почты администратора для дальнейших инструкций.”

    1. Николай Пекарский (автор)

      Такая ошибка возникает, если есть повреждение файлов, не хватает нужных файлов (удалили) или код неправильно вставлен в файле.

      1. Илья

        Удалил файлы плагина, установил заново, та же ошибка. В настройки заходит а вот список сканирования посмотреть не пускает. Подскажите как можно исправить?

        1. Николай Пекарский (автор)

          Может быть еще конфликт с др. плагинами. Их нужно отключать по одному и смотреть.
          Может быть проблема в версии PHP, у вас какая версия? Плохо, если версия ниже 7.0.

  23. Александр

    Купил этот плагин на сайте у них. Не могу его активировать пишет вот что.
    Parse error: in /var/www/www-root/data/www/site.ru/wp-content/plugins/ol_scrapes/classes/class-ol-scrapes.php(3594) : runtime-created function(1) : runtime-created function on line 1

    Писал им – на что получил ответа: сменить версию php на 7.3.1.5 или 7.1
    У меня стоит 7.3.1.5 ошибка остается.
    Пробовал скатится до 7.1 и подняться до 7.4 – итог никакой. Как была ошибка так и осталась. Подскажите кто сталкивался? Есть идея решения?

  24. Dzheronimo

    Можно ли настроить парсинг статей с сайта по ключевым словам?

    1. Николай Пекарский (автор)

      В плагине нет возможности парсинга по ключевым словам. Плагин работает только с лентами RSS и селекторами на странице.

  25. Mr.Parkhom

    Спасибо большое за описание плагина. Купил лицензию, парсит просто шикарно!
    Но заметил такую особенность, что изображения имеют ссылку с сайта донора. как сделать так, чтобы картинки сохранялись у меня на сервере?

    1. Николай Пекарский (автор)

      В Post Options – Content
      есть опция Download images to media library

      1. Mr.Parkhom

        Благодарю за помощь и за столь быстрый ответ.

  26. Mr.Parkhom

    Николай. а подскажите пожалуйста еще вот в каком вопросе:
    Купил данный плагин, активировал на сайте и решил еще попробовать активировать на локалхосте. А мне пишет, что данный плагин уже активирован.
    Хотя четко прописано: It will be valid only for domain name that I entered including subdomain names and localhost for testing purposes. Значит, его нельзя повторно активировать на локалхосте? И сколько раз можно активировать его на поддоменах?

    1. Николай Пекарский (автор)

      Плагин не захотел активироваться на локалхосте? По идее должен

      1. Mr.Parkhom

        Вот и я думал, что должен.
        Может это из-за того, что я сперва зарегистрировал на реальном домене, а уже потом пробовал на локалхосте?
        Кстати, заметил еще особенность: сделал еще один сайт на WP на поддомене. Регистрацию успешно прошел. Попробовал парсить статьи, но больше 10 статей не дает парсить – отключается и переходит в режим паузы.
        И, к сожалению, я не понял, где в настройках нужно выставить, чтобы он начинал парсинг не с самого начала, а с того места, где я его остановил.

  27. rivoi

    Скажите, а можно сделать так, чтобы публиковалась так же ссылка на сайт донор?

    1. Николай Пекарский (автор)

      Можно. В примерах (видео) в статье есть как это делать.

  28. Павел

    Добрый день! Интересует возможность сбора информации с “Яндекс Работа” по заработной плате в виде графиков, самая низкая, большая и тд. Это возможно?

    1. Николай Пекарский (автор)

      Плагин не умеет создавать графики. Он парсит контент, например объявления о работе. Также, если есть статистические данные, то их также можно парсить.

  29. Андрей

    Товары я спарсил с сайта OpenCart на свой WordPress. Может кто подскажет как настроить парсер, какие переменные поставить чтобы он парсил размеры, атрибуты и т.д.?

  30. Андрей

    Или хотя бы где можно посмотреть все значения карточки товара, я имею ввиду такие: _regular_price – это стоимость товара, _sale_price – это скидочная стоимость и т.д.

    1. Николай Пекарский (автор)

      В документации к плагину есть раздел Custom Fields for woocommerce
      Там есть список значений для товаров.
      https://octolooks.com/wp-content/uploads/guides/scrapes.pdf

  31. Андрей

    В общем задам вопрос проще, а то много написал…
    Как спарсить вариативный товар? (там ведь цены разные – зависит от атрибутов)
    Или можно парсить только простые товары?

    1. Николай Пекарский (автор)

      Ответ от автора плагина:
      It can create “Simple”, “External” and “Virtual” WooCommerce products automatically from the target you want but “Grouped”, “Variable” and “Downloadable” product types and product attributes are not fully supported currently.
      Т.е. можно парсить простые, внешние и виртуальные товары.
      А сгруппированные, вариативные и скачиваемые поддерживаются не полностью.

Добавить комментарий

Используйте теги <code>Здесь ваш код</code>, чтобы вставить код в свой комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: