Sсrареs — плагин для WordPress, который автоматически копирует содержимое с сайта на ваш сайт WordPress, один или несколько раз в выбранные промежутки времени.

Плагин парсит контент из ленты, по селекторам, по контенту, по шаблонам. Можно настроить расписание работы парсера.

Что можно парсить? Идеи для парсинга

  • Новости
  • Валюты
  • Прогноз погоды
  • Спортивные результаты
  • Блоги и журналы
  • Статьи
  • Объявления доски объявлений
  • Социальные профили
  • Изображения и галереи
  • Видео
  • Кино
  • Музыка и плейлисты
  • Приложения и игры
  • Книги
  • Товары
  • Вакансии и резюме по поиску работы
  • Учебные программы
  • Меню ресторанов
  • Рецепты
  • Билеты и расписание аэропортов
  • Автобусные рейсы
  • Отели
  • Туры и отдых
  • и многое другое

Вы можете парсить целые статьи по селектору или с помощью ленты RSS, парсить товары, новости и отдельные елементы на странице (курсы валют, прогноз погоды, различные информационные виджеты).

Scrapes поддерживает и автоматически заполняет все поля записи WordPress

  • Тип записи
  • Таксономия
  • Название записи
  • Контент
  • Анонс
  • Произвольные поля
  • Обсуждение
  • Автор
  • Статус
  • Дата
  • Изображение

Вы прочитали, что работать придется с селекторами? Бояться этого не нужно, ведь выбор нужного селектора на странице сайта-донора происходит с помощью визуального инструмента. Вы просто наводите мышь на нужный блок и таким образом указываете плагину, что парсить.

Плагин Scrapes автоматически определяет селекторы на странице и выделяет их цветными блоками, вам остается только выбрать какой блок и в какое поле его вставить. Это может быть миниатюра записи, постраничная навигация, дата записи, цена и т.д.

Если возникли трудности с автоматическим определением селектора — всегда можно указать XPath вручную.

Возможности плагина

  • Простой и интуитивно-понятный интерфейс настройки парсера.
  • Работает в фоновом режиме — настройте плагин один и запустите автоматический парсинг.
  • Высокая производительность
  • Скачивание изображений — плагин загружает изображения в собственную медиабиблиотеку или загружает их с удаленного URL-адреса.
  • Многозадачность — на сайте может одновременно работать несколько парсеров.
  • Оптимальная конфигурация — плагин отлично работает на любых хостингах.
  • Парсит контент на любом языке.
  • Не создает дубликаты записей и товаров.
  • Поиск и замена — в настройках парсера можно указать какие элементы на странице следует заменять или удалять, чтобы они не были опубликованы на вашем сайте в оригинальном варианте.

3 режима работы парсера

Scrapes - три режима работы парсера
  • Single — копирование/обновление отдельной страницы (с определенными элементами, например, виджет погоды, курсы валют, спортивные результаты и т.д.)
  • Serial — копирование записей/статей/товаров (например, лента Твиттер, видео из Youtube, записи из Facebook, товары Amazon или AliExpress и др.)
  • Feed — копирование контента из ленты RSS/ATOM (например, ленты разных сайтов, лента Flickr и т.д.)
Рекомендую прочитать:  Плагин WordPress для отправки голосовых сообщений - Contacter

Возможности парсера

  • Поддержка произвольных полей.
  • Поддержка произвольных типов записей и таксономий (куда будем публиковать наши записи).
  • Поддержка магазина WooCommerce (тип товара, обычная цена, цена продажи, URL товара, текст на кнопке, артикул товара, управление запасами, избранный товар, галерея).
  • Выбор визуальных селекторов на сайте донора.
  • Автоматическое определение контента (заголовок, анонс, статья, теги, миниатюра, цена).
  • Создание произвольных шаблонов для отображение контента
  • Создание категорий.
  • Планирование публикаций.
  • Автоматический перевод контента на разные языки (в т.ч. на русский язык).
  • Функция найти и заменить.
  • Настройка цикла и паузы.
  • Перезапись существующих записей.
  • Возможность локализации плагина на любые языки.
  • Фильтры контента (например: не пропускать товары с определенной ценой, статьи без миниатюры, фильтры по названию и т.д.).
Scrapes - добавленные задачи

Примеры работы парсера

Парсинг курса валюты (режим Single) и отображение на странице

Парсинг статей (режим Serial) на примере сайта Themeforest с последующей публикацией на сайте

Парсинг товаров с AliExpress и публикация в интернет-магазине WooCommerce (режим Serial)

Парсинг постов из Facebook с последующей публикацией на сайте (режим Serial)

Парсинг видео из Youtube (режим Serial) с последующей публикацией на сайте

Парсинг фото из Flickr (режим Feed) с последующей публикацией на сайте

Парсинг записей на примере TechCrunch (режим Serial) с последующей публикацией на сайте

Парсинг постов из Twitter и публикация на сайте (режим Serial)

Парсинг товаров с Amazon и публикация в интернет-магазине WooCommerce (режим Serial)

Ответы на вопросы

Поддерживает ли плагин работу с вариациями в WooCommerce?

Ответ от автора плагина:
It can create «Simple», «External» and «Virtual» WooCommerce products automatically from the target you want but «Grouped», «Variable» and «Downloadable» product types and product attributes are not fully supported currently.
Т.е. можно парсить простые, внешние и виртуальные товары.
А сгруппированные, вариативные и скачиваемые поддерживаются не полностью.

Ответ от автора сайта:

Пробовал парсить товары с атрибутами в WooCommerce. Атрибуты не вставляются (нужно вручную товарам задавать атрибуты). Плагином хорошо парсить/обновлять простые товары и статьи.


Русификация для Sсrареs – универсальный автоматический парсер на WordPress

Полный перевод для плагина в виде файлов локализации.
Цена: 200 руб.

Чтобы купить русификацию пишите в TELEGRAM или ищите локализацию в МАГАЗИНЕ
Способы оплаты: Яндекс Деньги (руб), WMR (руб), WMZ ($), Qiwi (руб) и на карту Приватбанка (грн).

СКАЧАТЬ

Нажмите на кнопку СКАЧАТЬ, чтобы перейти на оригинальную страницу с описанием Sсrареs – универсальный автоматический парсер на WordPress


Similar Posts

86 комментария/ев

    1. Нет возможности для изображений в самом контенте. Но, для миниатюры можно указать откуда она будет браться, но нельзя указать куда будет сохраняться.

  1. Парсер хороший, удалось даже на свой сайт поставить, но выдает ошибку на php 7.1 «fatal error, feed replased», можете подсказать в чем причина данной проблемы, и как ее устранить?

    1. Я ни одного парсера Scrapes, которые есть в паблике не встречал в рабочем варианте. Их все можно поставить, но ни один из них не парсит. Статус операций висит Запущено или В ожидании и больше ничего не происходит.
      В вашей ситуации, попробуйте снизить версию php — сначала до 7.0, а потом если не поможет до версии 5.6.
      Но, скорей всего, как я писал выше — версии из паблика просто не работают.

    1. Здесь нужно смотреть в сторону мета-полей. Я пробовал парсить атрибуты из др. магазина и у меня не получилось. Пришел к выводу, что для парсинга товаров с атрибутами нужно использовать др. инструменты. Или добавлять атрибуты уже вручную после парсинга товаров. Возможно, др. пользователи подскажут и поделятся своим опытом.

    2. Ответ от автора плагина:
      It can create «Simple», «External» and «Virtual» WooCommerce products automatically from the target you want but «Grouped», «Variable» and «Downloadable» product types and product attributes are not fully supported currently.
      Т.е. можно парсить простые, внешние и виртуальные товары.
      А сгруппированные, вариативные и скачиваемые товары поддерживаются не полностью.

    1. Здравствуйте! Я не пробовал. Но, нужно брать режим Serial.
      Там в чем суть: вы берете сайт у которого четко обозначены категории и записи, постраничная навигация, а также есть записи в которых четко обозначен заголовок, миниатюра и контент, также можно спарсить цену, автора и город и все это вставить в сам контент (используя шорткоды).

  2. Что необходимо указать в настройках, чтобы парсер также считывал наличие товара (в наличии или нет), так как на многих сайтах выставлены все товары, которых даже нет в наличии?
    Необходимо чтобы парсер также устанавливал это значение, потому что после парсинга у всех товаров стоит значение «В наличии», CMS — WordPress.

    1. Парсер рабочий и выполняет свои функции. Но, как он будет работать с конкретным сайтом — это нужно пробовать. Парсер может спарсить все поля и их можно выводить например в самом контенте записи. Это одно. А второе, более сложное: спарсить поля и вставить значения в нужные произвольные поля (например плагина ACF).

  3. Купил данный плагин у разработчиков, чтобы парсить курсы валют. Парсит он шикарно! Но я в недоумении — я поставил, чтобы он обновлял данные каждые 15 минут, и он каждые 15 минут создает новый пост с курсами. Спрашивается, зачем??? И как это побороть?

  4. Здравствуйте. Подскажите как сделать что бы в сео загловок Title парсилось так же как и на другом сайте. Пока получилось только заголовок статьи парсить (h1) а title получается пустой или такой же как заголовок h1.

  5. И еще вопрос, как удалять из статьи, например блок содержания или кусок лишнего текста?? Что нужно писать в разделе EXCERPT > Value

  6. Подскажите, где можно взять рабочие значения куки для парса? Различные расширения, для получения value работают, но ни одно значение не срабатывает.

      1. Да дело в том, что я не совсем в курсе, какие значения просит программа. В парсе я новичок, не могу точно ответить. На счет этих расширений я уже упомянул, пробовал разные значения с разных сайтов, которые у меня есть в браузере.
        Объясню поподробнее, скорее всего не я один нуждаюсь в правильном ответе.
        При парсе страничек (от 100 до 400) в день, сайты блокируют скраппер, и чтобы этого избежать, нужна подмена куки со значением name и value (самые верхние поля в плагине, меню Request).
        Что интересно, некоторые сайты после 00:00, «обнуляются» и можно снова парсить, до этого лимита. Некоторые блокируют по ip, но это уже другая история.

  7. скажите пожалуйста, если Настроить тип: «Serial » — то это будет разовый парсинг, пока не спарсит всё? Или как это работает? А если настроить Single — то он будет парсить новые появившиеся статьи или он только спарсит также один пост и всё?

    1. Serial — это не разовый парсинг контента. Парсер будет парсить определенными этапами (через промежутки), пока не спарсит весь контент, например в категории, или в магазине и т.д. После того как все спарсит, он снова через промежутки времени будет заходить на сайт и проверять не появились ли новые статьи. Если есть новые статьи — будет опять парсить.

      Single — это проверка и парсинг одной страницы/записи. Парсер также через определенные промежутки времени заходит на эту страницу и обновляет ее содержимое уже на вашем сайте. Например, это может быть определенная статистика, курсы валют, биржи, информеры, баннеры, цены, прогнозы. Т.е. можно указать не просто страницу, а блок, который будет проверяться и обновлять на вашем сайте (на странице).

      Надеюсь объяснил.

  8. Предусловие:
    Есть сайт на WP с каталогом, разделенным на категории товаров. Дочерняя страница для категории — «Товар» Каталог создан отдельно, то есть это не сущность «Запись»
    Есть около 10 сайтов с товарами, которые нужно спарсить, можно ли указывать не только, что парсятся в каталог, а именно в нужную категорию http://joxi.ru/5mdvdwQu3dNO1A

    1. В настройках парсера есть опция добавить в конкретную категорию (одну). В эту категорию будут добавляться все спарсенные товары. Потом вы уже из этой категории будете распределять товары в нужные категории. Если этого не сделать, то парсер сам будет создавать категории, которые есть на сайте-доноре. Вообще, лучше товары добавлять в статусе Черновик.

      1. Спасибо! Поздно увидел ответ, но уже и сам разобрался)
        Тогда еще вопрос, парсим на сайте на тестовом домене, пока не переехали на постоянный. После переезда парсер будет работать?

        1. На странице с условиями написано следующее:
          You may use the Octolooks’ softwares for the purposes of running a single domain website with its subdomains and localhost for testing purposes only. (использование на одном домене с поддоменами и локальный сервер для тестирования)
          You may not use Octolooks’ softwares on any domain not wholly owned by you. (использовать лицензию можно только на своем сайте, который нам принадлежит)

      2. Спасибо! Поздно увидел ответ, но уже и сам разобрался)
        Тогда еще вопрос, парсим на сайте на тестовом домене, пока не переехали на постоянный. После переезда парсер будет работать?

  9. Добрый день, никак не могу подружиться с скрапером, не парсит ничего, если не затруднит ответить на вопрос, какие требования у плагина, тоесть работает ли с последней версией WP и WooCommers, какая версия PHP DB SQL требуется или обязательна

      1. Лицензия, разобрался в чем была проблема, беда плагина в том ,что он никак не сообщает о том если не может сделать что-то или где-то возникает ошибка. Лезем в логи и видим что там какая то пролема в виде «не могу что -то считать», но в прошлый рас он считывал уаказанные данные с кода. Если вы дружны с этим плагином, был бы признателен обменяться контактами, например телеграмм, можете прислать на почту, я отпишусь, обговорим мою задачу.

  10. Здр, нужно объеденить парсинг нескольких плагинов.
    Есть Content Egg WP Plugin — но там с контентом беда, одни товарки и тп. Парсит по кею.
    Нужен ваш плагин для парсинга контента (статьи [часть статьи], картинки, видюшки) по кею + по шорткоду наполнение страниц товаром Пример куска шорткода ниже
    Коротко говоря, там есть автоблогинг по кею, нужно просто вставить туда что должен спарсить scrapes по шорткоду.
    [wpsm_titlebox title="Where to Buy" style="1"]
    [content-egg-block template=custom/all_offers_logo post_id="72"]
    [/wpsm_titlebox]
    <h2>Price History</h2>
    [content-egg-block template=price_statistics post_id="72"]

    [content-egg-block template=custom/all_pricehistory_full post_id="72"]

    [content-egg-block template=custom/all_pricealert_full post_id="72"]

  11. Подскажите что делать когда такая ошибка выходит, раньше все работало.

    «На сайте возникла критическая ошибка. Пожалуйста, проверьте входящие сообщения почты администратора для дальнейших инструкций.»

      1. Удалил файлы плагина, установил заново, та же ошибка. В настройки заходит а вот список сканирования посмотреть не пускает. Подскажите как можно исправить?

  12. Купил этот плагин на сайте у них. Не могу его активировать пишет вот что.
    Parse error: in /var/www/www-root/data/www/site.ru/wp-content/plugins/ol_scrapes/classes/class-ol-scrapes.php(3594) : runtime-created function(1) : runtime-created function on line 1

    Писал им — на что получил ответа: сменить версию php на 7.3.1.5 или 7.1
    У меня стоит 7.3.1.5 ошибка остается.
    Пробовал скатится до 7.1 и подняться до 7.4 — итог никакой. Как была ошибка так и осталась. Подскажите кто сталкивался? Есть идея решения?

  13. Спасибо большое за описание плагина. Купил лицензию, парсит просто шикарно!
    Но заметил такую особенность, что изображения имеют ссылку с сайта донора. как сделать так, чтобы картинки сохранялись у меня на сервере?

  14. Николай. а подскажите пожалуйста еще вот в каком вопросе:
    Купил данный плагин, активировал на сайте и решил еще попробовать активировать на локалхосте. А мне пишет, что данный плагин уже активирован.
    Хотя четко прописано: It will be valid only for domain name that I entered including subdomain names and localhost for testing purposes. Значит, его нельзя повторно активировать на локалхосте? И сколько раз можно активировать его на поддоменах?

      1. Вот и я думал, что должен.
        Может это из-за того, что я сперва зарегистрировал на реальном домене, а уже потом пробовал на локалхосте?
        Кстати, заметил еще особенность: сделал еще один сайт на WP на поддомене. Регистрацию успешно прошел. Попробовал парсить статьи, но больше 10 статей не дает парсить — отключается и переходит в режим паузы.
        И, к сожалению, я не понял, где в настройках нужно выставить, чтобы он начинал парсинг не с самого начала, а с того места, где я его остановил.

  15. Добрый день! Интересует возможность сбора информации с «Яндекс Работа» по заработной плате в виде графиков, самая низкая, большая и тд. Это возможно?

  16. Товары я спарсил с сайта OpenCart на свой WordPress. Может кто подскажет как настроить парсер, какие переменные поставить чтобы он парсил размеры, атрибуты и т.д.?

  17. Или хотя бы где можно посмотреть все значения карточки товара, я имею ввиду такие: _regular_price — это стоимость товара, _sale_price — это скидочная стоимость и т.д.

  18. В общем задам вопрос проще, а то много написал…
    Как спарсить вариативный товар? (там ведь цены разные — зависит от атрибутов)
    Или можно парсить только простые товары?

    1. Ответ от автора плагина:
      It can create «Simple», «External» and «Virtual» WooCommerce products automatically from the target you want but «Grouped», «Variable» and «Downloadable» product types and product attributes are not fully supported currently.
      Т.е. можно парсить простые, внешние и виртуальные товары.
      А сгруппированные, вариативные и скачиваемые поддерживаются не полностью.

    1. В статье есть примеры как он парсит. Вы задаете URL-адрес в парсере и он по нему парсит. Для каждой категории создаете свой парсер или указываете общую страницу магазина где есть список всех товаров и тогда спарсит все товары из разных категорий.

  19. Здравствуйте! Подскажите, пожалуйста, как создать ссылку Value для парсера самостоятельно, в том случае когда контент скрывается. В некоторых парсерах можно через код страницы скопировать значение XPath, здесь так не получается.

    Как видит Scrapes — https://prnt.sc/ud3iwk
    Так на сайте — https://prnt.sc/ud3i4c

    Disable styles не помог.(

  20. Здравствуйте,подскажите,как сделать «кнопку» при нажатии на которую клиент мог перейти на сайт откуда был спарсерен товар?

  21. Доброго времени суток! Хотел узнать,как парсерить сразу 3 цены в разных валютах при помощи Scraper? И вообще возможно ли это?

    1. Если они отображаются на сайте сразу все три, то можно. Но, если там переключатель валют, то думаю нельзя. Все цены можно поместить в произвольные поля. Но, вот стоит вопрос куда их вставить? Нужно знать какие поля в товаре/магазине отвечают за вывод цены в др. валютах. Цену в базовой валюте можно указать, а вот с др. полями нужно определять эти произвольные поля.

  22. Не получается сделать кнопку «_button_text», она просто не появляется на странице товара,делаю все как в видео,могли бы вы подсказать что нужно сделать?

  23. Здравствуйте,могли бы вы помочь настроить парсер,делаю всё как на видео, но кнопка _button_text не отображается на сайте? Я мог бы отдельно заплатить за помощь

  24. Подскажите, как убрать ссылки при парсинге контента страницы?
    Я сделал парсинг с одной страницы и каждый день обновления. Но плагин переносит ссылки расположенные в контенте страницы донора. А мне нужно, чтобы ссылки убирались, но сам текст с них оставался.
    там есть чекбокс «Allow HTML tags» и если его снять, то парсит совсем без тегов.

    1. Уже нашел. Может кому пригодится.
      В разделе «Content», в поле «Find» вставляем регулярное выражение ]+)>
      а поле «Replace» оставляем пустым.

      Но может кто подскажет: как можно исключать элементы чтобы их не переносило? Или только регулярными выражениями всё делать нужно?

  25. Настроил парсинг в режиме «single» с обновлением. Создается пост по базовому шаблону. Но у меня есть три шаблона вывода постов и мне нужно чтобы спарсилос в в небазовый шаблон. Если пересохраняю пост в нужном мне шаблоне, то при следующем обновлении парсера возвращается пост к базовому шаблону.
    Подскажите, можно ли где-то в настройках указать шаблон создаваемого поста?

  26. Подскажите как сделать чтобы удалялись исходящие ссылки с загруженного контента?
    Если убираю галочку Allow HTML tags, тогда разметка плывет и текст полотном идет без абзацов
    Мне нужно оставить все как есть только убрать гиперссылки исходящие на другие сайты

    И еще вопрос скажите как убирать определенные блоки которые. загружаются

    1. Включаете в «CONTENT» Enable find and replace rules
      и в правиле в поле «Find» вставляете регулярное выражение ]+)>
      А поле «Replace» оставляете пустым.

      1. Включаете в «CONTENT» Enable find and replace rules
        и в правиле в поле «Find» вставляете регулярное выражение \]+)>\
        А поле «Replace» оставляете пустым.

    2. Включаете в «CONTENT» Enable find and replace rules
      и в правиле в поле «Find» вставляете регулярное выражение </?a(|\s+[^>]+)>
      А поле «Replace» оставляете пустым.

  27. Подскажите как через регулярные выражения заменить теги. Например, <span class=»text»>Текст донора</span> на <li>Текст донора</li>

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Вы можете использовать эти теги HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

Например, чтобы вставить код используйте эти теги: <code>Здесь ваш код</code>