Описание:
Для движка ShopCMS версии 3.0.0 и выше

Модуль Парсер товаров для ShopCMS автоматически загружает в каталог товары с других интернет-магазинов или каталогов. Модуль парсит каталоги Яндекс.Маркет и МаркетГид. Используя этот мощный инструмент, вы сэкономите огромное количество времени, уходящее на заполнение магазина товарами.

Основные возможности парсера товаров ShopCMS:

* парсинг названий, описания, веса и стоимости товаров. Если позволяет дизайн сайта-источника, можно разделять краткое и полное описание. Фильтрация HTML-кода с помощью настраиваемого списка тегов. Обрезание описаний до или после вхождения заданных строк.
* загрузка изображений товара. К каждому товару парсер загружает все его найденные изображения, для каждого автоматически генерируя уменьшенные версии (ограничения на размер фотографий настраиваются).
* парсинг Meta тегов description и keywords.
* режим обновления цены - изменение только стоимости товаров. Также задается коэффициент изменения цены, который можно использовать для ценовой надбавки или перевода курсов валют.
* режим дополнения описаний - добавляет к товарам Вашего каталога отсутствующую информацию, такую как фотографии, описания или вес.
* парсинг через прокси-сервер
* режим парсинга по крону (не нужно держать открытым окно парсера)
* многопоточная загрузка - позволяет значительно ускорить парсинг, особенно при загрузке товаров с несколькими изображениями.
* настраиваемые cookies - позволяют, например, задавать географический регион при парсинге Яндекс.Маркета или авторизоваться на некоторых сайтах

Парсер интегрирован в панель администрирования ShopCMS, работает с использованием AJAX-интерфейса. Во время парсинга нужно держать открытой страницу админки, где в интерактивном режиме отображаются результаты работы:

Вы можете самостоятельно "нацеливать" парсер на нужный сайт: достаточно загрузить через админпанель соответственный файл настроек и добавить ссылки, с которых парсер начнет обход сайта. При наличиии базовых знаний разметки HTML вы можете сами настроить шаблоны на любой сайт-цель.

Дополнительная информация

Основные системные требования к серверу для работы парсера товаров:
* PHP 5* Библиотека PHP iconv* Библиотека PHP GD* Поддержка функций curl* Лимит на время выполнения скриптов - не менее 15 секунд
Установка:
1. В админ-панели: Настройки=>Общие настройки.
- Поставить галочку "Принудительная очистка кэша"
Сохранить настройки

2. Загрузить файлы (добавить):
core/includes/admin/sub/modx_parser (папка и ее содержимое)

core/includes/admin/sub/modules_prod_parser.php
core/tpl/admin/prod_parser.tpl.html
data/admin/modx_parser.js
data/admin/jquery.min.js
data/admin/modx_menu.js
data/admin/modx_menu.css
data/admin/modx_menu_ie-fix.css
data/admin/modx_parser_module.js
parser_cron.php

3. Отредактировать файл core/includes/admin/modules.php
Найти строку:
array("id"=>"yandex", "name"=>"Яндекс.Маркет" )
Добавить перед ней строку:
array("id"=>"prod_parser", "name"=>"Парсер товаров"),
4. Отредактировать файл core/tpl/admin/menu.tpl.html
Найти строку:

{$smarty.const.STRING_AFFILIATE_PROG RAM}

Добавить после нее строку:

Парсер

5. Задать все права на запись (777 для папок, 666 для файлов):
core/includes/admin/sub/modx_parser/parser.dat
core/includes/admin/sub/modx_parser/logfile.dat
core/cache
data/big
data/medium
data/small
6. Проверить, открывается ли модуль парсера
7. В админ-панели: Настройки=>Общие настройки.
- Снять галочку "Принудительная очистка кэша"
Сохранить настройки
8. ТОЛЬКО если нужна возможность работы через крон:
- открыть файл parser_cron.php, задать в параметре "MODX_SITE_ROOT" адрес своего
сайта, на котором установлен парсер
- настроить, если нужно, другие параметры в parser_cron.php
- поставить на крон задание:
*/2 * * * * /usr/bin/php parser_cron.php > core/temp/cron.log
Уточните путь к php на своем хостинге - он может отличаться от "/usr/bin/php".
Вместо parser_cron.php и core/temp/cron.log должны быть АБСОЛЮТНЫЕ пути к этим файлам.
Инструкция по использованию модуля:
В админпанели ShopCMS модуль находится в разделе Модули=>Парсер товаров

Подготовка к работе
Одновременно можно парсить только один сайт. Перед парсингом нового сайта нужно загрузить настройки шаблонов из файла настроек: внизу модуля парсера есть раздел "Экспорт/Импорт шаблонов" с полем для загрузки файла. В архиве с модулем в папке templates можно найти шаблоны для Яндекс.Маркет и МаркетГид. Далее нужно добавить точки входа - ссылки на разделы целевого сайта, товары из которых нужно парсить. Парсер после запуска зайдет на каждый URL точки входа, и перейдет дальше по всем найденным ссылкам на товары и следующие страницы в постраничной разбивке. К каждой точке входа привязывается одна из категорий Вашего каталога,куда будут добавляться отпарсенные из этой точки входа товары. Можно назначать несколько точек входа на одну и ту же категорию каталога.
Парсинг
1) нажать кнопку "Открыть окно парсера"
2) в окне парсера снять галочку "Тестовый режим" (иначе товары не будут
добавляться в ваш каталог)
3) нажать кнопку "Начать"
4) не закрывать это окно, пока не закончите парсинг. Если по каким-то причинам окно преждевременно будет закрыто, можно потом продолжить парсинг с последней точки, нажав кнопку "Продолжить" Товары создаются парсером неопубликованными, для их отображения на сайте нужно включить товары через админпанель.
Изображения

Можно также жестко приводить фотографии к заданному размеру, но при этом лишняя часть фотографий будет обрезаться - для этого в настройке "Уменьшение фотографий" нужно задать режим "Уменьшать и жестко обрезать".