Парсинг с автоматической авторизацией на сайте доноре.

Все что описано в данной инструкции доступно начиная с версии модуля SimplePars v4.4

В модуле поддерживается автоматическая авторизация на сайте доноре. На данный момент поддерживается два метода.

  1. POST запрос - Классическая авторизация на сайтах.
  2. htpasswd авторизация - Авторизация через htpasswd применяется как правило для закрытия админок или файлов выгрузки xml

Авторизация методом POST запроса.

Данный подход реализует туже схему что была ранее
Парсинг с авторизацией (cookie)
Только теперь модуль будет уметь сам авторизоваться в случае если авторизация слетит.

Переходим к авторизации.

Вкладка Настройки запросов, под вкладка Авторизация

  1. Поле для ввода url страницы на которой происходит авторизация на сайте доноре.
  2. Метод авторизации, в этом случаи POST запрос.
  3. Данные для авторизации, как правило login/email и пароль.
  4. Ссылка на любой товар для проверки работы авторизации.
  5. Проверочный текст. Найдя этот текст на странице, модуль сможет понять что авторизация прошла успешно.
    Сюда записываете текст который появляется на странице после авторизации, как правило ваш логин или слово выйти, или что то еще.
  6. Кнопка которая отправляет запрос на авторизацию.
  7. После того как отправите запрос на авторизацию вы можете нажать на эту кнопку для проверки успешной авторизации.
  8. Эта кнопка загрузит код проверочной страницы доля изучения.

Откуда брать все данные ?

Для заполнения всех необходимых полей, переходим в браузер и открываем консоль нажатием клавиши f12.
Затем в консоли браузера выбираете раздел сеть.
Открываете страницу авторизации на сайте доноре, вводите логин и пароль и жмете авторизоваться.
Пример

После того как запрос на авторизацию был отправлен, находим в консоли браузера запрос которым браузер отправил ваши данные на сайт.
Здесь вы можете скопировать ссылку по которой браузер авторизуется.
И я настаиваю что бы вы именно здесь смотрели адрес, а не в строке браузера. Это важно!!!
Эту ссылку записываем в настройки авторизации в поле под номером 1
Метод авторизации у нас POST по этому пункт 2 то же переключаем в POST запрос

Данные авторизации
Данные по которым автоматизируется браузер вы можете найти в том же запросе в вкладке Запрос
Здесь вы увидите данные которые браузер отправляет на сайт для авторизации.
Красным я выделил название данных что отправляются.
Зеленым выделил значение этих данных.

Эти данные вам нужно будет записать в поле 3 в настройках запроса как показано на первом скриншоте.

email=support@simplepars.top&password=111111

Обратите внимание, что название данных отделяется от значения знаком равно =
А разные данные друг от друга знаком & то есть в нашем случае email и его значение от password и его значения отделяется символом &
Это сделано не просто так, есть сайты который в вкладке запроса прям так и пишут данные.
В этом случае вам будет достаточно просто скопировать их и записать в поле данных в настройках запросов.

Проверочный текст

Для полноценной работы вам нужно указать проверочный текст в поле 5
Это текст который идентифицирует вас как авторизованного пользователя.
Этот текст должен быть на всех страницах что вы собираетесь парсить после авторизации.
Как правило это: Логин, ник, email, слова по типу личный кабинет, слово выход.
То есть, все то что появляется на странице после авторизации, в нашем случае мой ник Rassol2

По сути все, теперь вы можете нажать на кнопку Авторизоваться и модуль отправит запрос по указанным данным, и сохранит куки. После нажать на кнопку Проверить авторизацию и модуль сделает запрос на проверочную ссылку с использованием кук после авторизации.
Если все было сделано правильно, вы получите долгожданное уведомление.
Авторизация прошла успешно, проверочный код был обнаружен на странице!!!

Автоматическая авторизация.

После того как вы все указали, и сделали проверку, и получили утвердительный ответ, переходите в вкладку Общие и выбираете
Использовать POST метод для автоматической авторизации

После этого при парсинге модуль будет каждую страницу проверять на наличие проверочного текста и при необходимости делать повторный запрос на авторизацию.
Если после повторного запроса на авторизацию модуль снова не найдет проверочный текст, это значит что есть проблемы с авторизацией и парсинг будет остановлен. Вся информация об это будет написана в логах.

Авторизация методом htpasswd

Этот метод я оставил на конец так ка кон прост. Это авторизация в формах как на скришоте ниже.

Здесь все гораздо проще.
Вам достаточно:

  1. Выбрать метод авторизации htpasswd
  2. В поле Данные для авторизации указать логи и пароль через двоеточие login:password
  3. Выбрать на вкладке общие в блоке авторизация Использовать htpasswd метод для автоматической авторизации

Все теперь модуль будет проходить авторизацию методом htpasswd.

Видео инструкция!