Список User-Agent

Выдержка из википедии

При посещении веб-сайта клиентское приложение обычно посылает веб-серверу информацию о себе. Это текстовая строка, являющаяся частью HTTP-запроса, начинающаяся с User-agent: или User-Agent:, и обычно включающая такую информацию, как название и версию приложения, операционную систему компьютера и язык. У «пауков» эта строка часто содержит URL и email-адрес, по которым веб-мастер может связаться с оператором «паука».

User-Agent

Вы можете указать отправлять User-Agent или нет при запросе сайта донора. Так же вам доступна настройка позволяющая при каждом запросе отправлять новый User-Agent из списка.
В совокупности с прокси сервером вы можете имитировать новое соединение и обходить блокировки сайта донора

Форма записи User-Agent

Разные User-Agent записываются с новой строки

Пример :

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36

Если вы выберите
Менять User-Agent - Да (Каждый запрос)
То при каждом запросе модуль SimplePars будет рандомно выбирать user-agent и отправлять в запросе к сайту донору.

В обратном случаи модуль будет в каждом запросе отправлять юсер агент записанный в первое строке.

Так же вы можете отправлять User-Agent прикинувшись мобильным устройством, поскольку сайты для мобильных телефонов как правило не используют большие конструкции на JavaScript и это очень сильно облегчает работу с парсингом.

Найти актуальный список User-Agent можно по ссылке User-Agent для SimplePars