3.7 из 5
3.7
44 отзыва

Парсеры, роботы, автоматизация, Selenium, PhantomJS на PHP

Станьте профессиональным разработчиком парсеров, роботов. Научитесь работать с Selenium, PhantomJS и cURL с PHP
Автор курса:
PHP - Academy
161 студент зачислен
Вы сможете создавать парсеры и роботы
Вы сможете парсить любые сайты
Вы сможете писать автоматизированные тесты веб-приложений
Вы сможете создавать копии сайтов

Этот курс сделает вас профессиональным разработчиком парсеров, роботов, скриптов автоматизации. Вы сможете парсить сайты любой сложности, работать с Selenium Webdriver, писать роботы, и создать платформу уровня UNI Delivery. Курс будет активно наполняться новыми лекциями и разделами!

Курс включает в себя такие разделы:

1. Простой парсинг

Вы изучите, как парсить простые сайты с минимальными затратами времени. Как сохранять контент в БД и запускать параллельно несколько потоков парсера.

2. Автоматизация, роботы, парсеры, тестирование с помощью Selenium и PHP

Вы научитесь работать в Selenium WebDriver с помощью PHP – мы сделаем заказы в интернет магазинах с помощью робота.

3. Работа с cURL, прокси, Cookie

Изучим работу с cURL, прокси, Cookie в PHP.

4. Копии сайтов с помощью cURL, создание прокси скрипта

Автор курса – разработчик платформы UNI Delivery, где десятки американских магазинов открываются внутри платформы. Мы создадим LIVE (онлайн) копии таких сайтов как Amazon и 6PM.

5. Работа с PhantomJS

Вы изучите PhantomJS – виртуальный браузер, мощный инструмент для автоматизации и парсинга.

6. Работа с DigitalOcean, Vultr

Вы узнаете, как работать с виртуальными серверами на платформах DigitalOcean, Vultr и разворачивать там парсеры.

Введение

1
Что будет рассмотрено в курсе

Простой парсинг

1
Подключаем библиотеку для парсинга
2
Тест. Получаем исходный код страницы
3
Получаем ссылки на каждую из статей со страницы каталога
4
Работа с паджинацией (когда каталог, контент разбит на страницы). Рекурсия
5
Парсинг каждой отдельной статьи
6
Создаем таблицу articles для хранения данных парсинга
7
Добавляем ссылки на каждую статью в таблицу БД
8
Парсим и сохраняем каждую статью в БД
9
Переносим парсер вчистовик. CLI
10
Сохранение статей в БД. Парсер готов
11
Как параллельно запустить много потоков парсера? Часть 1
12
Как параллельно запустить много потоков парсера? Часть 2

PhantomJS и PHP. Парсим сайты. Создаем живую копию сайта Zappos.com

1
Знакомимся с PhantomJS. Командная строка. Скриншоты сайтов. Исходный код сайта

В этой лекции вы узнаете, что такое PhantomJS и как его запускать из командной строки.

Вы также узнаете, как получить скриншот, исходный код страницы.

Вы увидите, как можно задать параметры браузера, например, разрешение экрана (размер окна).

2
Работа PhantomJS и PHP. Приложение-генератор скриншотов сайтов. Меняем UserAgent

В этой лекции мы создадим приложение-генератор скриншотов сайтов на PHP. Узнаем как подменять User Agent.

3
Парсим Zappos.com. Часть 1: пишем JS код для получения ссылок категорий товаров

В этой лекции мы напишем JS код, который будет получать все ссылки на страницы категорий Zappos.com. Далее этот код будет использоваться для получения JSON и передачи массива ссылок на сторону PHP. В следующей лекции мы запустим этот код в PhantomJS и научимся работать с файловой системой.

4
Парсим Zappos.com. Часть 2: получаем JSON со ссылками. Внедрение кода с evaluate

В этой лекции мы узнаем, как выполнить сторонний (пользовательский) код на странице, которая загружена через PhantomJS.

5
Парсим Zappos.com. Часть 3: пишем JSON в файл из PhantomJS. Читаем его из PHP

В этой лекции показано, как записать данные на диск из PhantomJS. Также мы прочитаем эти данные из PHP и превратим их в ассоциативный массив.

6
Парсим Zappos.com. Часть 4: Рекурсия в PhantomJS - берем страницы из педжинации

В этой лекции вы узнаете, как использовать рекурсию в PhantomJS для того, чтобы пройтись по пеждинации (1,2,...200...) страниц каталога. Мы будем находить ссылку на след. страницу каталога и парсить ее.

7
Парсим Zappos.com. Часть 5: Получаем ссылки на все товары со страницы каталога

В этой лекции вы узнаете, как спарсить все ссылки на товары со страницы категории интернет магазина.

8
Парсим Zappos.com. Часть 6: пишем ссылки на все товары категории в JSON файл

В этой лекции вы увидите, как можно записать все ссылки на товары в один файл JSON для того, чтобы дальше работать с ними в PHP.

Бонус. Безлимитный Google Translate без ключа API. Парсинг Google Translate

1
Парсим Google Translate с PhantomJS. Передача аргументов из командной строки

В этой лекции вы узнаете, как написать свой парсер гугл транслейт и как передавать параметры из командной строки прямо в PhantomJS.

2
Добавить размер окна через viewportSize и установить userAgent, как будто Chrome
3
Перевод больших текстов с переносами строк
You can view and review the lecture materials indefinitely, like an on-demand channel.
Definitely! If you have an internet connection, courses on Udemy are available on any device at any time. If you don't have an internet connection, some instructors also let their students download course lectures. That's up to the instructor though, so make sure you get on their good side!
3.7
3.7 из 5
44 Рейтинги

Детальный Рейтинг

Звезды 5
18
Звезды 4
11
Звезды 3
7
Звезды 2
3
Звезды 1
5
4ce1595eca3b8442545d30bc166adc38
3-дневная гарантия возврата денег

Этот курс включает:

3 часов видео по запросу
Полный пожизненный доступ
Доступ с мобильного
Сертификат об окончании
Парсеры, роботы, автоматизация, Selenium, PhantomJS на PHP
Цена:
0.16 ₽ 1,190 ₽
Layer 1