[Udemy] [Никита Хохлов] Парсинг сайтов Python

14 июня, 2021

Курсы по программированию
4 1 [Udemy] [Никита Хохлов] Парсинг сайтов Python

572c91e032 [Udemy] [Никита Хохлов] Парсинг сайтов Python

Курс: “[Udemy] [Никита Хохлов] Парсинг сайтов Python”. После прохождения данного курса вы сможете разрабатывать парсеры, авторегеры, различных ботов для автоматизации действий в браузере и имитировать все действия, которые может совершить человек используя браузер и определенные сайты.Услуги парсинга и автоматизации веб-ресурсов очень часто встречаются на фрилансе, поэтому окупить данные знания можно практически сразу после прохождения курса. Материал прислал анонимный пользователь без комментариев.

Материал может быть удален по запросу правообладателя!

Описание курса:

Мы научимся:

  • Работать с requests.
  • Извлекать нужные данные с страницы.
  • Рассмотрим GET, POST запросы.
  • Рассмотрим headers, data аргументы.
  • Научимся создавать сессию для сохранения кукисов.
  • Научимся имитировать действия пользователей.
  • Научимся авторизовываться на сайтах, скачивать и отправлять файлы.
  • Изучим архитектуру клиент/сервер.
  • Рассмотрим принцип работы http протокола.
  • Научимся парсить все страницы сайта.
  • Научимся находить нужные нам значения на сайте.
  • Рассмотрим многопроцессорные программы, для ускорения работы софта.
  • Научимся заменять user-agent и имитировать другое устройство и браузер.
  • Рассмотрим все основы bs4.

Какие задания мы выполним?

  • Напишем программу для извлечения IP пользователя.
  • Напишем программу для скачивания файлов с сайта.
  • Научимся обходить все страницы сайта и подменять user-agent.
  • Напишем программу с использованием multiprocessing.
  • Напишем программу с использованием bs4.

Почему именно этот курс?

  • Материал направлен на любой уровень знаний Python (подойдет новичку и профессионалу).
  • Курс не содержит воды и предоставляет только нужную информацию.
  • После данного курса вы сможете полноценно работать с изученными библиотеками.
  • Простая подача материала.
  • Содержит реальные примеры и задачи.
  • Актуальная информация.
  • Рассматриваем все перечисленные библиотеки в одном курсе за минимальную стоимость.

После прохождения данного курса вы сможете разрабатывать парсеры, авторегеры, различных ботов для автоматизации действий в браузере и имитировать все действия, которые может совершить человек используя браузер и определенные сайты.

Услуги парсинга и автоматизации веб-ресурсов очень часто встречаются на фрилансе, поэтому окупить данные знания можно практически сразу после прохождения курса.

Если Вы не видите ссылку для скачивания материала – отключите блокиратор рекламы и добавьте наш сайт в список исключений. Если Вы против рекламы на нашем сайте – покупайте контент напрямую у авторов.

Материал предоставлен исключительно для ознакомления!

Опубликовано: Анонимно

line 1 [Udemy] [Никита Хохлов] Парсинг сайтов Python
Внимание! Сайт работает в архивном режиме. Все новые публикации и активность на нашем форуме.
Подробнее

Комментарии

Вы должны быть зарегистрированы для того, чтобы оставлять комментарии.

3 комментария

  • Ответить

    A_ABDU

    2 февраля, 2022 в 17:57

    Курс по своей идее должен быть очень хорош.

    Только вот проблема в том, что две лекции в нём уже потеряли актуальность, либо не снабжены актуальными ссылками, а именно:

    1. Сайт ru-forum.com не существует, на каких примерах тренироваться с авторизацией – не понятно, альтернатив не предложено.

    2. Библиотека fake-useragent не работает (по крайней мере у меня). Конечно можно легко выйти из положения создав локальный файл с фэйковыми user-agent, но автор об этом не рассказывает. Взять варианты user-agent можно здесь: https://fake-useragent.herokuapp.com/browsers/0.1.11

    Также можно воспользоваться другой библиотекой: getuseragent, установив её через pip обычным образом.

    Далее используем так:

    from getuseragent import UserAgent

    useragent = UserAgent()

    user = useragent.Random()

    Подсказал это не преподаватель, а другие студенты.

    3. Proxy.

    Не предоставлен список доступных proxy. Поиск по сети из-под runet не увенчивается успехом. Проверка первых 10 url из лекции также не приводит к желаемому результату. На все proxy идёт один ответ “Прокси не отвечает”. Допускаю, что это местные цифровые власти ведут борьбу и блокируют такие IP адреса, но где взять другие в лекциях не рассказывается.

    Именно по этим причинам остаётся очень значительное ощущение незавершенности, ненадёжности знаний и навыков, больших пробелов и непонимания как реально решать многие заявленные в названиях лекций задачи.

    1
    Показать 1 ответ
    • Ответить

      Eretik

      10 июня, 2022 в 09:53

      Курс и по идее и на самом деле хорош.

      1) В чем проблема взять любой другой форум и попробовать авторизоваться на нем, главное понять принцип. Да, возможно не получится сделать это сразу, но вы справитесь и получите свой опыт. Это еще и эффективней, чем просто переписать код за преподавателем.

      2) У меня библиотека работает.

      3) Почему вы думаете, что должен быть представлен список доступных прокси? Нормальные прокси платные и продаются в одни руки. Их можно сравнительно не дорого купить. Если будете заниматься парсингом, это прийдется делать. Если не хотите платить, то знаний из предыдущих уроков достаточно, чтобы распарсить какой-нибудь сайт с бесплатными проксями и чекнуть их на валидность. Но валидных бесплатных проксей очень мало и они быстро умирают, потому что таких желающих много.

      В общем знаний достаточно для старта. Все возможные проблемы и сложности в курсе описать невозможно. Дальше ваш личный опыт и гугление при возниковении сложностей, так все программисты делают).

      0
  • Ответить

    Moratar

    5 августа, 2021 в 13:42

    Фигня для обычных html страничек без скриптовых подойдет. С javascript работает только requests_html и селениум.

    0