Полный курс по сбору данных с веб-сайтов на Python — от первого HTTP-запроса до промышленного краулера. Вы освоите библиотеку requests и парсинг HTML стандартными средствами Python, научитесь извлекать данные с помощью BeautifulSoup, работать с динамическими сайтами через Selenium и Playwright и строить масштабные краулеры на Scrapy.
Отдельный акцент — на ответственном скрейпинге: robots.txt, условия использования, правовые ориентиры (hiQ против LinkedIn, CFAA, GDPR) и логика антибот-защит. Многие примеры запускаются прямо в браузере на стандартной библиотеке Python.
Курс «Веб-скрейпинг на Python» состоит из 6 разделов и 18 уроков: Основы веба и HTTP для скрейпинга, requests и разбор HTML, Разбор HTML с BeautifulSoup, Динамические сайты: Selenium и Playwright, Scrapy: промышленный краулинг и Этика, закон и антибот-защиты. Уроки идут по порядку — от основ к более сложным темам, в каждом есть объяснение с примерами, а в конце — вопросы для самопроверки. К урокам привязаны задачи с автоматической проверкой: прочитали тему — сразу закрепили её кодом.
Программа учебника
6 разделов · 18 уроков1Основы веба и HTTP для скрейпинга3 урока
- 1Что такое веб-скрейпинг и когда он нуженВведение в веб-скрейпинг на Python: что такое скрейпинг, чем он отличается от парсинга и API, из каких этапов состоит и когда его стоит применять.
- 2HTTP под капотом: запросы, ответы и коды статусаКак устроен протокол HTTP для веб-скрейпинга: методы GET и POST, заголовки, коды статуса 200/403/429, разбор URL через urllib.parse.
- 3Структура HTML и DOM-деревоКак устроен HTML для скрейпинга: теги, атрибуты, классы, DOM-дерево. Разбор страницы стандартным модулем html.parser прямо в браузере.
2requests и разбор HTML3 урока
- 4Библиотека requests: первые запросыКак отправлять HTTP-запросы в Python с помощью requests: GET, заголовки, параметры, таймауты, raise_for_status и сессии. Лучшие практики скрейпинга.
- 5Извлечение данных стандартной библиотекойПарсинг HTML без внешних библиотек: извлечение ссылок через html.parser и поиск e-mail регулярными выражениями re. Работает прямо в браузере.
- 6Работа с URL: ссылки и параметры пагинацииКак скрейперу обрабатывать URL в Python: urljoin для относительных ссылок, urlencode и urlunparse для пагинации каталога. Примеры работают в браузере.
3Разбор HTML с BeautifulSoup3 урока
- 7BeautifulSoup: парсинг HTML по-человеческиЗнакомство с BeautifulSoup (bs4): построение дерева из HTML, методы find и find_all, поиск по тегу, классу и атрибутам, извлечение текста.
- 8CSS-селекторы и навигация по деревуПоиск элементов в BeautifulSoup через CSS-селекторы (select, select_one) и навигация по дереву: find_parent, find_next_sibling. Сбор данных в список.
- 9Сбор данных в таблицу: CSV и JSONКак собрать спарсенные данные в список словарей и сохранить в CSV/JSON стандартными модулями Python. Чистка и нормализация текста, защита от пустых полей.
4Динамические сайты: Selenium и Playwright3 урока
- 10Динамические сайты: почему requests не хватаетПочему на SPA-сайтах (React, Vue) данных нет в исходном HTML и requests видит пустой каркас. Два пути: скрытый JSON-API или управление браузером.
- 11Selenium 4: автоматизация браузераСкрейпинг динамических сайтов с Selenium 4: запуск headless-браузера, поиск элементов по CSS, явные ожидания WebDriverWait вместо time.sleep, driver.quit.
- 12Playwright: современный браузерный скрейпингPlaywright для скрейпинга динамики: запуск Chromium, авто-ожидание элементов, query_selector_all, перехват сетевых ответов для получения скрытого JSON-API.
5Scrapy: промышленный краулинг3 урока
- 13Scrapy: фреймворк для масштабного краулингаЗнакомство со Scrapy: пауки (Spider), start_urls, метод parse, yield данных и Request, response.follow для пагинации, экспорт через -o, DOWNLOAD_DELAY.
- 14Архитектура Scrapy: путь запроса по конвейеруКак устроен Scrapy внутри: движок, паук, планировщик (Scheduler), загрузчик (Downloader), Item Pipeline и middleware. Цикл краулинга и дедупликация URL.
- 15Вежливый Scrapy: robots.txt, задержки, AutoThrottleНастройки ответственного краулинга в Scrapy: ROBOTSTXT_OBEY, DOWNLOAD_DELAY, CONCURRENT_REQUESTS, AUTOTHROTTLE, честный USER_AGENT и HTTPCACHE.
6Этика, закон и антибот-защиты3 урока
- 16robots.txt и условия использованияКак читать и уважать robots.txt при скрейпинге: Disallow, Allow, Crawl-delay, проверка через urllib.robotparser. Отличие robots.txt от Terms of Service.
- 17Законность и этика скрейпингаПравовые аспекты веб-скрейпинга: прецедент hiQ против LinkedIn и CFAA, публичные vs защищённые данные, GDPR и CCPA для персональных данных, авторские права, этика.
- 18Антибот-защиты: как сайты ловят ботовКак работают антибот-системы (Cloudflare, DataDome): анализ User-Agent и заголовков, частоты запросов, TLS/JA3-отпечатков, JavaScript-челленджей и поведения.