Расширенная программа для тех, кто только знакомится с миром IT и хочет стать сильным python-разработчиком.
Часть 11
Спринт 18.
Парсинг: начало
Что такое парсинг
Работа с браузером
Инструменты разработчика в браузере
Типы веб-страниц
Основные библиотеки для парсинга
Загрузка и кеширование веб-страниц
Прогресс-бар в консоли
HTML-код как DOM-дерево
Поиск тегов: методы find_all() и find() в bs4
Настройка парсера
Первый парсер: учимся переходить по ссылкам
Второй парсер: работаем с регулярными выражениями
Регулярные выражения: практика
Третий парсер: скачивание файлов
Парсинг аргументов командной строки
Объединение парсеров: список зависимостей и argparse
Вывод и хранение результатов парсинга
PrettyTable: таблица в терминале
Вывод данных в файл
Рефакторинг парсера
Логирование
Обработка ошибок
Финальный проект спринта: парсер PEP
Спринт 19
Конкурентность, параллельность и асинхронность в Python
Свободная касса
Потоки и процессы
Потоки и процессы в Python
Эксперименты с потоками и процессами
Асинхронный Python. Модуль asyncio
Работа с БД
SQLAlchemy
Движок, модели и таблицы в SQLAlchemy
Управление данными: CRUD
CRUD на практике
Практическая работа. Парсер с записью в БД
Парсинг и авторизация
Аутентификация и авторизация. Анализ запросов.
Авторизация парсера с помощью requests
requests-html
Парсинг страниц с динамическим содержимым
Scrapy
Фреймворк Scrapy
Scrapy-парсер, селекторы и Shell
Scrapy-парсинг с выводом в файл
Обработка страниц с разной структурой
Items и Feeds в Scrapy
Pipelines, сохранение в базу данных
Финальный проект спринта: асинхронный парсер PEP
Бонус. Selenium
Selenium