- Регистрация
- 24.09.2021
- Сообщения
- 38 365
Скрапинг вакансий с открытых источников по заданным параметрам. Сохранение, рассылка и отображение этих вакансий. Чему вы научитесь Научитесь анализировать сайты для их дальнейшего скрапинга, а также создавать простые приложения на Django Что входит в курс? 21,5 часа видео Материалы курса 70 лекций - 21:41:59 – Введение - 13:25 Введение - 02:10 Инструменты и библиотеки, которые будут использоваться в проекте - 05:07 Виртуальное окружение. Что это такое и зачем оно нужно - 06:08 – Скрапинг данных с сайтов - 03:26:30 Сбор данных с сайтов ( скрапинг). Две разные категории сайтов для скрапинга - 13:00 Скрапинг данных с помощью requests и beautifulsoup - 11:28 Анализ страницы сайта work.ua . Как и какие данные можно получить - 09:58 Сбор данных по одной вакансии - 21:46 Анализ пагинации для получения ссылок на другие страницы с вакансиями - 30:30 Получения данных со всех страниц с вакансиями по выбранной категории - 18:24 Анализ сайта djinni.co - 24:40 Сбор данных со второй страницы сайта djinni.co - 11:27 Скрапинг страницы сайта dou.ua - 21:02 Скрапинг страницы сайта rabota.ua - 24:21 Скрапинг данных со второй страницы с вакансиями на rabota.ua - 19:54 Продолжение описания – Django - 07:56:43 Установка Django - 22:31 Как Django работает изнутри. Подключаем html-страницу - 15:17 Создание первой модели в Django - 20:33 Создание модели для сохранения данных по вакансиям - 24:55 Создание модели для специальностей. Что такое shell? - 19:35 Создание функции по интеграции функции скрапинга и сохранению данных в БД - 21:53 Продолжение по функции для сохранения данных в БД - 17:46 Финализируем функцию по сохранению данных - 06:03 Добавление остальных функций по скрапингу. Обработка исключений - 19:17 Расширение функционала. Добавление возможности поиска по другим параметрам - 20:06 Автоматизация получения входных данных для скрапинга - 23:09 Bootstrap. Немного сведений об этом фреймворке - 20:12 Шаблонные тэги в Django — block и extends - 23:36 Отображение данных из БД на странице - 14:24 Добавление логики в функцию отображения данных - 08:56 Формы. Создание формы с выбором города\специальности для сортировки отображения - 31:55 Создание нового приложения для подписчиков - 25:25 Форма регистрации и добавление нового пользователя - 34:30 Функция добавления нового пользователя - 23:00 Форма авторизации пользователя - 21:54 Функция входа и форма для редактирования данных пользователя - 21:11 Функция редактирования данных пользователя - 24:34 Создание адресов и страниц для входа и редактирования - 16:01 – PostgreSQL - 02:53:44 Установка PostgreSQL - 11:06 Миграции, новый суперюзер, загрузка данных в новую БД - 06:06 psycopg2 модуль по работе с БД PostgreSQL. Скрипт по работе БД - 26:28 Скрипт по работе с БД. Словарь с городами и специальностями - 13:38 Скрипт по работе с БД. Словарь с сайтами и урлами для скрапинга - 21:35 Скрипт по работе с БД. Получение данных по результату работы скрапинга сайтов - 21:34 Скрипт по работе с БД. Запись данных в БД. Удаление старых записей из БД - 26:54 Работа с моделаями вне Django-проекта - 23:22 Финализируем скрипт по работе с моделаями вне Django-проекта - 23:01 – Отправка писем - 47:10 Отправка писем подписчикам - 26:59 Финализируем функцию по отправке писем подписчикам - 18:24 Верификация e-mail адреса для сервиса MailGun - 01:47 – Улучшения внешнего вида и функционала - 01:36:03 Создание стартовой страницы — адрес, функция, шаблон - 19:26 Небольшие изменения для лучшего отображения страницы - 18:42 Форма обратной связи - 27:18 Отправка писем админу по отсутствующим урлам для пар город-специальность - 30:37 – Heroku - 01:54:47 Подготавка файла с настройками - 15:19 Устанавка необходимых библиотек - 20:14 Деплой проекта - 22:39 Создание необходимых переменных окружения - 24:49 Запуск проекта - 19:55 Выполнение функций по расписанию - 08:00 Создание проекта с помощью CLI - 03:51 – Улучшаем функционал сервиса - 02:52:10 Редактирование внешнего вида страниц сайта - 19:56 Переход с Django 1.11 на Django 2. Что нужно сделать? - 25:32 Логирование ошибок. Создание модели - 22:05 Логирование ошибок. Изменения в логике работы функций - 34:19 Логирование ошибок. Отправка писем администратору - 19:53 Логирование ошибок. Отправка писем администратору, дополнение - 05:30 Страницы ошибок 400.html, 404.html, 500.html - 08:21 Дополнения и изменения - 33:42 Решение с многократной отправкой писем - 02:52 – Финал - 01:27 Финал - 01:27 Требования Базовые знания Python и html Описание Django - бесплатный и свободно распространяемый фреймворк для веб-приложений, написанный на Python. Каждый раз при разработке веб-сайтов требуются похожие компоненты: способ аутентифицировать пользователей (вход, выход, регистрация), панель управления сайтом, формы, инструменты для загрузки файлов и т.д. И чтобы это все не повторять, был создан Django. Django отлично работает в сочетании с любыми библиотеками, инструментами и скриптами, написанными на Python. Шаг за шагом, Вы пройдете весь процесс по построению сервиса, который собирает вакансии с сайтов по поиску работы и рассылает их своим подписчикам. Вы узнаете, каким образом скрапить данные с сайтов , как их сохранять в БД, как создать веб-приложение на основе Django и многое другое. А после того, как приложение уже будет готово, Вы узнаете, как его можно разместить в интернете так, чтобы оно было доступно для всех. Основная целевая аудитория курса - студенты, желающие получить знания по скрапингу данных и по Django, а также разработчики, которые уже знают Python и хотят побольше узнать о веб- разработке и скрапингу. Некоторые темы курса: ·Virtualenv – зачем нужно и как его использовать ·Парсинг сайтов с использованием библиотек requests и Beautifulsoup ·База данных PostgreSQL и работа с ней используя модуль psycopg2 ·Создание приложения на основе Django ·Оформление сайта с помощью Bootstrap 4 ·Деплой приложения на сервис Heroku ·и многое другое! Какова целевая аудитория? Для начинающих разработчиков на Python, кому интересно как парсить сайты и сохранять данные скрапинга в Django О преподавателе Oleg Novikov Python\Django Developer Здравствуйте! Меня зовут Новиков Олег. Занимаюсь тем, что пишу приложения на Python\ Django и преподаю курс по основам программирования на Python в офлайн. Когда то, я сам обучался программированию и все что с ним могло быть связано, а теперь я готов поделиться полученными знаниями с Вами. И это очень здорово, когда ты делишься тем, что знаешь сам! Я не знаю всё, да и это невозможно, поэтому постоянно изучаю какие-то новые технологии. И мой Вам совет – делайте тоже самое! Читайте, изучайте, пишите код! Чем больше Вы применяете полученные знания на практике, тем лучше они усваиваются! Если у Вас будут возникать вопросы - пишите, я обязательно отвечу на них! 
|
