Вводная лекция. Работа с данными
Разберемся, какие типы данных бывают и почему они важны для проекта. Узнаем, где можно брать данные, как внутри вашего проекта, так и за его пределами (какие источники данных существуют.) Рассмотрим, какие виды Data Science существуют. Сравним позиции Data Engineer и Data Analyst и узнаем их основные отличия, а также где заканчивается их зона ответственности и начинается работа менеджера. Проведем воркшоп по подготовке данных для тренировки модели на примере e-commerce.
Написание SQL запросов
Изучим основные артефакты данных: базы данных, таблицы, аттрибуты. Поговорим про Big Data и какую пользу из этого извлекают. Рассмотрим, когда использовать SQL, а когда отдать предпочтение NoSQL. Попрактикуемся в написании базовых запросов:
✓ Учимся создавать выборки данных (SELECT)
✓ Соединяем таблицы (JOIN)
✓ Собираем данные (AGGREGATIONS)
Выбор правильного подхода в DS
Рассмотрим, какие типы обучения существуют и научимся выбирать правильный под конкретную задачу. Узнаем, какие задачи можно решить при помощи DS\ML и что нужно для начала внедрения технологии у себя в проекте, разобрав:
✓ как определить проблему для решения;
✓ как сформировать гипотезу роста;
✓ как оценить влияние гипотезы на продукт;
✓ какие бизнес ресурсы нужны для начала работы над гипотезой.
Построение модели
Разберем типичную архитектуру DS\ ML проекта. Построим модель своими руками, чтобы понять, как создать MVP вашего Data Science проекта. Научимся оценивать результат работы модели. Разберемся, какие критерии качества модели существуют и на что должен смотреть менеджер, чтобы проверить итоги работы Machine Learning команды. Проведем воркшоп по определению ML модели для четырех типов задач:
✓ ценообразование
✓ классификация отзывов
✓ распознавание изображения
✓ построение чат-бота
Используем игровые практики, чтобы доказать, что практически любую задачу можно улучшить, используя ML модель.
Построение Machine Learning команды внутри компании
Узнаем, как построить Machine Learning команду и кого надо нанимать для создание MVP вашего проекта. Разберемся с зонами ответственности на этапе MVP и при полном цикле разработки. Пошагово определим, как внедрять Data Science в вашем проекте или продукте. Рассмотрим Agile практики по управлению DS/ML проектами и чем они отличаются от традиционной разработки.
Data Science для расчета LTV
Обсудим понятие статистической значимости, и сделаем прогноз LTV с помощью статистических методов. Разберем, когда этого недостаточно и когда стоит применить Data Science:
✓ сделаем аналогичный прогноз LTV с помощью DS методов
✓ проанализируем нюансы предсказания оттока клиентов (churn)
✓ научимся принимать решения на основе прогнозов с помощью churn моделей.
✓ на примерах объясним, как сегментирование клиентов вместе с предсказанием LTV и оттока клиентов может помочь в оптимизации бизнеса.
NLP для оптимизации Support команды
Обсудим, как при помощи методов обработки естественного языка и active learning оптимизировать работу отдела поддержки клиентов. Разберемся, как внедрить их у себя в проекте. Применим несколько алгоритмов, которые помогут в определении тем и обработки комментариев. Рассмотрим, когда лучше использовать алгоритмы обучения без учителя.
Визуализация данных
Поговорим о том, когда вам может понадобиться визуализация данных. Рассмотрим основные инструменты для визуализации:
✓ Excel
✓ Tableau
✓ PowerBI
✓ QlikView
✓ Pentaho
✓ Birst
Разберем лучшие практики и паттерны анализа и визуализации данных. Используем обговоренные знания на практическом кейсе.
Workshop “Визуализация данных с помощью Power BI”
Рассмотрим применение инструмента Power BI на практическом кейсе:
✓ Соединяем источники
✓ Создаем диаграммы
✓ Используем фильтры и агрегацию
✓ Настраиваем dashboards
✓ Разбираемся с delivery и экспортом
Внедрение NLP в компанию
Рассмотрим стандартный NLP pipeline, затем поставленную бизнес задачу и процесс внедрения конкретного решения, включая выбор компонентов, разметку данных для тренинга, тренинг DNN, использованные метрики, интеграцию решения технической с инфраструктурой бизнеса. Разберем кейс на конкретном примере.