Статья написана по материалам лекции Дениса Грекова, Senior Data Analyst в Murka и спикера курса SQL Time.
В каждой второй вакансии бизнес-аналитика, продакт- или проджект-менеджера работа с SQL и базами данных — это, если не Must Have, то точно Nice To Have навык.
SQL — это база, на которую можно накладывать различные инструменты для визуализации, отчетов и другой обработки данных. Навык SQL позволяет менеджерам быстро получать информацию из БД, самостоятельно составлять отчеты и говорить «на одном языке» с бизнес-аналитиками и разработчиками.
В статье расскажем, какие преимущества дает понимание SQL продакту, проджекту и бизнес-аналитику, как анализировать информацию с помощью SQL и какие 3 запроса упростят работу с данными.
Что такое база данных и SQL
Structured Query Language (SQL) — это язык программирования, который используют для работы с базами данными.
База данных (БД) — некая структура для хранения информации (данных). Больше всего распространены реляционные базы данных, структура которых представлена в виде таблиц.
Например, у вас есть интернет-магазин, и данные о ценах, поставщиках, заказах хранятся в таблице. В таблице Prices находится информация о ценах, разновидностях и количестве товара. В другой таблице Avens — подробные данные о характеристиках товара. Это две разные таблицы, но они связанные между собой полем, которое будет общим для этих двух таблиц и называется ключом.
Таких таблиц может быть несколько — отдельно таблицы поставщиков, заказчиков, пользователей: столько, сколько нужно, чтобы модель данных работала правильно. Эти таблицы между собой связаны ключами. Все эти связанные ключами таблицы будут составлять одну базу данных.
Разобравшись с концепцией базы, переходим к понятию SQL.
Structured Query Language — это декларативный язык, который описывает поведение программы, а не прописывает ее действия, как например, HTML.
SQL — это набор команд, который позволяет:
- Редактировать базу данных, создавая, удаляя или изменяя таблицы (добавлять поля, задавать ключи, менять их местами, выгружать данные, обрабатывать их и анализировать).
- Получать необходимые данные из базы.
- Обрабатывать и агрегировать полученные данные.
Благодаря своей простоте и понятности, SQL уже более 20 лет остается самым мощным инструментом для работы с данными.
Почему навык работы с SQL встречается в каждой второй вакансии бизнес-аналитика, PM-a и продакта
Если посмотреть вакансии, увидим, что знание SQL — большое преимущество не только для ВА, а и для других нетехнических специальностей, в частности продакт- и проджект-менеджеров.
Инструмент позволяет быстро получить доступ к информации и использовать ее в дальнейшем. Конечно, все нужные данные можно найти в отчетах, но с помощью SQL, это занимает меньше времени.
Преимущества знания SQL:
- возможность быстро получать необходимую информацию;
- оценка качества данных, с которыми нужно работать;
- понимание модели хранения и анализ данных позволяет лучше разбираться в своем продукте;
- возможность рассчитывать метрики, визуализировать данные и принимать взвешенные решения на основе полученной информации;
- способность понимать подобные языки JQL (Jira), MDX (OLAP), DAX (Power BI, Excel).
На основе SQL построено много других языков, с которыми работают менеджеры. Знание инструмента позволяет более эффективно использовать эти языки и расширить свою экспертизу в работе с данными.
Для каких задач менеджер использует SQL и как он упрощает себе этим жизнь
Бизнес-аналитику SQL позволяет получить данные для анализа, описания решений и требований, спецификации и выявления требований.
Quality Assurance инженеру навык SQL необходим для тестирования базы данных, вставки, обновления и удаления значений тестовых данных в БД.
Для Product Analyst SQL — основной инструмент, которым он решает большинство задач. Его используют для изучения метрик, отслеживания результатов гипотез, аналитики, составления отчетов.
Продакт-менеджеры используют SQL для получения данных о конверсии, посещениях, среднем чеке, LTV. С помощью простых запросов можно узнать информацию о продажах за вчерашний день, среднюю величину покупки за неделю и т.д , а не искать эту информацию в отчетах.
Для продакт- и проджект-менеджеров понимание базы данных — это преимущество, которое облегчает общение с бизнес-аналитиками и разработчиками. Проджекты с помощью SQL собирают статистику, аналитику, информацию о пользователях, ведут отчеты.
Для решения 70% рабочих задач, нетехническим специалистам достаточно простых запросов в SQL. Например, информацию по количеству уникальных регистраций за период можно получить, прописав всего три строчки кода в SQL, то есть примерно 10 слов.
В других задачах, в частности, сбор статистики и рейтингов, нужно прописывать запросы посложнее, но в них также достаточно легко разобраться. Решением более сложных задач нетехнические специалисты обычно не занимаются.
Зачем менеджеру SQL, если можно все сделать в Excel
Excel подойдет, если менеджер использует небольшую таблицу, например 3х20, где нужно решать простые задачи: подсчитать среднее арифметическое, сделать сводную таблицу и т.д.
SQL имеет более широкий набор функций и позволяет сделать некоторые вещи проще и в разы быстрее, чем Excel.
Сравним возможности работы в SQL и Excel
| Excel | SQL |
| Возможны случайные изменения данных | Изменения данных только через команды INSERT, UPDATE, DELETE |
| Сложно воспроизвести шаги трансформации данных | Один текстовый запрос одинаково воспроизводит операции с данными |
| Сложно связывать таблицы | Данные таблиц легко связываются оператором JOIN |
| Медленно работает с большими объемами данных | Хорошо работает с огромными массивами данных |
| Возможны не все виды обработки данных или сложная имплементация | Широкие возможности обработки и трансформации данных |
Кто работал с большим объемом данных в Excel, знает, как таблица при перенагрузке «зависает». Кроме того Excel не поддерживает большие объемы данных и в целом имеет более ограниченные возможности, чем SQL.
Как анализировать данные с помощью SQL непосредственно в базах данных
В базах данных не нужно делать какие-то построения на листе, как в Excel. Аанализ осуществляется через клиент: систему управления базами данных (СУБД).
СУБД — это набор программ, с помощью которых можно управлять данными. Для разных баз данных используются свои СУБД и клиентские программы для доступа пользователей.
Несмотря на то, что базы данных объединены под одним названием реляционные БД, существует множество их видов. Общая структура клиентов одинаковая, но каждый из них имеет свои синтаксисы, поэтому могут быть отличия в операторах, деталях.
Отличия в синтаксисах особо не мешают работе, потому что данные не меняются от того, каким способом к ним обращаться — на выходе все равно получим таблицу из колонок и строк. Зная базовые принципы работы MySQL, можно перейти на любую другую СУБД.
Аналитика с помощью SQL, не выходя из базы данных
SQL — это клиент, с помощью которого можно подключиться к серверу. Вот пример простого запроса, который собирает данных из трех таблиц:
Синим цветом обозначены слова-операторы, а черным — поля таблицы. Математические знаки обозначают определенные действия.
Чтобы посчитать сумму вводим оператор SUM (amount), а чтобы узнать среднее значение — AVG (metric).
Если нужно узнать среднее количество поставщиков, используем оператор AVG. Можно добавить условие WHERE с фильтром «Испания» и тогда подсчитаем среднее количество поставщиков из Испании.
Расчет среднего значения можно использовать для определения одной из составляющих KPI проекта — средней величины платежа.
Кроме того, в SQL можно рассчитать минимальное и максимальное значение с помощью операторов MIN (metric) и MAX (metric). Например, получить информацию о минимальных и максимальных сроках поставки.
Также в SQL есть большой набор функций, позволяющих работать с датой.
Имея конкретную дату можно получить месяц, порядковый номер, дня, недели, года, десятилетия, и даже секунд. Если есть конкретное время платежа, можно сгруппировать платежи по минутам/часам/дням и т.д. Это все можно сделать одной командой EXTRACT.
Набор строковых функций в SQL гораздо шире, чем в Excel — это используется в аналитике для определения каких-то категорий, поиска значений в строках.
Представьте, что есть база данных игрового проекта, задача — найти все данные по устройствам, работающих на платформе IOS. В базе данных названия прописаны в разном виде: Ios / IOS/ iOS. Чтобы получить одну категорию, нужно воспользоваться оператором LOVER, который переводит все буквы в нижний регистр или UPPER для перевода в верхний.
Навык SQL позволяет менеджерам получить быстрый доступ к данным и дает возможность собирать аналитику без помощи других специалистов.
ТОП-3 SQL-запроса, которые сделают работу с данными в два раза эффективнее
Выполнение SQL-запроса состоит из четырех шагов: подключение к базе данных, получение ответа на подключение, написание запроса, получение данных.
Любой запрос в SQL строится по следующей схеме:
- прописываем, что нужно найти;
- указываем, откуда взять данные;
- уточняем условия, какие именно данные нужно взять.
Рассмотрим три основных SQL-запроса, которые сделают работу с данными проще и качественнее.
1. Простые, но эффективные запросы
Сначала разберем классическую форму правильного SQL-запроса. Зная эти команды, вы можете сказать, что знаете базу SQL.
Допустим, нужно получить данные из всех полей таблицы. Запрос будет прописан следующим образом:
SELECT *
FROM
table_name
Команда SELECT * FROM — это база SQL, запрос без этой команды не может существовать.
Чтобы выбрать какое-то определенное количество строк из таблицы, например, первые 10, используем другой запрос:
SELECT *
FROM
table_name LIMIT 10
Если нужно получить данные из 1 и 2 колонок таблицы, вводим запрос:
SELECT column1,
column2
FROM
table_name.
Также можно получить данные, добавив условие. Тогда SQL-запрос будет следующим:
SELECT *
FROM
table_name
WHERE conditional1, conditional2
Дальше перейдем к более сложным запросам SQL.
2. Фильтрация данных
В этом кейсе рассмотрим запросы с оператором-условием WHERE для фильтрации данных.
Например, в БД нужно найти всех клиентов из Испании и Польши с кредитным лимитом больше 60000. В запросе нужно добавить оператор WHERE с указанием стран и размера кредитного лимита.
SELECT *
FROM classicmodels.customers
WHERE (country = ‘Poland’ OR
country
= ‘Spain’)
and creditLimit > 60000
Другая задача: выбрать всех клиентов, в имени которых есть слово Gift. Чтобы получить данные, прописываем следующий запрос:
SELECT *
FROM classicmodels.customers
WHERE customerName LIKE ‘%Gifts%’
Здесь CustomerName LIKE — это выбор пользователей, у которых в названии будет нужное слово.
Знак % означает, что перед и после Gifts может быть любое количество других символов.
Использовать подобные SQL-запросы просто, если есть понимание, какие данные нужны. Имея в запасе набор операторов из 10 слов и добавив столько же аналитических функций, можно говорить о знании SQL на уровне middle бизнес-аналитика.
3. Использование аналитических функций
SQL позволяет делать любые расчеты: посчитать сумму, количество платежей, средний, минимальный и максимальный платеж. Это можно сделать следующими операторами:
SELECT
customerNumber, paymentDate,
SUM(amount) AS sum…
COUNT(amount) AS count…
AVG(amount) AS avg…
MIN(amount) AS min…
MAX(amount) AS max…
FRONT
payments
GROUP BY 1,2
ORDER BY sum… DESC
С помощью SQL можно проводить и более сложные расчеты: медианы, перцентили, накопительные и метрики с плавающими окнами и т.д.
Сегодня SQL занимает третье место в топе языков для работы с данными. Лидеры рейтинга, Python и R, решают часть задач быстрее и эффективнее, но на уровне большинства компаний нет ничего лучше и проще SQL. Он помогает быстро получить доступ к данным, отслеживать аналитику, составлять отчеты.
Как и любой другой навык, можно осваивать работу с инструментом самостоятельно, но если вы предпочитаете учиться быстро и системно — лучше сразу обращаться за наставничеством. Тем более, что для освоения инструмента достаточно 4 воркшопов. Приходите за практическими знаниями на курс SQL Time и прокачайте резюме новым скилом.