«Маю досвід ведення AI-проєктів», – ми стоїмо у точці часового променя, коли ця фраза зустрічається тільки в одному резюме проєктних менеджерів зі ста. Однак чим швидше розвивається штучний інтелект, тим більше запитів на створення ШІ-рішень генерується.
За підрахунками GitHub, тільки у 2024 році розробники на платформі створили понад 70 тисяч відкритих проєктів у сфері Generative AI (генеративний ШІ). І це число дійсно вразить тебе за секунду – кількісна різниця в публічних AI-проєктах між 2023 та 2024 складає 98%!
Project Manager у цьому вирі технологічного розвитку не має стояти осторонь. AI (Artificial Intelligence) в роботі PM-а – не лише набір інструментів. Це новий підхід до роботи, до виставлення термінів, формування очікувань, побудови команди, презентації результатів тощо. Якщо PM буде ігнорувати всі ці відмінності, то неодмінно поповнить свій архів низкою невдалих проєктів. Сценарій так собі, правда?
У цій статті CHI IT Academy допоможе дізнатися, які особливості має AI-проєкт, чим він відрізняється від типового ІТ-проєкту та як проєктному менеджеру готуватися до роботи з ШІ-рішеннями.
Чим AI-продукт відрізняється від не AI
Щоб успішно вести ШІ-проєкти, менеджеру необхідно завчити – AI не дорівнює ІТ.
AI-проєкт або проєкт штучного інтелекту – це процес, головним завданням якого є створення або інтеграція технологій штучного інтелекту для розв’язання конкретних бізнес-завдань: оптимізація, автоматизація, прогноз, класифікація тощо.
Чатботи на сайтах, ШІ-асистенти в застосунках, AI-агенти, детектори зображень та алгоритми реклами, яка пропонується вам в соцмережах – кожен з цих пунктів є результатом роботи AI-команди. З переліку зрозуміло, що проєкти штучного інтелекту не завжди можна оцінити візуально. Більшість AI-рішень мають у фіналі складний набір обчислень та символів у вигляді коду, що звуться моделлю штучного інтелекту.
ІТ-проєкт не знаходиться на протилежному боці рингу, адже є ширшим поняттям, що охоплює в тому числі й AI-проєкти. Однак у цій статті для того, щоб зрозуміти, чим AI відрізняється від не AI, ми вдалися до порівняння з типовими ІТ-проєктами – тими, з якими стикався чи не кожен PM до розповсюдження ШІ. Тож протягом традиційного ІТ-проєкту команди створюють вебсайти, мобільні застосунки, інформаційні системи, бази даних, хмарні сервіси, програми для кібербезпеки або ж технічно підтримують готові рішення, оновлюють їх.
AI-проєкт має прогнозований, але невизначений до кінця результат. Тоді як традиційний ІТ-проєкт продукує чітко визначений кінцевий продукт.
Відмінність у даних
Дані – ґрунт, на якому будується будь-який ШІ-проєкт.
Візьмемо такий приклад:
ШІ-команді поставили завдання розробити чатбот для сайту магазину музичних інструментів. Чатбот має швидко відповідати на запитання про магазин, ціни та наявність товару на складі. А тепер дуже очевидне, але важливе зауваження – якби замість чатбота на сайті сиділа жива людина, їй для виконання своїх обов’язків потрібно було б вивчити всю інформацію про магазин та товари й навчитися швидко її знаходити в пам’яті. Чатбот – не виняток. Йому також потрібно навчитися.
Для цього алгоритму необхідні дані: історія компанії, адреса магазину, контактна інформація, асортимент музичних інструментів та послуг, описи товарів і ще купа різних пунктів, залежно від того, чого ми хочемо навчити модель. Зібрати їх в купу і нехай алгоритм навчається? Ні. Дані потрібно очистити від дублів, помилок, конфіденційної інформації, анотувати (розмітити) фрази за категоріями, розширити вибірку за потреби. І тільки після того, як надійний та репрезентативний датасет зібрано, можна рушити до навчання ШІ-моделі.
Цікавий факт: за досвідом компанії CHI Software, час на підготовку даних для навчання моделі може займати від 70% до 90% часу на весь проєкт
Традиційні ІТ-проєкти не так залежать від якісного датасету, як від фіксованих алгоритмів, логіки та технологій, обраних для побудови системи, сайту, застосунку.
Відмінність у термінах проєкту
Змусити систему штучного інтелекту працювати на бізнес не так-то й просто. Навчання ШІ-моделі більш схоже на дослідницьку місію, ніж на типовий проєкт з розробки програмного забезпечення, тож і рівень невизначеності вище, і терміни виконання можуть бути нечіткими. Немає гарантій, що команді в зазначені строки вдасться досягти задовільної якості ШІ-моделі.
Бува таке: дані розмічені наче ідеально, їхня кількість значна, однак модель під час тесту видає дуже багато галюцинацій – неправильних відповідей на запитання. У такому разі необхідно відійти назад та почати якийсь з етапів наново.
Це саме те, що слід враховувати проєктному менеджеру на етапі планування й встановлення термінів. І, авжеж, коректно доносити цю інформацію замовнику.
Відмінність в оцінці успіху
Якщо типовий ІТ-проєкт в оцінці результату спирається на функціональні вимоги замовника, то менеджеру ШІ-проєкту оцінити успішність моделі допоможуть метрики.
Метрики оцінки ШІ-моделі – це певні показники, які демонструють те, наскільки добре працює той чи інший алгоритм. Чи точна модель? Наскільки вона точна? Чи може ця модель узагальнювати інформацію? – на всі ці запитання допоможуть відповісти метрики.
Вибір метрики залежить від завдання, яке необхідно розв’язати за допомогою цієї моделі. Наприклад, повернемось до чатбота для магазину музичних інструментів. Нагадаємо – він має швидко відповідати на запитання про магазин, ціни та наявність товару на складі. Алгоритм класифікує запити користувачів за категоріями, скажімо: «інформація про товар», «наявність товару», «оформлення замовлення», «гарантія», «повернення».
Але що, якщо чатбот часто пропускає важливі питання про гарантію або, навпаки, помилково відносить інші запити до цієї категорії? Тут у гру вступають метрики точності (precision) та повноти (recall).
- Precision допоможе зрозуміти, скільки з передбачених ботом «гарантійних» запитів насправді є такими.
- Recall покаже, чи не пропускає бот запити, які дійсно стосуються гарантії.
- F1-score допоможе збалансувати ці дві метрики, щоб оцінити якість роботи моделі загалом.
.
Ці та інші метрики оцінки моделі ми вивчаємо протягом курсу AI Project Management (PM pro AI) від CHI IT Academy. Продивись програму за посиланням, там є на що звернути увагу перед веденням AI-проєктів.
Відмінність у команді
AI-проєкт потребує AI-фахівців. І мова зараз не про роботів 🤖
Залежно від бізнес-цілі й завдань, на проєкті необхідні спеціалісти різних гілок сфери штучного інтелекту. Якщо стоїть завдання розробити алгоритм для детекції котиків на зображенні, то команді необхідний інженер з комп’ютерного зору (CV Engineer). Для завдань зі створення моделей перекладу тексту, ключовою ланкою ШІ-команди буде спеціаліст з обробки природної мови (NLP Engineer). Навчити модель генерувати контент будь-якої форми зможе інженер з машинного навчання.
Команди на ШІ-проєкті можуть бути різноманітними й за функціональністю, і за кількістю. Не залишимо без уваги варіант, коли ШІ-рішення може зробити Software Engineer з навичками в ML та Data Science – і це також буде вважатися командою.
Частину типових для ШІ-проєкту ролей ми зібрали ось на цій інфографіці:
Усім цим оркестром спеціалістів управляє він – досвідчений проєктний менеджер, який має глибоке розуміння особливостей ШІ-проєкту.
Особливі обов’язки PM-а на проєкті штучного інтелекту
Специфіка проєктів штучного інтелекту накладає й специфічні обов’язки на роботу PM-а.
На проєктному менеджері лежить рішення – що важливо врахувати на проєкті, що підлягає реалізації та що врешті-решт будуємо. PM оцінює наявні ресурси й терміни, спілкуючись з відповідними фахівцями команди, ставить корисні запитання та на основі експертних думок виносить вердикт щодо проєкту.
Тож серед специфічних обов’язків проєктного менеджера на ШІ-проєкті ми виділили наступні:
- збирання й анотація даних: в рамках цього обов’язку PM-у необхідно забезпечити якість, різноманітність та релевантність датасету (згадайте, цей етап займає понад 70% часу на проєкті);
- планування перебігу проєкту та врахування його життєвого циклу: PM має знати, що ШІ-модель постійно оновлюється, тож для менеджменту таких операцій необхідно підібрати влучну методологію (CRISP-DM, DDS);
- впровадження етичних стандартів: контроль за тим, щоб модель не мала упереджень та відповідала нормам конфіденційності;
- робота з дослідницькими командами: PM має розбиратися в обов’язках та сфері відповідальності AI-спеціалістів, які працюють у невизначених умовах;
- роз’яснення складних аспектів проєкту замовникам: ШІ-проєкт – це айсберг: 90% роботи ШІ-команди приховано від очей бізнесу. Тож PM має перекладати результати роботи моделі у зрозумілий для стейкхолдерів формат.
Усі відмінності, які ми обговорили до цього моменту, наштовхують на думку про те, що AI-проєкт – це повноцінна науково-дослідна робота, в якій є місце постійним гіпотезам, тестам та експериментам.
Невизначеність у такому форматі уникнути навряд чи вдасться, а от навчитися керувати нею – цілком можливо. Це і є головним обов’язком AI Project Manager.