Як виміряти ризик за допомогою кращого ОКР.

Я став великим прихильником об'єктивних і ключових результатів (OKR) в компаніях, які сприймають їх серйозно. Я опишу обґрунтований метод, який відповідає ОКР та вимірює зменшення (або збільшення) вибраного ризику. Це сповістить про рішення команди зменшити або збільшити інженерні зусилля, щоб зменшити цей ризик вперед.

Цей метод схожий на те, як метеоролог прогнозує погоду.

Для глибоких занурень в ОКР ви можете прочитати це, переглянути його чи прочитати це.

OKR - це простий спосіб висловити мотиваційну мету і взяти на себе короткий список вимірюваних результатів, які підштовхують групу до цієї мети. Вони іноді каскадують від керівництва до всіх працівників. OKR - це звичайна практика серед технологічних компаній та багатьох команд із безпеки, з якими я працюю.

Візьмемо, наприклад:

Мета: Підвищити автентифікацію з ноутбуків розробників у виробництво.

Ця мета непогана, але багато можливостей вимірювання ризику пропущено.

Ми зменшимо рідкісний, вражаючий ризик методом, який можна оцінити кількісно.

Такі типи ризиків зазвичай важко виміряти.

Історичні дані (ніколи не бували) погано інформують про наше майбутнє (чи могло це статися?).

За допомогою методів прогнозування та оцінки ми можемо виміряти, наскільки ймовірним може бути майбутній сценарій, навіть якщо нам не вистачало історичних даних для цього сценарію в минулому. Ми використовуємо "невизначеність" групи як проксі для ризику і будемо вимірювати її. Ми будемо керувати когнітивними упередженнями, пов'язаними з прогнозами.

МЕТА: Напишіть ціль із «сценарієм ризику».

Ваша мета - зменшити ризик, який виражається в сценарії.

Нижче описана раніше мета, яка була написана для зменшення ризику. Це написано з деякими можливостями для вдосконалення:

Мета: Підвищити автентифікацію з ноутбуків розробників у виробництво.

Це не обов'язково є поганою метою, хоча її можна вдосконалити, переписавши її як сценарій.

Мета: Знизити ризик "Противник отримав доступ до виробництва з ноутбука розробника в третьому кварталі".

Вони здаються схожими, правда?

  • Основна різниця полягає в тому, що сценарій є імовірнісним. Імовірні фрази можна прогнозувати проти. Прогнозування добре досліджене, загальнозрозуміле (наприклад: погода), кількісне та вимірює вашу невизначеність.

Невпевненість - це та річ у вашому мозку, яка змушує вас знизати плечима варіанти або відчути сильну думку щодо одного з них. Як виявляється, невизначеність групи можна виміряти прямолінійно. Ми зробимо невизначеність експертів проксі для нашої цілі вимірювання.

  • Незначна різниця полягає в тому, що сценарій винагороджує творчість інженера.

Наприклад, чи зменшує кількість розробників, які вимагають виробничих даних, покращувати автентифікацію? Ні, це трохи досягає. Але це зменшило б ризик, і ключовий результат більш сумісний із зміненою метою. Це було кращою метою, тому, можливо, наші ключові результати будуть кращими.

Мета "сценарію ризику" не передбачає рішення. Це просто встановлює чистий прогноз. Сценарій може зробити кращу роботу, визначаючи ризик як майбутню подію, яку слід уникати.

Хороший прогнозований сценарій передбачає продуману суміш загрози, вектора, активу чи впливу. Ви можете творчо визначитися з конкретною сферою чи ризиком, додавши специфіку, що звужує або розширює. Прогноз повинен визначати конкретні часові рамки.

КЛЮЧОВІ РЕЗУЛЬТАТИ: Виберіть основні етапи чи показники та виконайте прогноз.

По-перше, легкі речі. Основні результати повинні бути вимірними. У перші дні Google Маріса Мейєр сказала:

"Це не ключовий результат, якщо він не має числа".

Однією простою формою вимірювання є двійкові досягнення: 1 для зробленого, 0 якщо не зроблено. Наприклад: "Ми додали бізнес-додаток XYZ до нашої платформи Single Sign On". Якщо ви це зробили, ви отримуєте "1"!

Інший - вибрати кількісні показники, такі як "виправити помилки X" або "зменшити X випадків" або "найняти N інженерів". Вони необхідні, загальні та представляють цілі проекту та оперативні показники. Ви, мабуть, звикли до цього. Вони також можуть дати хороші ключові результати.

Однак вони насправді не вимірюють зниження ризику, пов'язаного з нашим сценарієм. Скоріше, вони є відстаючим показником виконаних робіт. Ця робота створила цінність для зменшення ризику, але ви ще не оцінили зниження ризику. Ви просто припускаєте, що ризик зменшується завдяки вашим зусиллям.

Але на скільки? Що робити, якщо воно насправді збільшилось?

Порівнювання показника безпеки та вимірювання визначеності

Традиційні показники безпеки дуже корисні за своєю інформативністю. Вони інформують нашу невпевненість у відношенні до ризику, але не представляють імовірнісного характеру ризику і часто не виражають масової непевності, яку ми можемо мати щодо конкретного сценарію.

Наприклад, я вважаю, що історичний підрахунок вразливих ситуацій або частота регресій безпосередньо не виражає ризик, але це, безумовно, допомагає повідомити про мою невпевненість щодо того, чи виникне пов'язаний сценарій чи ні в результаті цих даних.

Це тому, що значення, яке ми присвоюємо окремій метриці, знаходиться в постійному потоці.

Будь-який конкретний показник може бути моєю найбільш інформативною точкою даних… до тих пір, поки щось не замінить його. Моє переконання зневажило колишні дані одразу після того, як почути нову інформацію, яка кричить "о, лайно" перед обличчям старих даних, або будь-яку тендітну модель, яку ми намагалися створити для цього.

Тепер перейдемо до "важкої частини". Давайте зробимо це ОКР.

Це насправді дуже просто, коли ти розвісиш його.

Приклад OKR, призначений для вимірювання:

Як уже згадувалося, ми збираємося побудувати цю ОКР, щоб вона була сумісною для вимірювання ризиків із методами прогнозування та оцінки.

Ось приклад OKR для невеликої команди з безпеки AWS:

Мета:

Зменшіть ймовірність того, що "Вхідний обліковий запис AWS був підданий громадськості у ІІІ кварталі".

Основні результати:

  1. Коміти, в яких згадується AWS_SECRET_KEY, відображаються в режимі #security.
  2. Трубопровід фотозбереження буде переміщений до ролі AWS.
  3. Повний трубопровід сигналізації про мавп у напрямку виявлення в режимі виклику.
  4. Завершіть прогноз до та після, і CloudTrail полювати.

Перші ключові результати (1–3) не потребують обговорення. Це лише запущені млини роботи, і ви можете вибрати все, що завгодно. Останній ключовий результат (№4) - це те, на чому ми будемо зосереджені на подальшому розвитку.

Для вимірювання цього сценарію ризику ми будемо використовувати панель прогнозів. Це посилить нашу здатність оцінювати базовий сценарій ризику ОКР імовірнісним чином.

1. Перед тим, як розпочати роботу: "базовий" прогноз.

Припустимо, що це ОКР для третього кварталу року. На початку червня кілька різноманітних та навчених людей, знайомих з ОКР, прогнозують ймовірність того, що сценарій відбуватиметься в імовірнісному вираженні (Процентна віра).

Наші учасники - Мавпа (), Єдиноріг (), Корова () та Пінгвін (). Ми їх коротко відкалібруємо, щоб мислити у вірогідних умовах (онлайн-навчання). Вони мають доступ до будь-яких метрик, моделей, посмертних робіт, аудиту консультантів або інфраструктурних діаграм, які є в наявності. Це все корисно і повідомляє їх прогноз.

Наведений вище прогноз на 78% впевнений, що полювання на CloudTrail не виявить жодних випадків. Існує впевненість у 14%, що інцидент може бути виявлена, і 6% впевненість, що ми зіткнемося з великими проблемами.

Тепер подумайте, що відповідь 33% з панелі для кожної категорії вказувала б на повну невизначеність, як ніби вони буквально не мають інформації чи думки. Сценарій, наприклад, міг бути написаний іншою мовою. Тут не так, учасники не вірять, що кожен варіант є рівним іншому. Вони вважають, що з огляду на навколишнє середовище та можливі загрози дуже ймовірно, що жоден інцидент не відбудеться.

Таким чином, ця комісія висловлює думку з імовірнісним вираженням, що, швидше за все, не буде інциденту в тій часовій рамці. Але про інцидент, що розкривається, зовсім не йдеться. Це трапляється в багатьох інших компаніях. Вони повинні вірити, що існує невелика ймовірність того, що це може статися.

Насправді панеліст (Мавпа ) здається більш певним, що щось знайдеться.

Це нормально, що Мавпа має різні думки від групи. Ми обговоримо це пізніше - комісія не потребує згоди!

2. Тепер робіть свою роботу, робіть прогрес, як завжди.

Середина чверті фокусується на досягненні ваших цілей, як зазвичай. Просто робіть роботу.

Як зазначено в наших цілях, команда розробляє сповіщення, рефактор програми для використання AWS ролей та розгортає мавпу безпеки. Сподіваємось, вони добре і закінчують усі!

Цей метод не впливає на щоденну роботу, яку ви виконуєте. Це просто спрямовує роботу до вимірюваного результату. Нападайте на ризик, проте, як правило,.

3. EOQ. Ми прогресували! Тепер ми порівнюємо з базовою лінією.

Ми взяли на себе зобов’язання робити дві речі в кінці кварталу.

По-перше, ми докладаємо зусиль для полювання на журнали CloudTrail з уважною ознайомленням і бачимо, чи зможемо ми усунути будь-які випадки P0 з наших слідчих зусиль.

По-друге, панель повторно вимірює, за винятком нашої невизначеності на наступний квартал (Q4).

Наша панель озброєна новими знаннями. Прогрес цього кварталу та результат полювання на CloudTrail сильно змінили нашу думку щодо цього сценарію.

Припустимо, що команді вдалося досягти інших ключових результатів, і оцінка порушення повернулася чистою.

Ми прогнозуємо ще раз. Ось результати.

Тепер ми можемо спостерігати, наскільки впевненість здобула чи втратила панель, спираючись на їх зусилля. У цьому прикладі наші переконання просувалися ще більше до певності (від 33%). Чи вплинула наша робота на впевненість нашої панелі? Ця панель так вважає.

У цьому випадку ми покращили свою впевненість щодо цього ризику. Ми маємо кількісне поліпшення на 5% у правильному напрямку.

4. Прийміть рішення керівництва, керуючись даними.

Тепер ви озброєні для ефективного прийняття рішень.

Здається, це прогнозує порушення в одному з кожні десять кварталів.

  • Це досить добре?
  • Ми хочемо це вдосконалити далі чи ми несемо інші ризики?
  • Який наш прийнятний поріг?
  • Яка кількість зусиль і ресурсів нам потрібна, щоб перевершити її?

Чому такий підхід?

Люди побудовані для обробки різних джерел інформації та швидко засвоюють нову інформацію для прийняття рішень.

Протягом кварталу ми, безсумнівно, отримуватимемо інформацію, яка змінює рівень нашої впевненості щодо обраних нами ризиків.

Ця інформація надходить з багатьох місць: сама робота в роботі, тенденції в галузі, порушення, можливо, повідомлення про вразливість в інших областях інфраструктури, наші власні дослідження експлуатації, твіт про розкриття бомби та ін.

Однак наша довіра до цих джерел інформації є динамічною. Ми не можемо залежати від окремих статичних показників, які представляють наш ризик, оскільки значення їх прийняття рішення швидко змінюється. Ми могли б використовувати свою власну визначеність як проксі для цих ризиків, які, як відомо, є вимірюваними, широко досліджуваними, із посиленням настанов щодо вдосконалення методів прогнозування як інструменту вимірювання.

Насправді, виявлення експертів є важливим фактором в оцінці ймовірнісних ризиків в інших галузях, таких як ядерна, аерокосмічна та екологічна.

Вона не нова, просто нова для нас.

Ізоляція від ризиків упередженості.

Прогнозування небезпечно, коли до нього не підходять суворо. Когнітивний ухил добре вивчений, і ці висновки потрібно часто повторювати. Існують різні пом'якшення ризиків поганого прогнозування.

Дослідження захищають, що прогнозування можна покращити, коли:

  1. Учасники дискусії навчаються думати ймовірнісно і про упередженість.
  2. Учасники групи працюють разом, щоб поєднати та згладити вплив упередженості. Різноманітність в перспективі є ключовим!
  3. Учасники дискусії неодноразово стикаються з результатами своїх прогнозів (Калібрування). (Інтернет-навчання, відкрите гарне судження, калібрування впевненості)
  4. Учасникам форуму пропонується розкласти сценарій на більш деталізовані частини та їм надається прозорий доступ до наявних даних, необхідних для їх розуміння.
  5. Тверде розуміння справжнього «Чорного лебедя». Вони обманюють синоптиків.
  6. Не намагайтеся прогнозувати та зменшувати кожен ризик, будьте готові до неминучої невдачі.
  7. Зніміть підвищення рівня заробітної плати та зарплати від результатів OKR та прогнозування, щоб уникнути випадання піску, що вже є проблемою в управлінні роботою працівників.

Просто попросивши учасників форуму прогнозувати «швидко подумай!», Безумовно, дасть погані результати. Суворий підхід має більш високу вартість вимірювання (зустрічей), але набагато простіше, ніж методи з негарними таблицями матриць ризику.

Але ... я завжди "припускаю порушення", тому це не працює!

Цілком справедливо вважати, що ви порушили. Я б дав будь-якій організації дуже високу ймовірність (99%), що десь, з будь-якою сутністю, є якась змагальна діяльність у системі, якою вони володіють. Саме це для мене означає "припустити порушення".

Однак вважати, що кожен супротивник у будь-який момент порушує кожен компонент кожної системи. Раціональні люди, навіть стропальники FUD, не йдуть так глибоко.

Глибоко песимістичний розум, який є раціональним, все ще залишає місце для сумнівів, більш-менш інших. Якщо ви вірите в те, що зусилля людей покращать ризики, тоді ви можете виміряти зменшення невизначеності у ймовірнісних показниках. Песиміст, звичайно, не вірить, наприклад, що їхня робота погіршує ситуацію.

Коротше кажучи, навіть песимістичну базову лінію можна покращити, а наявність песимістів у групі насправді - дуже-дуже хороша річ.

Майбутнє оцінки та прогнозування ризиків

Протягом багатьох кварталів ми можемо ще більше посилити ймовірнісний метод. Ми можемо запровадити червоні команди, показники Brier та вибіркові відбори галузі, щоб керувати нашими прогнозами. Ми можемо домовитися про значення даних і спостерігати, як вони коливаються. Ми можемо “Chatham House” або анонімізувати прогнози, щоб поділитися з колегами з рівних служб безпеки.

Ми можемо подати результати прогнозу в симуляції в Монте-Карло, дозволяючи нам отримувати уроки та досвід з НАСА, ядерного ліцензування та інших сфер, далеких за кібербезпеку в розумінні екстремальних ризиків.

Є багато можливостей для організацій застосувати практику прогнозування ризиків. Величезна енергія не потрібна для отримання хороших результатів. Починаючи з невеликих, таких як OKR на основі ризику, можна наочно знизити ризик для вашої організації та поставити вашу організацію на шлях до кількісного ризику.

Висновок

OKR - це звичайний спосіб керівництва інженерною командою. Створення ОКР, сумісних із методами оцінки та прогнозування, може дати нам змогу краще оцінити прогрес у зменшенні ризику.

Ці методи не заважають команді "як" виконувати свою роботу, вона просто вимірює "наскільки" може змінюватися в результаті. Якщо у вас зараз немає методу вимірювання ризику, то будь-який кількісний метод повинен стати кращим за те, що у вас є. Ця стратегія має мінімальний вплив на інженерну практику, одночасно пристосовуючи колектив до вимірюваної швидкості зниження ризику.

Подальше читання

Прогнозування ризику: презентація високого рівня щодо цього методу.

Простий аналіз ризику: глибоке занурення щодо прогнозування ризику.

Вбивство маленької курки: вивчення обмежень та можливостей прогнозування ризиків.

Декомпозиція ризику безпеки в сценарії: розбиття ризиків на ієрархію сценаріїв, від широких до більш детальних сценаріїв.

Мислення швидко і повільно: Нобелівські призові дослідження людських помилок пізнання, переважно у формах упередженості.

Суперпрогноз: Дослідження того, як помилки пізнання можуть бути пом’якшені та озброєні в ефективні команди прогнозування.

Як виміряти все, що стосується ризику кібербезпеки: чудове джерело на захист прогнозування як методу вимірювання. Сильна дискусія, яка сприяє ролі вимірювання у прийнятті рішень.

Ryan McGeehan пише про безпеку на Medium.