Шестьсот алармов в смену и ни одного настоящего
Меня попросили сделать отчёт о том, кто из операторов не квитирует сообщения вовремя. Отчёт я так и не сделал и считаю это лучшим результатом той недели.
Задача
Повод был такой: за смену в журнале событий 612 срабатываний, операторы квитируют их пачками по тридцать штук, не читая, и руководство участка хотело цифру - у кого задержка больше. Логика понятная: если человек не читает сообщения, когда-нибудь он не прочитает важное.
Я согласился с выводом и не согласился с направлением. Прежде чем мерить людей, имело смысл померить сам поток: шестьсот сообщений за восемь часов - это сообщение раз в 47 секунд. Человек, который читает каждое, не делает ничего другого.
Как мерил
Выгрузил журнал событий за 30 суток: 142 318 записей по 1 240 тегам, у которых вообще заведены уставки. Для каждого тега посчитал три величины: сколько раз он сработал, сколько длилось состояние «активно» по медиане и сколько переходов пришлось на один содержательный эпизод.
Третья величина и оказалась разделителем. Настоящий аларм живёт минутами: пока оператор идёт смотреть, состояние ещё активно. Дребезг живёт секундами - сигнал болтается вокруг границы, и каждый переход порождает запись.
| Канал | Срабатываний | Доля | Медиана, с | Что это на самом деле |
|---|---|---|---|---|
| Нагрузка привода дымососа | 38 410 | 27 % | 3 | уставка внутри рабочего диапазона |
| Уровень в приёмном зумпфе | 24 902 | 18 % | 5 | работа насоса по уровню, норма |
| Давление воздуха на горелке | 19 365 | 14 % | 2 | пульсация после редуктора |
| Расход воды на кристаллизатор | 11 044 | 8 % | 4 | уставка выставлена «на всякий случай» |
| Температура подшипника № 2 | 9 740 | 7 % | 6 | летний нагрев, уставка не пересмотрена |
| Остальные 1 229 каналов | 24 112 | 17 % | 212 | в том числе все настоящие события |
Что оказалось неправдой: износ и халатность
Ходовое объяснение звучало как «алармов много, потому что оборудование изношено». Оно неверно арифметически: 83 % записей дали одиннадцать каналов из 1 240, и ни один из этих одиннадцати не относился к неисправности. У всех одиннадцати граница срабатывания стояла внутри диапазона, в котором агрегат работает штатно.
И вторая неправда, уже про людей: операторы вели себя разумно. При медианной длительности 3 секунды сообщение гаснет раньше, чем человек дочитает строку. Квитирование пачкой - это не халатность, это единственная рабочая стратегия в такой системе.
Чем разделил
Взял три канала из таблицы и поставил задержку на включение 20 секунд. Гистерезис был бы честнее, но его нужно согласовывать с технологами, а задержку отображения - нет, и мне важно было получить ответ за неделю, а не за квартал.
Семь суток после правки: по этим трём каналам 9 740 записей превратились в 46. Ни одно настоящее событие не потерялось - я сверил по журналу ремонтов, оба зафиксированных за неделю случая остались в списке, потому что длились минуты.
Вывод
Шестьсот сообщений за смену - это не «много алармов». Это ноль алармов, вместо которых идёт шум, и красный цвет на экране перестаёт означать «подойди посмотри». Мерить надо не число срабатываний, а их длительность: она одна отделяет событие от болтанки вокруг границы.
А запрос «посчитай, кто виноват» почти всегда стоит сначала перевести в «посчитай, сколько работы мы создаём сами». В тот раз перевод сработал: через месяц технологи пересмотрели уставки на шести каналах, и отчёт про операторов больше никому не понадобился.