С проблемой недостаточного динамического диапазона сталкивался каждый, кто хоть раз фотографировал рассвет и закат. В реальности все выглядит замечательно, а на фото - одно из двух: либо вместо красивого неба - белое пятно, либо внизу сплошная чернота. Потребители систем видеонаблюдения уделяют большое внимание разрешению и чувствительности IP-камер, однако практика доказывает, что при наблюдении высококонтрастных объектов зачастую важнее получить расширенный динамический диапазон, чтобы улучшить качество изображения и детализацию. Почему же так актуально расширение динамического диапазона, и какие технологии при этом используются?
Динамический диапазон характеризует соотношение между максимальной и минимальной измеримой интенсивностью света (белым и черным, соответственно). В природе не существует абсолютно белого или черного - только различные уровни интенсивности источника света и отражательной способности наблюдаемых объектов. Концепция динамического диапазона зависит от того, описываете ли вы устройство формирования изображения/камеру, устройство отображения/монитор или глаз человека. Каждый из этих элементов имеет свой собственный динамический диапазон. Для IP-камеры динамический диапазон характеризует диапазон яркости, который она сможет показать на видеоизображении.
Динамический диапазон матрицы IP-камеры может быть определен как соотношение между максимальной (при насыщении пикселя) и минимальной (на уровне погрешности считывания) измеримой интенсивностью света. Падающий свет сохраняется каждым пикселем матрицы в, своего рода, ячейке. Размер каждой такой ячейки в сочетании с тем, как оценивается ее содержимое, определяет динамический диапазон IP-камеры. Каждый пиксель накапливает фотоны, подобно тому, как в ячейку можно насыпать песок. Если ячейка переполняется, то песок высыпается наружу. Переполненную ячейку/пиксель в этом случае называют насыщенной. Такой пиксель не способен распознать дальнейшее поступление фотонов, тем самым определяя уровень белого камеры. Для идеальной камеры ее контраст, в таком случае, определялся бы числом фотонов, которое может быть сохранено каждым из пикселей, поделенным на минимальную измеримую интенсивность света (один фотон). Если в таком «идеальном» пикселе может сохраниться 1000 фотонов, контрастность будет 1000:1. Поскольку ячейка большего размера может накопить больше фотонов, то у камер с большим размером матрицы динамический диапазон обычно шире при прочих равных условиях (в силу большего размера пикселя). Динамический диапазон ограничен наиболее темным тоном, для которого более невозможно различить текстуру, - его называют уровнем черного. Уровень черного ограничен тем, насколько точно можно измерить сигнал в каждом пикселе и, поэтому, ограничен снизу уровнем шума.
Рис. 1. Диапазон изменения освещенности
Динамический диапазон варьируется настолько широко, что его измеряют логарифмической шкалой, аналогично тому, как измеряются различные интенсивности звука или яркости звезд на небе. Например, в яркий солнечный день освещенность может достигать 100 000 лк, при этом внутри помещения она составляет 1000 лк, а в затененных участках в помещении - всего 10 лк. Если предположить, что наблюдаемые объекты имеют одинаковую отражательную способность, то отношение яркостей может составлять 1:10000. Допустим, что мы хотим иметь по меньшей мере 5 градаций серого для различения объектов с разной отражательной способностью в теневой области нашей контролируемой зоны. В этом случае для передачи изображения потребуется 50000 градаций серого, что в свою очередь потребует динамического диапазона матрицы 94 дБ (20.log10 (50000)). Динамический диапазон стандартной КМОП-матрицы составляет около 72 дБ, поэтому при использовании камеры с такой матрицей информация от слишком ярких и слишком темных участков изображения будет утеряна.
Для расширения динамического диапазона в настоящее время применяются технологии многокадровой и индивидуальной пиксельной экспозиции, а также программные алгоритмы повышения локальной контрастности и корректировки тона.
Суть технологии многокадровой экспозиции состоит в совмещении изображения из нескольких (двух и более) отдельно снятых кадров. При этом каждый кадр имеет индивидуальное время экспозиции. В процессе совмещения из самого светлого кадра берутся темные участки, а из относительно темного - светлые. Чем больше кадров используется для совмещения, тем (теоретически) лучше результат. Данная технология обычно обозначается как «True WDR». Поскольку для создания итогового изображения требуется сделать подряд несколько отдельных кадров, на видеоизображении могут возникать искажения при наблюдении быстро движущихся объектов.
Рис. 2. Технология многокадровой экспозиции
Принцип технологии с индивидуальной пиксельной экспозицией состоит в том, что для каждого пикселя в течение экспозиции кадра производится замер интенсивности освещения. После этого подбирается наилучшее время экспозиции для индивидуальных пикселей. Камеры с индивидуальной пиксельной экспозицией имеют сравнительно низкое разрешение и практически не применяются в настоящее время.
Даже самые качественные мониторы, используемые в системах видеонаблюдения, имеют ограниченный динамический диапазон. Поэтому они не способны отобразить полный диапазон изменения яркости, формируемый камерой с функцией WDR. Расширение динамического диапазона приводит к увеличению воспринимаемого камерой диапазона яркостей, но, вместе с тем, снижает контрастность изображения при его отображении на мониторе. Для восстановления контрастности используют различные алгоритмы повышения локальной контрастности и корректировки тона (tone mapping). Различают два варианта корректировки тона: глобальный и локальный. При глобальной корректировке тона все пиксели обрабатываются одинаково, что соответствует принципу гамма-коррекции, используемому в фотографии. В цифровой камере удвоение количества фотонов, попадающих на пиксель, означает удвоение сигнала, что соответствует линейной зависимости. Однако глаз человека устроен иначе. Для человека увеличение освещенности вдвое означает, что свет стал «немного ярче». Таким образом, зависимость оказывается нелинейной и ее нужно компенсировать с помощью гамма-коррекции. По сравнению с матрицами камер мы более чувствительны к небольшим изменениям темных оттенков и менее чувствительны к достаточно большим изменениям в ярких тонах. Для такой особенности есть свои биологические причины: это позволяет нашему зрению работать в более широком диапазоне освещенности. В противном случае типичный диапазон яркостей, с которым мы сталкиваемся на улице, был бы сложно воспринимаемым. Для восприятия глазом удвоенной интенсивности света его силу пришлось бы увеличить примерно в девять раз. Подобная нелинейность характерна практически для всех органов чувств человека, отвечающих за восприятие информации об окружающем нас мире (если бросить в чашку с чаем два куска сахара вместо одного, как обычно, вкус чая не станет слаще вдвое).
При локальной корректировке тона для каждого участка изображения решение об уровне яркости принимается отдельно в зависимости от яркости окружающих пикселей. Локальная корректировка тона обеспечивает значительное улучшение качества и контрастности видеоизображения.
Некоторые производители указывают для своих камер функцию цифрового расширения динамического диапазона (DWDR). Она состоит только в программном повышении локальной контрастности и корректировки тона. Функция DWDR в реальности не расширяет динамический диапазон изображения, а просто улучшает контрастность в слишком ярких и слишком темных областях.
Развитие технологии привело к тому, что технология True WDR стала доступной даже в экономичных сериях IP-камер. При указании технических характеристик производители указывают значение «ширины» динамического диапазона: 113, 120, 140 дБ и т. п. При измерении динамического диапазона не существует единых методик, поэтому данные цифры не могут быть использованы для объективного сравнения камерот различных фирм-производителей.
В заключение следует отметить, что многие производители IP-камер акцентируют внимание потребителей на наличии функции широкого динамического диапазона (WDR). Обычно при этом в качестве примера приводятся изображения, снятые в условиях яркой фоновой засветки. При установке камер в помещении подобные условия наблюдения встречаются в реальной жизни не так часто. Во многих случаях существует возможность расположить стационарную камеру таким образом, чтобы яркий источник света не был направлен в ее сторону. Также очевидно, что для получения качественного видеоизображения нужно выбирать подходящие условия освещения. Для уличных и высокоскоростных поворотных (PTZ) камер наличие функции WDR является обязательным в связи с изменяющимися условиями наблюдения.
Информация и фото с https://algoritm.org/arch/arch.php?id=92&a=2248