Коли інженери оцінюють модуль камери, енергоспоживання часто розглядається як проста специфікація, зазначена в таблиці даних. Насправді енергоспоживання модуля камери є результатом спільної роботи кількох підсистем, зокрема датчика зображення, ISP, буферів пам’яті, високо-інтерфейсів, годинників, регуляторів напруги та головного процесора.
Розуміння базових джерел енергоспоживання є критичним для вбудованих систем бачення, промислових камер, периферійних пристроїв зі штучним інтелектом, продуктів із-живленням від акумулятора та програм машинного бачення. Погане розуміння поведінки живлення може призвести до перегріву, нестабільної якості зображення, скорочення терміну служби акумулятора та неочікуваних збоїв системи.
Що ще важливіше, багато інженерів помилково припускають, що енергоспоживання безпосередньо залежить від роздільної здатності датчика. На практиці домінуючим фактором часто є загальна пропускна здатність зображення-кількість даних зображення, які потрібно збирати, обробляти, передавати та аналізувати щосекунди.
Енергоспоживання починається з пропускної здатності пікселів
На рівні датчика енергоспоживання тісно пов’язане з пропускною здатністю пікселів, а не лише з роздільною здатністю.
Наприклад:
- 2MP @ 30FPS=приблизно 60 мільйонів пікселів на секунду
- 5MP @ 30FPS=приблизно 150 мільйонів пікселів на секунду
- 8MP @ 60FPS=приблизно 480 мільйонів пікселів на секунду
Кожен піксель має бути експонований, перетворений з аналогової форми в цифрову, переданий через схеми зчитування датчиків, оброблений ISP, переданий через інтерфейс і, зрештою, оброблений головним процесором.
Зі збільшенням пропускної здатності пікселів майже кожен блок у конвеєрі зображення споживає більше енергії. Ось чому 8-мегапіксельна камера, що працює з високою частотою кадрів, може споживати в кілька разів більше енергії, ніж 2-мегапіксельна камера, навіть якщо обидві використовують схожі напівпровідникові технології.
Датчик зображення — це більше, ніж просто пікселі
Датчик зображення часто розглядається як основний споживач електроенергії, але щоб зрозуміти, куди витрачається енергія датчика, потрібно глибше заглянути в його внутрішню архітектуру.
Сучасні датчики зображення CMOS містять:
- Масиви пікселів
- Драйвери рядків і стовпців
- Аналогові підсилювачі
- Корельовані схеми подвійної вибірки
- Аналого-{0}}-цифрові перетворювачі (АЦП)
- Генератори синхронізації
- Високошвидкісні серіалізатори виводу-
Серед цих блоків на АЦП і високошвидкісні вихідні схеми часто припадає значна частка споживаної енергії датчика. Зі збільшенням частоти кадрів ці схеми повинні працювати на вищих частотах, що призводить до значного зростання динамічного споживання енергії.
Зображення-з недостатнім освітленням також може підвищити вимоги до живлення датчика. Довший час експозиції, вищий аналоговий коефіцієнт посилення та розширені режими HDR часто потребують додаткових операцій датчика, які споживають більше енергії, ніж стандартні режими зображення.
Чому ISP Processing може стати найбільшим споживачем енергії
У багатьох сучасних системах камер процесор сигналу зображення (ISP) споживає стільки ж енергії, скільки й сам датчик-або навіть більше.
Необроблені дані датчиків не можна безпосередньо використовувати. Перш ніж зображення досягне прикладного рівня, воно зазвичай проходить десятки етапів обробки:
- Демозаїка
- Автоекспозиція (AE)
- Автоматичний баланс білого (AWB)
- Корекція затемнення об'єктива (LSC)
- Корекція дефектних пікселів (DPC)
- Зменшення шуму
- Заточка
- Корекція кольору
- Обробка HDR/WDR
- Регулювання гами
- Тонове відображення
Багато з цих алгоритмів працюють з кожним пікселем кожного кадру. Зі збільшенням роздільної здатності та частоти кадрів обчислювальна складність швидко зростає.
Режими HDR і WDR є особливо вимогливими, оскільки потрібно зробити кілька експозицій і об’єднати їх в одне зображення. У деяких програмах увімкнення HDR може збільшити робоче навантаження провайдера більш ніж на 50%, що призведе до помітного зростання загального енергоспоживання системи.
Частота кадрів часто важливіша за роздільну здатність
Багато інженерів зосереджуються на мегапікселях, не звертаючи уваги на частоту кадрів.
З точки зору потужності частота кадрів може мати навіть більший вплив, ніж роздільна здатність, оскільки вона безпосередньо визначає частоту роботи всього конвеєра зображень.
Розглянемо 2-мегапіксельну камеру:
- 2 МП при 30 кадрів в секунду
- 2 МП при 60 FPS
- 2 МП при 120 кадрів в секунду
Подвоєння частоти кадрів фактично подвоює активність зчитування датчиків, робоче навантаження на обробку ISP, частоту доступу до пам’яті та вимоги до передачі інтерфейсу.
Це пояснює, чому-високошвидкісні промислові камери часто потребують активного охолодження, навіть якщо їхня роздільна здатність є відносно скромною.
Прихована вартість пам'яті та переміщення даних
Одним із джерел споживання електроенергії, яким часто не помічають, є доступ до пам’яті.
Для багатьох операцій обробки зображень потрібні тимчасові кадрові буфери, що зберігаються в пам’яті DDR. Кожна операція читання та запису споживає енергію.
Для систем зору AI дані зображення можуть передаватися кілька разів:
- Датчик до провайдера
- ISP до пам'яті DDR
- Прискорювач DDR до AI
- ШІ-прискорювач для ЦП
- ЦП для відображення або зберігання
У багатьох периферійних пристроях ШІ переміщення даних зображення через пам’ять споживає більше енергії, ніж самі алгоритми обробки зображень.
Енергоспоживання інтерфейсу не є незначним
Високошвидкісні інтерфейси, як-от USB 3.0, MIPI CSI-2 і Gigabit Ethernet, вимагають спеціальних схем фізичного рівня, які працюють на дуже високих частотах.
Зі збільшенням пропускної здатності зображення відповідно зростають вимоги до пропускної здатності інтерфейсу.
Наприклад, передача нестисненого відео 4K вимагає значно більшої потужності інтерфейсу, ніж передача стисненого відео 1080P. У деяких системах потужність інтерфейсу може становити значущий відсоток від загального споживання модуля камери.
Споживання електроенергії безпосередньо впливає на якість зображення
Споживання електроенергії – це не лише питання електрики. Це безпосередньо впливає на теплові характеристики.
Коли температура датчика підвищується:
- Темновий струм посилюється
- Шум зображення стає більш помітним
- Співвідношення--сигнал/шум зменшується
- Погіршується -ефективність при слабкому освітленні
- Довгострокова-надійність може бути знижена
Ось чому тепловий дизайн часто невіддільний від вибору модуля камери. Камера, що споживає лише один додатковий ват, може значно підвищити робочу температуру всередині компактного корпусу.
Поради щодо вибору модуля камери
Замість того щоб вибирати датчик із найвищою-роздільністю, інженерам слід почати з вимог до застосування та системних обмежень.
- Визначте фактичну необхідну щільність пікселів на цільовій відстані
- Визначте мінімально прийнятну частоту кадрів
- Ретельно оцініть вимоги до HDR/WDR
- Враховуйте цільовий час роботи акумулятора
- Оцініть теплові обмеження корпусу
- Перевірте пропускну здатність процесора та пам’яті
- Перед вибором датчика оцініть загальну пропускну здатність зображення
У багатьох програмах із вбудованим баченням належним чином оптимізований модуль камери 2 або 5 Мп може досягти необхідної продуктивності зображення, споживаючи при цьому значно менше енергії, ніж альтернатива з вищою-роздільністю.
