Дтож датчик: Чем опасна поломка датчика температуры охлаждающей жидкости

Замена датчика температуры охлаждающей жидкости — Статьи

Замена датчика температуры охлаждающей жидкости, при выходе из строя, обеспечит двигатель автомобиля качественным охлаждением. От его показаний зависит включение/выключение определенного режима циркуляции антифриза и электрического двигателя обдува радиатора. Он осуществляет контроль за температурным режимом, с выводом значений на панель.

 

Технические характеристики

 

При запуске и работе мотора на «холодную», происходят процессы, повышающие износ трущихся деталей, вызывающие повышенный расход топлива и снижение мощности.

Для более быстрого прогрева и достижения оптимальных рабочих температур, практически на всех современных автомобилях, применяется двойная циркуляция в системе охлаждения:

1) По малому кругу – осуществляется циркуляция антифризом только по блоку двигателя, за счет этого, его нагревание происходит в ускоренном варианте.

2) Через радиатор – после достижения оптимальных температурных значений, происходит открытие термостата, перекрывающего доступ в радиатор.

Циркуляция антифриза задействует всю систему охлаждения.

Команда на термостат, также запуск вентилятора, поступает с датчика.

Он функционирует за счет термистора, который обладает свойством изменения сопротивления, с учетом температурных факторов окружающей пространства. На его нижней части имеется резьба для крепления в блоке двигателя. На противоположной стороне расположены контактные соединения для подключения проводки, подается напряжение 5 В от эбу и масса. Изменение напряжения соответствует установленным производителем температурным значениям.

В различных машинах, ДТОЖ устанавливается почти одинаково и найти его не составит труда. Например, необходима замена датчика температуры охлаждающей жидкости ваз с инжекторным движком, следует учитывать, что их установлено 2:

1) Отправляет показания на эбу.

2) Контролирует включение режимов работы системы охлаждения.

Обычно устанавливаются рядом с термостатом. Имеют электрическую подводку с защитой разъемов. На некоторых марках автомобилей, для удобства проверки, необходимо демонтировать воздушный фильтр.

  Самостоятельная диагностика неисправности

 

Благодаря простоте конструкции, температурные датчики редко ломаются и выходят из строя. Обычно, проблемы возникают из-за нарушения градуировки – сигналы на включение определенных режимов и вентилятора посылаются при более низких или завышенных значениях. При появлении в работе двигателя следующих признаков:

Расход топлива. «Тяжелый» запуск в прогретом состоянии. Завышение оборотов на «холостом» ходу. Детонирует двигатель после выключения. При явном перегреве не включается электрический вентилятор.

Проведите визуальный осмотр приборов температуры охлаждающей жидкости. Предупреждения бортового компьютера, могут отсутствовать из-за некорректной работы и сбоя системы. Причиной поломки может служить нарушение целостности, подключенной к ним электрической проводки. Проверьте ее надежность, обработайте контакты специальным антикоррозийным средством.

Разберем пример, нужна ли замена датчика температуры охлаждающей жидкости ваз 2114, приготовьте вольтметр:

Прогрейте двигатель до максимального температурного значения, согласно показанию прибора на панели. Если при этом двигатель холодный, уберите контакт от датчика. Прибор показал минимальные температурные значения – датчик неисправен. При нормальной работе двигателя, стрелка показателя температуры постоянно перемещается – следует проверить исправность предохранителей. Предохранители целы, тогда снимите и замкните на блок провод датчика, если стрелка прибора, при этом, остановилась на максимальном значении – датчик сломан. Замерить поступающее с эбу напряжение. Отсоединить фишку и подключить к проводящему ток проводу прибор для замера. Заведите двигатель, показание прибора должно соответствовать 5 В. При других значениях, рекомендуется провести диагностику в специализированном сервисе. Датчик исправен.

Более точная проверка ДТОЖ потребует наличие омметра, специального градусника и нагревательного прибора, навряд ли найдется «под рукой» у рядового автолюбителя. Подобные датчики, по своей стоимости, доступны и поменять вышедший из строя на новый не сильно ударит по карману. Процедура простая и доступна для проведения даже начинающему автолюбителю.

 

Замена датчика

 

При обнаружении выхода из строя датчика, купите подходящий под марку вашего автомобиля. Приступая к демонтажу, убедитесь, что двигатель автомобиля остыл, чтобы избежать получения ожога антифризом. Если вы не считаете себя опытным авто механиком и, ранее, подобную процедуру не проводили, предварительно слейте часть антифриза из блока двигателя. Для этого необходимо открыть крышку радиатора, подставить емкость под место слива и открыть кран. Жидкость сливается примерно 10 минут, придется немного подождать. После слива можно приступить к замене:

Для более удобного доступа, на некоторых моделях, придется предварительно демонтировать воздушный фильтр. Аккуратно отсоедините провода от датчика. С помощью ключа на 21 мм открутите старый ДТОЖ. У нового, предварительно смажьте резьбовое соединение автомобильным герметиком, и вкрутите его. Контролируйте точность попадания в резьбовое соединение. Подсоедините проводку, обращайте внимание на правильность и надежность контактов. Обработайте антикоррозийным средством Закройте слив и залейте охлаждающую жидкость, рекомендуется использовать воронку для исключения пролива. Запустите двигатель, проверьте показание прибора на водительской панели. Дождитесь срабатывания вентилятора охлаждения и термостата. В случае несрабатывания, проверьте правильность установки, возможно датчик не закручен до конца и правильность подключения проводки.

Опытные водители советуют проверить его работоспособность сразу после покупки, еще до установки. Это не сложно сделать в сервисе или найти электрика по объявлению. У этой детали не исключен заводской брак, поэтому не спешите выкидывать чек после покупки. Всегда можно обменять или вернуть деньги за некачественный товар.

К сожалению, замена датчика может не дать положительного результата. Двигатель продолжает плохо заводиться, расход топлива не снизился. Рекомендация только одна — необходимо обратиться к профессионалам и провести диагностические мероприятия. Возможно потребуется перепрошивка электронного блока управления или замеры выдаваемого генератором напряжения. В связи с тем, что эти мероприятия считаются очень ответственными, требуют специального оборудования и навыков, обращаться необходимо только в проверенные, имеющие хорошую репутацию сервисы. Не забывайте, что качественное поддержание заданных температурных режимов при эксплуатации вашего автомобиля-это залог надежной долгой работы всего силового агрегата в целом.

Оставив заявку на сайте Uremont.com, вы получите несколько оптимальных вариантов, с адресами автосервисов, где качественно и с гарантией решат возникшие с автомобилем проблемы.

 

 

Как проверить датчик охлаждающей жидкости —

В современном автомобиле имеется множество датчиков, каждый из которых следит за отдельным узлом автомобиля. К числу самых важных можно смело отнести датчик температуры охлаждающей жидкости (ДТОЖ), контролирующий работу моторного отсека.

В настоящее время в автомобилях обычно устанавливают два таких датчика. Место расположения первого (основного) – впускной коллектор инжекторного двигателя, а второго – блок цилиндров. Практически каждого водителя интересует, как проверить датчик температуры охлаждающей жидкости. Об этом и поговорим.

Назначение

ДТОЖ является не только температурным датчиком, ведь его работа оказывает влияние на многие системы двигателя. В автомобиле имеется электронный блок управления, который получив сигнал от ДТОЖ, начинает регулировать и корректировать работу топливной системы, элементов, отвечающих за питание и прочих узлов двигателя. Работоспособность и исправность ДТОЖ очень важна, ведь вовремя предупредив о неполадках, он может предупредить о возникновении гораздо более серьезных и глобальных поломок.

Датчики температуры на ВАЗ 2110

Датчик температуры охлаждающей жидкости при выходе из строя начинает передавать недостоверные сведения, значит, пора искать причину и производить замену неисправных элементов.

Часто корень проблемы кроется в поврежденном проводе, подходящем к датчику. Такая неисправность обычно приводит к включению вентилятора при низких значениях температуры и выходу из трубы черного дыма. В этой ситуации рекомендуется не выключать двигатель и продолжать движение на небольшой скорости.

Последовательность проверки ДТОЖ

ДТОЖ

Перед тем как приступать к самостоятельной проверке датчика температуры, нужно установить, что причина неисправности именно в нем, а не в указателе температуры:

1. Освобождаем датчик от резинового защитного колпачка и разъединяем провода.
2. Включаем зажигание и замыкаем наконечник провода на «массе».
3. Теперь можно проанализировать: отклонение температурной стрелки от нулевого значения свидетельствует о неисправности самого датчика, а неподвижность все той же стрелки – о нарушениях электрического провода или одной из комбинаций приборов.

Измерение сопротивления

После того как «диагноз» поставлен, можно переходить к извлечению ДТОЖ. Во время проведения этой процедуры обязательно вытекает охлаждающая жидкость, следовательно, перед началом работы нужно запастись болтом необходимого размера, который временно будет располагаться на месте датчика.

После извлечения прибора, нужно произвести замер его сопротивления при помощи омметра. Делается это следующим образом: помещаем датчик в морозилку примерно на 0,5 часа, где он должен охладиться до температуры отрицательного значения, и только после этого приступаем к замеру. В момент измерения одна клемма омметра должна быть соединена с корпусом, а вторая с клеммой датчика.

Во время естественного нагревания должны проявляться различные изменения сопротивления, но провалы и скачки при этом не допустимы.

Нагрев с использованием горячей воды

Существует еще один тест для ДТОЖ: прибор подносят под горячую воду (среднее значение температуры горячей воды из крана 65 градусов).

Датчик не нужно сразу обдавать горячим потоком воды, лучше постепенно нагреть его. И с помощью того же омметра следят за передвижениями стрелки.

Любое резкое колебание говорит о том, что датчик сломался и нужно приобретать новый (он не разбирается, поэтому попытка ремонта – далеко не самое правильное решение).

Таблица сопротивления

Вышеописанные несложные действия позволяют избежать таких серьезных проблем, как, например, перегрев двигателя.

Видео

Показана проверка ДТОЖ при помощи нагрева в горячей воде:

Читайте также:

Где находится датчик температуры охлаждающей жидкости

замена, где находится, фото, неисправности

Вступление

Датчик температуры охлаждающей жидкости вносит не маловажный вклад в работу двигателя. В статье подробно рассказано о не неисправностях датчика, замене и проверке датчика на Приоре.

Для чего нужен ДТОЖ

Датчик температуры охлаждающей жидкости несет не малую роль в работе и управлении двигателем автомобиля. В свою очередь он отвечает за работу вентилятора охлаждения, дает сигналы на его включение для охлаждения двигателя, составляет пропорции топливной смеси в зависимости от температуры ОЖ.

ДТОЖ конструкция и принцип работы

Данный датчик имеет простейшую конструкцию без каких-либо сложных элементов электроники. В качестве исполнительного датчика выступает термо-резистор.

Именно термо-резистор регулирует качество и количество топливной смеси во время пуска двигателя. То есть при запуске в холодное время года двигателю необходимо больше топлива, это заложено в электронный блок управления двигателем (ЭБУ), основываясь на показания ДТОЖ, ЭБУ через форсунки пропускает необходимое количество топлива для нормальной работы двигателя в низких температурных режимах.

Работу датчика можно заметить по повышенным оборотам двигателя после пуска, которые приходят в норму с прогревом до рабочей температуры.  Термо-резистор заточен в металлический корпус датчика с резьбой и имеет два вывода под разъем ЭБУ.

Так же на основаниях показаний ДТОЖ, ЭБУ корректирует угол опережения зажигания (УОЗ). Датчик получает питание по одной из клейм от ЭБУ напряжением 5В, вторая же клейма подключена к массе.

Так как датчик напрямую контактирует с охлаждающей жидкостью, оценивает температуру двигателя он непосредственно по температуре ОЖ.

Функции

• Включение вентилятора охлаждения двигателя;
• Вынос показаний температуры на приборную панель;
• Регулирование топливной смеси;
• Корректировка УОЗ;

Симптомы неисправности

Датчику присуще следующие симптомы неисправности:

• Пропала динамика автомобиля;
• Показания температуры перестали отображаться на приборной панели;
• Автомобиль неустойчиво работает на холостом ходу;
• Появились рывки при движении на постоянных оборотах;
• Нет повышенных оборотов при пуске двигателя;
• Не работает вентилятор охлаждения;

По данным признакам можно предположить, что ДТОЖ вышел из строя или дает неправильные показания.

Где находится

В Приоре ДТОЖ устанавливается в корпусе термостата, под боксом воздушного фильтра. Для того чтобы увидеть датчик необходимо снять бокс.

1 — Датчик температуры охлаждающей жидкости

Проверка ДТОЖ

Датчик температуры является простейшим устройством, поэтому принцип его проверки тоже довольно простой.

Для проверки датчика потребуется мультиметр и градусник.

Проверять датчик необходимо измеряя сопротивление на нем в результате измерения температуры жидкости. ДТОЖ увеличивает свое сопротивление при понижении температуры жидкости.

Для того чтобы проверить его необходимо к концам датчика подключить мультиметр выставленный на показания сопротивления и опустить его в стакан с кипятком. Показания омметра должны соответствовать показаниям температуры. То есть по таблице ищем температуры воды и какое должно быть сопротивление у датчика при такой температуре.

Далее проделываем эту же процедуру с холодной водой и смотрим на показания омметра. На основаниях замера выносим вердикт датчику.

Ниже представлена таблица сопротивления ДТОЖ в зависимости от температуры ОЖ.

Таблица сопротивления датчика в зависимости от температуры.

Замена датчика своими руками

Замена, не сложный процесс, но имеет свои особенности, которые необходимо соблюдать при работе.

Необходимый инструмент

• Ключ на «19»
• Трещотка
• Головка на «13»
• Отвертка «+» или «-»

Замена со сливом ОЖ

Внимание:

Замену датчика температуры охлаждающей жидкости необходимо производить на холодом двигателе.

• Снимаем минусовую клейму с аккумулятора. Дабы предостеречь себя и автомобиль от короткого замыкания.

• Снимаем фишку датчика массового расхода воздуха (ДМРВ).

• Откручивая хомуты на гофре впускного ресивера, снимаем корпус воздушного фильтра вместе с датчиком ДМРВ.

• Снимаем фишку ДТОЖ.

• Далее необходимо слить охлаждающую жидкость.

• Ключом на 13 откручиваем пробку слива ОЖ в блоке цилиндров и сливаем ОЖ в тару объемом 10 л.

• Ключом на «19» откручиваем ДТОЖ из корпуса термостата.

• Устанавливаем новый ДТОЖ.

• Собираем все в обратной последовательности.

• После заливки ОЖ не забудьте проверить ее уровень.

Замена без слива ОЖ

• Чтобы заменить датчик охлаждающей жидкости без слива ОЖ необходимо подготовить новый датчик, чтобы быстро заменить его.

• Подбираемся к ДТОЖ и начинаем выкручивать его, предварительно подготовив новый датчик и положив тряпочку под термостат дабы не залить КПП антифризом.

• Выкручиваем датчик и резко вынимаем его, а отверстие в термостате затыкаем пальцем.

• Далее берем новый датчик и так же стараемся как можно быстрее вставить его в отверстие в термостате и вкрутить новый датчик на место.

• После собираем все в обратной последовательности.

Незабываем проверить уровень ОЖ и при необходимости доливаем ее.

ДТОЖ заменен как видите ничего сложно в этом нет.

Видео по замене ДТОЖ

← Замена задних тормозных колодок Замена тормозного барабана на автомобилях лада →

Специальный выпуск: датчики глубины и 3D Vision

Уважаемые коллеги,

Недавнее распространение недорогих датчиков RGB-D побудило сообщество компьютерного зрения исследовать новые решения, основанные на изображениях глубины. Информация о глубине вносит значительный вклад в решение или упрощение нескольких сложных задач, таких как анализ и классификация форм, реконструкция сцены, сегментация объектов, обнаружение людей и распознавание частей тела. Внутренняя метрическая информация, а также возможность обрабатывать вариации текстуры и освещения объектов и сцен — это только два преимущества по сравнению с чистыми изображениями RGB.

Например, аппаратные и программные технологии, включенные в структуру Microsoft Kinect, позволяют легко оценить трехмерное положение суставов скелета, обеспечивая новое компактное и выразительное изображение человеческого тела.

Хотя Kinect потерпел неудачу как игровое устройство, он стал стартовой площадкой для распространения датчиков глубины и, в зависимости от контекста, трехмерного зрения. Что касается аппаратного обеспечения, на рынке появилось несколько стерео, структурированных ИК-датчиков и датчиков ToF, которые изучаются научным сообществом.В то же время сообщества компьютерного зрения и машинного обучения предложили новые решения для обработки данных глубины, индивидуально или в сочетании с другой информацией, такой как изображения RGB.

Этот специальный выпуск посвящен новаторской работе по исследованию новых аппаратных и программных решений для генерации и анализа глубинных данных, включая модели представления, подходы к машинному обучению, наборы данных и эталонные тесты.

Конкретные темы, представляющие интерес, включают, но не ограничиваются:

• Методы измерения глубины
• Обработка данных глубины
• Анализ глубинных данных
• Слияние данных глубины с другими модальностями
• Перевод из и в глубинную область
• Реконструкция 3D сцены
• Моделирование и извлечение 3D-форм
• Распознавание 3D-объектов
• 3D биометрия
• Создание трехмерных изображений для объектов культурного наследия
• Моделирование и обработка облаков точек
• Распознавание действий человека по данным глубины
• Биомедицинские приложения глубинных данных
• Другие приложения анализа глубинных данных
• Наборы данных и тесты глубины
• Визуализация данных глубины

Проф.Роберто Веццани
Приглашенный редактор

Информация для подачи рукописей

Рукописи должны быть представлены онлайн по адресу www. mdpi.com, зарегистрировавшись и войдя на этот сайт. После регистрации щелкните здесь, чтобы перейти к форме отправки. Рукописи можно подавать до указанного срока. Все статьи будут рецензироваться. Принятые статьи будут постоянно публиковаться в журнале (как только они будут приняты) и вместе будут перечислены на веб-сайте специального выпуска.Приглашаются исследовательские статьи, обзорные статьи, а также короткие сообщения. Для запланированных статей название и краткое резюме (около 100 слов) можно отправить в редакцию для объявления на этом сайте.

Представленные рукописи не должны были публиковаться ранее или рассматриваться для публикации в другом месте (кроме трудов конференции). Все рукописи тщательно рецензируются в рамках процесса простого слепого рецензирования. Руководство для авторов и другая важная информация для подачи рукописей доступна на странице Инструкции для авторов. Sensors — это международный рецензируемый полумесячный журнал с открытым доступом, публикуемый MDPI.

Пожалуйста, посетите страницу Инструкции для авторов перед отправкой рукописи. Плата за обработку статьи (APC) для публикации в этом журнале с открытым доступом составляет 2200 CHF (швейцарских франков). Представленные документы должны быть хорошо отформатированы и написаны на хорошем английском языке. Авторы могут использовать MDPI Услуги редактирования на английском языке перед публикацией или во время редактирования автора.

Компактные одноразовые датчики глубины Metalens, вдохновленные глазами прыгающих пауков

Significance

Nature предлагает разнообразные решения для пассивного визуального определения глубины.Компания Evolution создала высокоспециализированные и эффективные системы технического зрения, обеспечивающие возможности восприятия глубины, которые часто превосходят возможности существующих искусственных датчиков глубины. Здесь мы учимся глазами прыгающих пауков и демонстрируем датчик глубины Metalens, который разделяет компактность и высокую вычислительную эффективность своего биологического аналога. Наше устройство сочетает в себе многофункциональные металлы, ультратонкие нанофотонные компоненты, которые управляют светом в субволновом масштабе, и эффективные вычисления для измерения глубины расфокусировки изображения.По сравнению с предыдущими пассивными датчиками глубины, наша конструкция, основанная на биоинспектировании, легкая, одноразовая и требует небольшого количества вычислений. Интеграция нанофотоники и эффективных вычислений устанавливает парадигму проектирования в области вычислительного зондирования.

Abstract

Пауки-прыгуны (Salticidae) полагаются на точное восприятие глубины для хищничества и навигации. Они достигают восприятия глубины, несмотря на свой крошечный мозг, с помощью специальной оптики. Каждый главный глаз включает в себя многоуровневую сетчатку, которая одновременно принимает несколько изображений с разной степенью расфокусировки, и из этих изображений расстояние декодируется с относительно небольшими вычислениями.Мы представляем компактный датчик глубины, вдохновленный прыгающим пауком. Он сочетает в себе металлическую оптику, которая изменяет фазу падающего света в субволновом масштабе, с эффективными вычислениями для измерения глубины по расфокусировке изображения. Вместо использования многоуровневой сетчатки для преобразования нескольких одновременных изображений датчик использует металинзу для разделения света, проходящего через апертуру, и одновременного формирования двух по-разному расфокусированных изображений в разных областях одного планарного фотодатчика.Мы демонстрируем систему, которая развертывает металинзу диаметром 3 мм для измерения глубины в диапазоне расстояний 10 см, используя менее 700 операций с плавающей запятой на выходной пиксель. По сравнению с предыдущими пассивными датчиками глубины, наш датчик глубины Metalens компактный, однократный и требует небольшого объема вычислений. Эта интеграция нанофотоники и эффективных вычислений приближает искусственное зондирование глубины к возможности на миллиметровых платформах микроватт, таких как микророботы и микросенсорные сети.

Визуальные датчики глубины объединяют камеры, вычислительные алгоритмы, а иногда и источники света, чтобы определять трехмерные формы окружающих объектов и сцен. Лидарные системы (1), времяпролетные камеры (2⇓⇓⇓⇓⇓ – 8) и системы структурированного освещения (9, 10) являются примерами датчиков глубины, которые используют активные источники света, тогда как бинокулярные стереосистемы (11) и камеры светового поля (12⇓ – 14) являются примерами пассивных, полагающихся исключительно на окружающий свет, который оказывается доступным. Эти подходы нашли широкое применение в автономных транспортных средствах, дронах, мобильных телефонах и многих других платформах.Однако они требуют либо активного освещения, либо итерационных вычислений и оптимизации, и поэтому не подходят для платформ с низким энергопотреблением, таких как мобильные сенсорные сети и роботизированные насекомые (15⇓ – 17), которые налагают гораздо более строгие ограничения на размер и вес. , и энергопотребление.

Было продемонстрировано, что альтернативные методы, использующие оптическую расфокусировку для измерения глубины, потенциально значительно сокращают объем вычислений глубины и не требуют активного освещения (18, 19). Эти алгоритмы (18⇓⇓⇓⇓ – 23) вычисляют глубину путем сравнения двух по-разному расфокусированных изображений одной и той же сцены и создают карту глубины, содержащую значение глубины для каждого пикселя.Однако одной из основных проблем этого метода является оптика. С обычными оптическими компонентами для получения двух разных расфокусированных изображений обычно требуется внести физические изменения в оптическую систему, например уменьшить или увеличить ее апертуру (20, 21, 23) или деформировать ее линзу (19). Это не только значительно усложняет управление системой, но и существенно ограничивает производительность определения глубины за счет нежелательных задержек и артефактов движения. Некоторые предыдущие алгоритмы использовали в своей структуре справочные таблицы (20) или итерационные методы (22) для измерения глубины.Однако эти методы трудно реализовать дифференцируемым образом, и они полагаются на исчерпывающий поиск вместо использования методов поиска на основе градиента для определения требуемых параметров.

Чтобы решить эти проблемы, мы представляем датчик глубины Metalens. Он компактный, статичный, однократный и требует небольшой вычислительной мощности. Благодаря универсальной способности формировать волновой фронт металлизированных материалов, ультратонких нанофотонных компонентов, которые могут адаптировать произвольный оптический волновой фронт в субволновом масштабе, наше устройство может одновременно захватывать два по-разному расфокусированных изображения через одну и ту же апертуру без необходимости вносить физические изменения в оптическую систему.Это позволяет избежать артефактов, обычно возникающих при повторном отображении изображения с течением времени при смене оптики камеры, и потенциально может улучшить временное разрешение датчика глубины. Кроме того, алгоритм обработки изображений является полностью дифференцируемым, что позволяет проводить калибровку вычислительных параметров на основе данных и градиента по сравнению с недифференцируемыми методами (20, 22).

Принцип работы основан на глазах прыгающих пауков (Salticidae), которые используют расфокусировку, чтобы преуспеть в ощущении глубины, несмотря на то, что их мозг примерно такой же маленький, как семена мака (24).Каждый из основных глаз паука включает в себя специализированную структуру (25) со сложенными друг на друга полупрозрачными сетчатками, которые одновременно наблюдают за миром с разной степенью оптической дефокусировки (рис. 1 A ). Поведенческие эксперименты показали, что паука-прыгуну достаточно сигнала, поступающего от одного основного глаза, чтобы он мог достаточно точно ощутить глубину, чтобы прыгнуть на добычу с расстояния в несколько длин тела, и что восприятием глубины можно предсказуемо управлять, изменяя спектр окружающего света таким образом, чтобы искажать оптическая расфокусировка (26).

Рис. 1.

Прыгающий паук и датчик глубины металинс. ( A ) Пауки-прыгуны могут ощущать глубину с помощью одного из двух основных глаз, обращенных вперед (выделены). В отличие от единственной сетчатки глаза человека, у пауков-прыгунов имеется несколько слоев сетчатки, полупрозрачных. Слоистая структура сетчатки может одновременно измерять несколько изображений одной и той же сцены с разной степенью расфокусировки, а поведенческие данные свидетельствуют о том, что пауки измеряют глубину с помощью сигналов расфокусировки, которые доступны на этих изображениях (26).( B ) Датчик глубины Metalens оценивает глубину, имитируя прыгающего паука. Он использует металинзу для одновременного захвата 2 изображений с разной расфокусировкой и использует эффективные вычисления для получения глубины из этих изображений. Восприятие глубины у прыгающего паука обычно работает при зеленом свете (26), и мы аналогичным образом разработали металинзу для работы на длине волны 532 нм. Мы соединили металинзу со спектральным фильтром, чтобы ограничить спектральную ширину полосы, и с прямоугольной апертурой, чтобы предотвратить перекрытие между двумя соседними изображениями.Изображения, представленные на фотосенсоре, были взяты из экспериментов и показывают 2 плодовых мушек, расположенных на разных расстояниях. Соответствующая карта глубины, рассчитанная датчиком, показана справа с цветом, используемым для обозначения расстояния до объекта. Ближайшие и дальние мухи окрашены в красный и синий цвет соответственно.

Вдохновленные специализированной компактной оптической структурой главного глаза прыгающего паука, мы предлагаем использовать технологию метаповерхности (27⇓⇓⇓⇓⇓⇓ – 34) для одновременного сбора пары разно расфокусированных изображений с использованием двух половин одного плоского изображения. фотосенсор (рис.1 В ). Метаповерхности — это ультратонкие плоские оптические компоненты, состоящие из субволновых наноструктур, сформированных на границе раздела (27). Создавая форму отдельных наноструктур, можно управлять фазой, амплитудой и поляризацией переданного волнового фронта в субволновых масштабах, что позволяет мультиплексировать несколько функций в одном устройстве. Метаповерхности позволили создать множество оптических устройств с возможностями, превосходящими возможности обычных преломляющих или дифракционных элементов, от высокопроизводительных линз для визуализации (металины) (29, 35) до новых поляризационных голограмм (36).В нашем прототипе датчика мы кодируем 2 дополнительных фазовых профиля линзы с различными фокусными расстояниями и боковыми смещениями на общей апертуре в одной металинзе посредством пространственного мультиплексирования (28). Таким образом, два изображения с различной расфокусировкой могут быть одновременно сняты на фотодатчике рядом друг с другом за один снимок. Мы проектируем фокусные расстояния металинзы вместе, используя алгоритм восстановления глубины, так что точные карты глубины могут быть вычислены из двух одновременных изображений с вычислениями, которые пространственно локализованы и немногочисленны — i.е., вычисления глубины для каждого пикселя изображения включают только небольшую пространственную окрестность пикселей и не требуют дополнительного поиска соответствия после начальной калибровки.

Наш прототип позволяет получать значения глубины в диапазоне 10 см на основе однократных измерений с использованием металины миллиметрового масштаба. Для вычисления глубины в каждом выходном пикселе карты глубины требуется менее 700 операций с плавающей запятой (FLOP) и включает оцифрованные значения интенсивности только в пространственной окрестности пикселей 25 × 25.Эта интеграция нанофотоники и эффективных вычислений приближает искусственное зондирование глубины к возможности на миллиметровых платформах микроватт, таких как микророботы и микросенсорные сети.

Принцип

Мы моделируем изображение I (x, y), сформированное на фотосенсоре, как свертку функции рассеяния точки камеры (PSF) с увеличенным, полностью сфокусированным узором объекта, как это было бы при наблюдении с точечным отверстием. камера. PSF камеры — это изображение, полученное фотодатчиком, когда объект является точечным источником света.Ширина PSF зависит от оптики и расстояния Z между объектом и линзой. Для идеальной камеры с тонкими линзами, изображенной на рис. 2 A , ширина PSF σ связана с расстоянием до объекта Z уравнением тонкой линзы: σ = (1Zf − 1Z) ZsΣ, [1] где Zs — расстояние между линзой и фотодатчиком, Σ — радиус входного зрачка, а Zf — расстояние в фокусе, т. е. расстояние, на котором ширина PSF σ равна нулю. ( SI Приложение , раздел 1.1) В правой части уравнения. 1 , все величины, кроме расстояния до объекта Z , являются известными величинами, определяемыми оптической системой. Таким образом, для калиброванной камеры определение ширины PSF σ эквивалентно измерению расстояния до объекта Z.

Рис. 2.

Принцип работы. ( A ) Обычная камера с тонкими линзами, в которой ширина PSF σ на фотодатчике определяется оптикой и глубиной Z (расстояние до объекта) в соответствии с уравнением объектива (уравнение 1 ).Zs — расстояние между объективом и фотосенсором. Zf — расстояние в фокусе. Σ — радиус входного зрачка (линзы). Сплошная черная кривая рядом с фотодатчиком представляет собой вертикальный разрез PSF h, который здесь нарисован гауссовой формой. ( B ) Датчик глубины Metalens кодирует фазовые профили 2 тонких линз в 1 апертуре. Две эффективные линзы имеют различные фокусные расстояния (Zf +, Zf−) (красный и синий) и внеосевое выравнивание, что создает 2 смежных изображения (I +, I−) с разной шириной PSF (σ +, σ−).Эффективные центры изображения смещены от оптической оси на ± D. Пунктирные красные и синие кривые рядом с металинами показывают прошедшие волновые фронты. Из-за пространственного мультиплексирования общий фазовый профиль очень прерывистый и поэтому не может быть легко получен с помощью обычных (френелевских) дифракционных оптических элементов. ( C ) Из пары входных изображений (I +, I-) был использован небольшой набор вычислений для получения глубины в каждом пикселе изображения, сгенерировав карту глубины Z (x, y) в соответствии с уравнением. 5 . Карта достоверности C (x, y), которая указывает точность предсказания глубины для каждого пикселя, была вычислена параллельно, согласно формуле. 6 . Вычисление выполняется слева направо, начиная со среднего попиксельного значения I = 12 (I ++ I−) и разности δI = I + −I−; Лапласиан среднего изображения ∇2I, вычисленный путем свертки среднего изображения с помощью дискретного лапласовского фильтра; и свертка с полосовым фильтром F для подавления шума и виньетирования. Из F * ∇2I и F * δI карты глубины и достоверности Z и C были рассчитаны по формулам. 5 и 6 . Параметры α, β, γ1, γ2 и γ3 определялись оптикой и предварительно откалиброваны. Чтобы исключить большие ошибки в карте глубины, мы установили для нее порог, показывая только пиксели со значениями достоверности больше 0,5.

Ширина PSF σ определяет степень размытия изображения. Объект кажется резким, когда расстояние до него Z равно расстоянию в фокусе Zf, потому что тогда ширина PSF σ равна нулю (в приближении лучевой оптики). И наоборот, когда расстояние до объекта Z отклоняется от Zf, ширина PSF, σ, отлична от нуля, и изображение становится размытым.Восстановление ширины PSF (и, следовательно, глубины) из одного размытого изображения некорректно без предварительной информации о базовом шаблоне объекта. Однако, когда второе изображение той же сцены снимается с разной степенью размытия, ширину σ можно определить непосредственно из изменения контраста между двумя изображениями. Один из способов понять это — предположить, что PSF могут быть аппроксимированы как функции Гаусса, которые зависят от ширины PSF σ: h (x, y) = 12πσ2exp − x2 + y22σ2, [2] где (x, y) — пиксель положение на фотосенсоре.Гауссовские функции обладают тем свойством, что частные производные по ширине σ и положению (x, y) удовлетворяют условию 1σ∂h (x, y) ∂σ = (∂x2 + ∂y2) h (x, y) ≡∇2h (x, y) ), [3] и поскольку расфокусированное изображение I (x, y) представляет собой свертку PSF и шаблона объекта с полным фокусом (который не зависит от σ), то же отношение между производными применяется к захваченному изображению. : 1σ∂I (x, y) ∂σ = ∇2I (x, y). [4] Ур. 4 указывает, что σ (и, таким образом, глубина с Z по уравнение 1 ) может быть определена непосредственно из пространственного лапласиана изображения ∇2I (x, y) и дифференциального изменения интенсивности по отношению к изменяющейся ширине PSF. ∂I (x, y) ∂σ (18, 19).Последний можно оценить с помощью конечной разности, т. Е. ∂I (x, y) ∂σ≈δI (x, y) δσ, где δI (x, y) — изменение интенсивности изображения, вызванное небольшой известной вариацией ширины ФРТ (δσ). Согласно формуле. 1 , поскольку, как правило, невозможно управлять расстоянием до объекта Z, единственный способ изменить ширину PSF σ при съемке объекта — это изменить параметры оптической системы, такие как расстояние до датчика Zs или расстояние между ними. -фокусное расстояние Zf.

Главный глаз паука-прыгающего может использовать свою прозрачную слоистую сетчатку для одновременного измерения (минимально) двух изображений, необходимых для вычисления конечной разности δI (x, y) (рис.1 A ), потому что эти сетчатки эффективно захватывают изображения с разным расстоянием между сенсорами Zs. Напротив, мы проектируем металинзу, которая генерирует 2 изображения (I + (x, y), I- (x, y)) рядом (Рис. 1 B ), причем изображения эквивалентны изображениям, снятым с помощью разные фокусные расстояния (Zf +, Zf−) через один и тот же зрачок. Мы проектируем расстояния в фокусе так, чтобы разница в размытии между изображениями, δσ = σ + −σ− = ΣZs (1Zf + −1Zf−), была небольшой и приблизительно дифференциальной. Из этих двух изображений (рис.2 C , Left ), мы вычисляем попиксельную разницу δI (x, y) = I + (x, y) −I− (x, y) и лапласиан изображения ∇2I (x, y). Последний получается путем свертки усредненного изображения I (x, y) = 12 (I + (x, y) + I− (x, y)) с лапласовским фильтром, обозначенным ∇2 (x, y). Чтобы уменьшить влияние шума сенсора и оптических неидеальностей, таких как виньетирование, δI (x, y) и ∇2I (x, y) пространственно свертываются с помощью специально разработанного линейного фильтра F (x, y). В самом низком порядке фильтр F (x, y) похож на фильтр Гаусса, который усредняет по соседним пикселям ( SI Приложение , разделы 1.3 и 2.2). Отфильтрованные результаты F (x, y) * δI (x, y) и F (x, y) * ∇2I (x, y) показаны на рис. 2 C , Center . Наконец, мы объединяем уравнения. 1 и 4 для вычисления глубины Z в каждом пикселе (x, y): Z (x, y) = α + βF (x, y) * δI (x, y) F (x, y) * ∇2I (x, y) −1, [5] с α = 12 (1Zf ++ 1Zf−) и β = — (ΣZsδσ) −1 — константы, определяемые оптикой. Правильность уравнения. 5 следует из того факта, что уравнение. 4 все еще сохраняется, когда значения δI (x, y) и ∇2I (x, y) заменяются их отфильтрованными версиями F (x, y) * δI (x, y) и F (x, y) * ∇2I (х, у).

На практике, даже с фильтрацией, случайный шум в захваченных изображениях (I + (x, y), I− (x, y)) приводит к ошибкам в измеренной глубине Z (x, y). Ошибка может быть определена количественно в терминах SD измеренной глубины в каждом пикселе, которая может быть аппроксимирована измеряемыми величинами z (x, y) = γ1 | F (x, y) * δI (x, y) | + γ2 | F (x, y) * ∇2I (x, y) | −1 + γ3, [6] с константами γ1, γ2, γ3, которые определяются оптикой ( SI Приложение , раздел 1.2). Эта измеряемая величина sZ (x, y) может служить индикатором надежности измеренной глубины Z (x, y) в каждом пикселе (x, y).Для удобства мы нормализуем значения sZ (x, y) до диапазона (0,1) и определяем это нормализованное значение как достоверность C (x, y). Более высокое значение достоверности C в местоположении пикселя (x, y) указывает меньшее значение sZ и более точное измерение глубины Z ( SI, приложение , раздел 1.2). Физически достоверность C (x, y) характеризует ожидаемую точность измерения в каждом пикселе (x, y): большее значение достоверности C (x, y) в пикселе указывает на статистически меньшую ошибку измерения глубины.

Поскольку уравнение. 5 вычисляет глубину с помощью простых локальных вычислений, он не работает в областях изображений с равномерной интенсивностью и, следовательно, без измеримого контраста для δI (x, y) и ∇2I (x, y). Для автоматического определения местоположения этих сбоев мы используем показатель достоверности C (x, y) в качестве критерия и сообщаем глубину только в пикселях (x, y), достоверность которых превышает определенный порог. Выбор порога достоверности влияет на разрешение по глубине, которое мы определяем как наименьшую разницу глубин, которую можно разрешить в определенном диапазоне достоверности.В этой статье с порогом достоверности 0,5 мы достигаем разрешения по глубине около 5% расстояния до объекта в диапазоне расстояний [0,3 м, 0,4 м] (см. Рис. 4 B ).

Полная последовательность расчетов для карты глубины и карты достоверности изображена на рис. 2 C . Для визуализации карта глубины имеет доверительный порог, чтобы отображать только глубину в пикселях, где последнее больше 0,5.

Конструкция и характеристики Metalens

Metalens предназначена для объединения фазовых профилей 2 внеосевых линз с разным фокусным расстоянием на общей диафрагме.Для каждой внеосевой линзы требуемый фазовый профиль представляет собой выпуклую форму со смещением, определяемую расстояниями фокусировки (Zf +, Zf−), расстоянием до датчика Zs и поперечным смещением центра изображения ± D (рис.2 B ). : ϕ ± (x, y) = — 2πλx2 + y2 + Zf ± 2 + x2 + (y∓D) 2 + Zs2 −D2 + Zs2 − Zf ±. [7] Здесь (x, y) указывает местоположение на металинзе. . Общий фазовый профиль достигается за счет пространственного перемежения 2, ϕ + (x, y) и ϕ− (x, y) на металинзе в субволновом масштабе. Технические характеристики приведены в SI Приложение , раздел 2.1.

Требуемый фазовый профиль может быть увеличен до [0,2π] (т. Е. По модулю 2π) без изменения его функциональности. Следовательно, ключевым требованием для точного формирования волнового фронта является локальный контроль фазы между 0 и 2π. Здесь мы используем наностолбики диоксида титана (TiO2) в качестве строительных блоков для локального контроля фазы. Физически наностолбики действуют как усеченные волноводы и придают проходящий свет сдвиг фазы. Изменяя ширину столбов, можно настроить их эффективный показатель преломления и, следовательно, фазовый сдвиг.Рис. 3 A показывает, что, изменяя ширину опоры (W) с 90 до 190 нм, можно достичь покрытия фазы от 0 до 2π при сохранении высокой эффективности передачи. Наностолбы имеют одинаковую высоту (H) 600 нм и могут быть изготовлены с помощью одноступенчатой ​​литографии. Межцентровое расстояние (U) между соседними наностолбиками составляет 230 нм, что меньше половины рабочей длины волны. Это позволяет нам пространственно чередовать различные фазовые профили в субволновом масштабе, что важно для устранения нежелательной дифракции более высокого порядка.

Рис. 3.

Дизайн Metalens. ( A ) Эффективность передачи и фазовый сдвиг в зависимости от ширины наностолбика. A , На вставке показано схематическое изображение строительного блока Metalens: квадратного наностолбика диоксида титана (TiO2) на стеклянной подложке. Высота столба: H = 600 нм. Размер элементарной ячейки решетки (межцентровое расстояние между соседними наностолбиками): U = 230 нм. При изменении ширины опоры (W) от 90 до 190 нм фазовый сдвиг изменяется от 0 до 2π, а пропускание остается высоким.( B ) СЭМ-изображение правой части изготовленной металины, вид сверху. (Масштаб: 2 мкм.) ( C ) Увеличенный вид выделенной области в B с наностолбиками, соответствующими 2 профилям фазы линзы, отмеченным красным и синим. (Масштаб: 500 нм.) ( D ) СЭМ-изображение края металинзы, вид сбоку, показывающее, что наностолбики имеют вертикальные боковые стенки. (Масштаб: 200 нм.)

Металлиз изготавливается с использованием технологии, продемонстрированной Devlin et al.(34). Рис. 3 B — D показывают изображения изготовленного образца, полученные с помощью сканирующего электронного микроскопа (SEM). Расположение отображаемой области на металинзе указано в приложении SI , рис. S6. Фазовое наложение приводит к разрыву в местах, где фазовый профиль равен целому числу 2π, то есть на границах «зоны». Это соответствует резкому изменению расположения наностолбиков, как показано на рис. 3 B — D . Фазовые профили двух внеосевых линз имеют разное расстояние между зонами и ориентацию, соответствующие двум почти вертикальным границам и диагональной границе соответственно (рис.3 B и SI Приложение , рис. S6). Схема пространственного мультиплексирования явно проиллюстрирована на рис. 3 C , где наностолбики, принадлежащие разным профилям фокусировки, выделены разными цветами.

Результаты

Мы построили прототип датчика глубины Metalens, соединив Metalens с готовыми компонентами. Текущий размер датчика, включая механические компоненты, такие как оптические крепления, составляет 4 × 4 × 10 см, но, поскольку диаметр металины составляет всего 3 мм, общий размер собранного датчика может быть существенно уменьшен с помощью специального фотодатчика и Корпус.Мы соединили полосовой фильтр 10 нм с металинзой, которая предназначена для монохроматической работы на 532 нм. Прямоугольная апертура была размещена перед металинзой, чтобы ограничить поле зрения и предотвратить перекрытие двух изображений. Изменение размытия между двумя изображениями можно увидеть на рис. 4 A , на котором показаны PSF для каждого из двух изображений [I + (x, y), I- (x, y)], которые были измерены с использованием зеленого светоизлучающий диод (LED), соединенный с точечным отверстием диаметром 10 мкм и размещенный на разной глубине Z вдоль оптической оси.PSF более дискообразны, чем гауссовы, и они асимметричны из-за внеосевой хроматической аберрации. ( SI Приложение , рис. S8 показывает, что эта асимметрия исчезает при монохроматическом лазерном освещении.)

Рис. 4.

Анализ рабочих характеристик. ( A ) PSF, соответствующие двум изображениям (I +, I−), измеренные с использованием точечных источников света с зеленым светодиодом, размещенных на разных расстояниях Z перед металинзой. Спектральный фильтр использовался для ограничения полосы пропускания света (ширина полосы 10 нм с центром на 532 нм).Асимметрия в PSF является результатом хроматической аберрации и может быть устранена с помощью монохроматического лазерного источника ( SI, приложение , рис. S8). ( B ) Глубина Z, измеренная датчиком Metalens, как функция известного расстояния до объекта. Разные цвета соответствуют разным порогам достоверности. Сплошные кривые — это среднее значение Z¯ измеренной глубины над множеством различных точек объекта, расположенных на одном и том же известном расстоянии. Верхняя и нижняя границы заштрихованных областей представляют собой соответствующие средние отклонения измеренной глубины | Z − Z¯ | ¯.При получении как Z¯, так и | Z − Z¯ | ¯ учитываются только пиксели, достоверность которых превышает пороговое значение. Таким образом, среднее отклонение меньше для большего порога достоверности. Сплошная черная линия представляет собой идеальные измерения глубины (т. Е. Те, которые равны известным расстояниям), а пунктирные черные линии представляют собой относительную разницу ± 5% между измеренной глубиной и известным расстоянием до объекта. В диапазоне расстояний от 0,3 до 0,4 м измеренная глубина близка к идеальным значениям. Среднее отклонение в этом диапазоне составляет около 5% расстояний до объекта при доверительном пороге 0.5. За пределами этого диапазона измеренная глубина имеет тенденцию к постоянным значениям, которые не зависят от расстояния до объекта, на что указывают плато слева и справа. На этих расстояниях захваченные изображения I +, I- слишком размыты, чтобы предоставить полезную информацию о контрасте для измерения глубины.

Чтобы подавить эффекты шума и артефактов изображения в изображениях (I +, I−), а также увеличить количество пикселей с высокой степенью достоверности в выходных картах, мы вычислили 9 отдельных карт глубины и достоверности, используя 9 экземпляров уравнений. 5 и 6 , которые имеют отдельные и дополнительные пространственные фильтры Fi, а затем мы объединили эти 9 «каналов» в 1. Мы также разработали процедуру калибровки, которая настраивала параметры одновременно с использованием обратного распространения и градиентного спуска ( SI Приложение , раздел 3). Эта сквозная калибровка не только удобна для пользователя, но и позволяет адаптировать вычисления к формам металических PSF, которые существенно отличаются от гауссовских.

Для анализа точности глубины мы измерили глубину тестовых объектов на серии известных расстояний и сравнили их с истинными расстояниями до объекта.Тест-объекты представляли собой текстурированные плоскости, ориентированные параллельно плоскости линзы. На каждом расстоянии до объекта среднее отклонение глубины, meanx, y | Z (x, y) −meanx, yZ (x, y) |, было вычислено с использованием пикселей (x, y), значения достоверности которых превышают пороговое значение. . Рис. 4 B показывает измеренную глубину для разных доверительных порогов в зависимости от расстояния до объекта. Для порога достоверности 0,5 измеренная глубина имела точность в пределах среднего отклонения ниже или около 5% от истинной глубины в диапазоне истинных расстояний до объекта от 0.3 и 0,4 м. За пределами этого диапазона измеренная глубина по умолчанию принимает максимальное значение глубины, которое система может предсказать, на что указывают плато на левом и правом концах. Это указывало на то, что два изображения были настолько размытыми, что разница в контрасте между ними была недостаточной.

На рис. 5 показаны карты глубины для различных сцен. Поскольку он использует одиночный снимок, датчик глубины Metalens может измерять движущиеся объекты, такие как плодовые мухи и поток воды на рис. 5 A и B .Он также может измерять глубину полупрозрачных объектов, таких как пламя свечи на рис. 5 C , которое обычно невозможно измерить с помощью активных датчиков, таких как лидар и датчик времени пролета. На рис. 5 D показана наклонная плоскость с напечатанным текстом, где изменение размытости между двумя изображениями особенно заметно. Как правило, датчик сообщает о большем количестве измерений глубины вблизи областей с краями и текстурой, тогда как области с однородной интенсивностью и низким контрастом обычно отбрасываются как имеющие низкие значения достоверности.Обратите внимание, что различия в размытии между I + и I- визуально видны на рис. 5 A , B и D , но система все еще успешна на рис. 5 C , где различия в размытии составляют трудно различить.

Рис. 5.

Входные изображения и выходные карты глубины. Датчик создает карты глубины и достоверности в реальном времени размером 400 × 400 пикселей со скоростью> 100 кадров в секунду. ( A, и B ) Он может измерять быстро движущиеся объекты, такие как плодовые мухи ( A ) и водные потоки ( B ), потому что два изображения (I +, I-) вместо этого захватываются в одном кадре. последовательно с течением времени.( B и C ) Он также может измерять полупрозрачные структуры, такие как потоки воды ( B ) и пламя ( C ), поскольку он полагается только на окружающий свет, а не на отражения от контролируемого источника света. ( D ) Наклонная плоскость с текстом выражает разницу в расфокусировке между двумя изображениями (I +, I-). Цветовая шкала в метрах. Изображения и карта глубины для сцен A , B и D были получены путем освещения сцен зеленым светодиодом.Для карт глубины использовался порог с достоверностью более 0,5, который является порогом, который дает среднее отклонение около 5% от расстояния до объекта между 0,3 и 0,4 м на рис. 4 B . Дополнительные изображения и видео доступны в приложении SI .

Для сцен, отличных от рис. 5 C , мы использовали зеленые светодиодные источники света, и общая эффективность передачи металин плюс полосовой фильтр составила около 15%. При освещении солнечным светом полосовой фильтр пропускает около 4% видимого света солнечного спектра.Абсолютная освещенность, поддерживающая функцию датчика, варьировалась в зависимости от чувствительности используемого фотодатчика и может быть оценена на основе технических характеристик, включая порог абсолютной чувствительности, динамический диапазон и т. Д. Для нашей экспериментальной установки освещенность на апертуре была оценена как быть от 0,3 до 0,5 Вт / м ² в пределах рабочей полосы пропускания для поддержки функции датчика.

Датчик генерирует карты глубины и достоверности 400 × 400 пикселей со скоростью более 100 кадров в секунду с использованием комбинированного центрального процессора и графического процессора (Intel i5 8500k и NVIDIA TITAN V).Его можно значительно ускорить за счет оптимизации кода и / или оборудования, потому что вычисления пространственно локализованы и их мало. Для получения значений глубины и достоверности для каждого выходного пикселя потребовалось 637 FLOP и задействованы только 25 × 25 окружающих пикселей. Для контекста, эффективная реализация алгоритма бинокулярного стерео требует около 7000 FLOP на выходной пиксель (37), а также реализация системы на кристалле известного алгоритма оптического потока Лукаса-Канаде (с пространственной зависимостью, аналогичной нашей сенсор) требует более 2500 FLOP на пиксель (38).

Обсуждение

Датчик глубины Metalens наследует некоторые ограничения, существующие в системе зрения прыгающих пауков, такие как ограниченная спектральная полоса пропускания и ограниченное поле зрения. Однако эти ограничения не являются фундаментальными, и их можно уменьшить с помощью более сложных металлических конструкций. Спектральную полосу пропускания можно расширить за счет использования ахроматических металин (35, 39, 40), которые также улучшают световую отдачу. Поле зрения может быть улучшено, например, с помощью наностолбиков Metalens, чувствительных к поляризации, для создания 2-х разно сфокусированных изображений, которые накладываются на плоскость сенсора с ортогональными поляризациями (36), а затем преобразования 2-х изображений с пространственным мультиплексированием, матрица чувствительных к поляризации датчиков.Это эффективно поменяло бы пространственное разрешение и световую эффективность на увеличение поля зрения.

Предлагаемый вычислительный алгоритм создает плотное поле оценок глубины, каждая из которых связана со значением достоверности. Уверенность важна для пользователей датчика глубины, чтобы исключить ненадежные прогнозы. Он также использует подход многомасштабной фильтрации для обработки текстур изображения с разной пространственной частотой и пользуется преимуществом уверенности для объединения всех различных пространственных масштабов вместе по сравнению с предыдущими методами (20, 22), которые используют фильтры только в одном, заранее определенном пространственном масштабе.Предлагаемый алгоритм не включает в себя основанные на логическом выводе методы, такие как марковские случайные поля (MRF) или условные случайные поля (CRF), которые могли бы использовать когерентность более длинного диапазона между значениями глубины по всему полю зрения. Вместо этого оценки глубины и достоверности для каждого пикселя основаны только на информации о его пространственном окружении. Преимущества этого выбора дизайна — гибкость и универсальность. Для задач, требующих высокой скорости, выходные данные можно использовать как есть, с простой установкой пороговых значений достоверности.Для задач, требующих более высокой точности и меньшего количества отверстий на карте глубины, текущий результат может быть передан в MRF / CRF (или любой другой пространственный регуляризатор), который подходит для этой задачи. Более того, поскольку конвейер является сквозным дифференцируемым, его параметры можно точно настроить вместе с параметрами MRF / CRF для оптимизации производительности при выполнении конкретной задачи.

Объединив передовые нанотехнологии и алгоритмы компьютерного зрения, эта работа представляет пассивный датчик глубины снимка, который имитирует некоторые возможности прыгающего паука.Небольшой объем, вес и вычислительная мощность датчика приближают возможности измерения глубины к возможностям на платформах размером с насекомых, таких как микророботы, съедобные устройства, разнесенные сенсорные сети и небольшие носимые устройства. Комбинации нанофотоники и эффективных вычислений, которые отличаются от описанных в этой статье, могут привести к созданию других форм компактных визуальных датчиков, и эта область остается относительно неизученной (41).

Выражение признательности

Этот проект поддержан грантами Междисциплинарной исследовательской инициативы Управления научных исследований ВВС США FA9550-14-1-0389 и FA9550-16-1-0156; и награда NSF IIS-1718012.Y.-W.H. и C.-W.Q. поддерживаются Национальным исследовательским фондом при канцелярии премьер-министра Сингапура в рамках программы конкурсных исследований премии NRF-CRP15-2015-03. E.A. поддерживается стипендией NSF Graduate Research Fellowship DGE1144152. Изготовление металин было выполнено в Гарвардском центре наномасштабных систем при поддержке NSF Grant 1541959. Q.G. и З.С. поблагодарить Мохаммадрезу Хорасанинежада за полезные обсуждения. З.С. благодарит Чжэхао Дая за полезные комментарии и обсуждения.

Сноски

• Вклад авторов: Q.G., Z.S., F.C. и T.Z. спланированное исследование; Q.G., Z.S. и Y.-W.H. проведенное исследование; Q.G. и З.С. проанализированные данные; и Q.G., Z.S., Y.-W.H., E.A., C.-W.Q., F.C. и T.Z. написал газету.

• Рецензенты: D.S., Rambus Labs; и J.Y., Делавэрский университет.

• Отчет о конкурирующих интересах: F.C. является соучредителем Metalenz. D.S. входит в состав Научно-консультативного совета Metalenz.

• Эта статья содержит вспомогательную информацию на сайте www.pnas.org/lookup/suppl/doi:10.1073/pnas.1912154116/-/DCSupplemental.

• Copyright © 2019 Автор (ы). Опубликовано PNAS.

Датчики глубины — ключ к открытию новых приложений компьютерного зрения. | Исследовательская группа Comet Labs

На приведенном выше рисунке алгоритму CV будет сложно ответить на эти вопросы, но люди могут сделать это легко. Поскольку сценарий реального мира был спроектирован из 3D в 2D, эти два вопроса внезапно стали нетривиальными.

Глубина несет важную информацию. Например, если красный и черный шары были вместо транспортных средств на дороге, мы хотим, чтобы алгоритм CV понимал, что ближе, чтобы получить точное представление о ситуации. К сожалению, мы не можем полагаться на 2D-алгоритмы CV. Нам понадобится зондирование глубины наряду с 2D-изображениями, чтобы захватить полную информацию о нашем реальном мире.

Следующее руководство поможет вам понять, как работает определение глубины в настоящее время и где оно используется.

Перейти к:

1) Текущие приложения

2) Краткий обзор

3) Сравнение методов

4) Разбивка системы

5) Возможности для стартапов

1. AR / VR: для зондирования реальные 3D-среды и их реконструкция в виртуальном мире

Например, Project Tango от Google использует датчики глубины для точного измерения реальной среды и передачи своих графических алгоритмов для размещения виртуального контента в нужных местах.Сравните это с режимом AR в Pokemon Go, где пользователи часто могут видеть покемонов, помещенных в неточные позиции, поскольку алгоритм не имеет информации о глубине окружающей среды.

Информация о глубине также необходима для взаимодействия человека с машиной устройств VR / AR. Устройства должны точно реагировать на трехмерное движение пользователей, которым определенно нужны высокопроизводительные датчики глубины.

2. Робототехника: для навигации, определения местоположения, картографии и предотвращения столкновений

Многие склады уже используют полностью автономные транспортные средства, которые перевозят объекты из одного места в другое.Способность транспортного средства двигаться самостоятельно требует измерения глубины, чтобы он мог знать, где он находится в окружающей среде, где находятся другие важные вещи и, что наиболее важно, как он может безопасно добраться из пункта А в пункт Б. Точно так же любой робот, используемый для Выбор целей зависит от определения глубины, чтобы узнать, где находится целевой объект и как его получить.

Эти же приложения необходимы для успеха любого автономного транспортного средства. Фактически, одна из самых серьезных проблем для автономных транспортных средств на данный момент — это оснащение автомобиля точным датчиком глубины и системой CV без слишком резкого увеличения стоимости.Это по-прежнему конкурентный рынок, на котором многие новые стартапы борются за лидерство.

3. Распознавание лиц: для повышения удобства и предотвращения мошенничества.

Большинство систем распознавания лиц используют двухмерную камеру для захвата фотографии и отправки ее алгоритму для определения личности человека. Однако в этом есть существенная лазейка: плохой актер может обмануть систему, поскольку не может определить, видит ли он настоящее 3D-лицо или 2D-фотографию. Чтобы сделать распознавание лиц безопасным, необходимы 3D-камеры с функцией определения глубины.

Помимо блокировки этой лазейки, 3D-моделирование лица также передает больше черт лица для более точного распознавания. По слухам, грядущий iPhone 8 будет иметь датчик глубины для распознавания лиц, и ожидается, что все больше компаний последуют за Apple в использовании определения глубины в своих устройствах.

4. Обнаружение жестов и приближения: для игр, безопасности и многого другого.

Time-of-Flight (ToF) датчики глубины уже используются многими устройствами для этих целей.В простых реализациях датчику глубины требуется только обнаруживать информацию о глубине одной точки, например руки для обнаружения жеста или лица для обнаружения приближения. Таким образом, достаточно системы измерения глубины с простой оптикой (и узким полем обзора). С развитием распознавания жестов стали использоваться более сложные системы определения глубины, такие как Microsoft Kinect.

Семантическая сегментация означает разделение изображения на несколько значимых частей. Точно так же, как когда вы смотрите через окно, вы разделяете всю картинку на небо, машины, здания и все остальное, что находится в вашем поле зрения.

Это также ключ для анализа изображений: из-за плохой сегментации производительность последующих задач также ухудшается. Для человека естественно сегментировать без особой подготовки, поскольку у нас два глаза и мы можем использовать преимущества трехмерного изображения. Обычный CV имеет только одну камеру RGB, поэтому сегментация в основном основана на статистическом моделировании. В настоящее время глубокое обучение едва ли может сегментировать, запоминая типичные ключевые подсказки, такие как изменение цвета, края, текстуры и т. Д.

Однако этот подход сегментации на основе обучения не полностью использует информацию в трехмерном мире, поэтому он не такой точный .Кроме того, его вычислительная эффективность крайне низка. Анализ изображений на основе глубокого обучения обычно требует огромных затрат энергии, что затрудняет масштабирование этого метода. Например, выделенный мобильный графический процессор от Nvidia (TX1) может работать только со скоростью менее 10 кадров в секунду при энергопотреблении 10 Вт. Titan X от Nvidia — это современный графический процессор для серверной части, который может работать намного быстрее со скоростью около 40–50 кадров в секунду, но требует мощности 250 Вт, что делает его непригодным для мобильных приложений. Кроме того, эти графические процессоры очень дороги — от 300 до 1000 долларов.

Если мы предоставим компьютеру трехмерную информацию о нашем мире, CV сможет гораздо лучше справиться с семантической сегментацией с меньшим потреблением энергии. Нам не нужна сложная нейронная сеть, так как базовый алгоритм увеличения площади или даже алгоритм кластеризации могут сделать достойную работу. С этими недорогими алгоритмами вычислительная нагрузка по существу незначительна (с точки зрения количества операций и пропускной способности памяти) по сравнению с CNN (или другими традиционными алгоритмами CV на основе 2D), а энергоэффективная мобильная SoC может завершить работу в режиме реального времени. .

Современные 3D-камеры, такие как камера в Kinect2, потребляют менее 5 Вт и могут работать с приличной скоростью около 30 кадров в секунду. В сочетании с потребляемой мощностью мобильной SoC (~ 2 Вт) это сопоставимо с производительностью TitanX, но с 30-кратной экономией энергии. Стоимость 3D-сенсора также намного ниже, чем у графического процессора (<10 долларов США при большом объеме). Следовательно, определение глубины может стать ключевым фактором для будущих приложений интеллектуального мобильного изображения и робототехники, где энергетический бюджет сильно ограничен.

Благодаря улучшенной сегментации обнаружение объектов с помощью 3D-камеры дает лучшие результаты. Как сообщили исследователи из Калифорнийского университета в Беркли в статье, озаглавленной «Изучение разнообразных функций из изображений RGB-D для обнаружения и сегментации объектов», наблюдалось значительное улучшение: с современной 2D R-CNN средняя средняя точность составила 22,5% по сравнению с глубокой нейронной сетью RGB-D со средней средней точностью 37,5%. Глубокое обучение с помощью RGB-D привлекло многих исследователей, и несколько институтов (например, Вашингтонский университет и Нью-Йоркский университет) даже опубликовали средние наборы данных для RGB-D, которые являются аналогом ImageNet в мире RGB.Мы ожидаем увидеть больше работ, сочетающих RGB-D с глубоким обучением в ближайшем будущем.

В настоящее время основным узким местом для алгоритмов CV на основе 3D-зондирования по-прежнему является набор данных. Хотя увеличение данных и другие методы могут помочь обучить приличную нейронную сеть для 3D-информации без огромных объемов данных, в конечном итоге нам понадобится большой набор данных (как ImageNet и Microsoft COCO в 2D-мире) для обучения и тестирования полностью оптимизированной нейронной сети.

Structural Light :

Используя лазерный источник света для проецирования известного рисунка, приемник обнаруживает искажение отраженного рисунка для расчета карты глубины на основе геометрии.Он должен сканировать всю плоскость, чтобы получить карту глубины, на что нужно время, но она очень точная. Однако этот метод чувствителен к яркости окружающей среды, поэтому обычно его применяют только в темных или закрытых помещениях.

Время полета (ToF):

Есть два основных подхода. Первый прост: источник лазера посылает импульс, а датчик обнаруживает отражение этого импульса от целевого объекта, чтобы записать время его полета. Зная это и постоянную скорость света, система может вычислить, как далеко находится целевой объект.Для обеспечения высокой точности период импульсов должен быть коротким, что приводит к более высокой стоимости. Кроме того, требуется преобразователь времени в цифровой с высоким разрешением, который может потреблять много энергии. Этот подход обычно можно найти в высокопроизводительных датчиках ToF.

Другой способ рассчитать время — послать модулированный источник света и обнаружить изменение фазы отраженного света. Фазовое изменение можно легко измерить методом смешивания. Модулировать лазерный источник проще, чем посылать короткие импульсы, а метод смешивания проще реализовать, чем преобразователь времени в цифровой.Кроме того, светодиод можно использовать в качестве источника модулированного света для замены лазера. Поэтому система ToF на основе модуляции хороша для недорогих датчиков ToF.

Массив камер:

Подход с использованием массива камер использует несколько камер, размещенных в разных положениях, для захвата нескольких изображений одной и той же цели, а карта глубины рассчитывается на основе геометрии. В компьютерном зрении это также называется «стереоскопическим» или «стереоскопическим». Самый простой, но самый популярный массив камер — это двойная камера, где две камеры разделены расстоянием, чтобы имитировать человеческий глаз.Для каждой точки в пространстве он появляется с измеримым несоответствием положений на изображениях с двух камер. Затем глубина рассчитывается по базовой геометрии.

Основная проблема массива камер — как найти совпадающие точки на нескольких изображениях. Поиск точки совпадения включает сложный алгоритм CV. В настоящее время глубокое обучение может помочь найти точки совпадения с хорошей точностью, но его вычислительные затраты высоки. Кроме того, есть много точек, по которым сложно найти точки совпадения. Например, на двух изображениях статуи Вагнера, приведенных выше, легче всего сопоставить нос, так как его черты легко выделить и сравнить; однако для других частей лица (особенно поверхности лица без текстуры) будет очень сложно найти точки совпадения.Когда окклюзия различна для изображений с двух камер, сопоставление становится еще более сложным. На данный момент надежность массива камер в качестве датчика глубины все еще остается сложной проблемой.

Общие характеристики

Для измерения глубины наиболее важным показателем является точность измерения глубины. Структурный свет имеет лучшую точность по глубине, в то время как массив камер, как правило, имеет самую большую ошибку глубины.

Что касается диапазона восприятия глубины, то структурный свет имеет самый короткий диапазон, в то время как диапазон ToF зависит от излучаемой мощности источника света.Например, интеллектуальным устройствам может потребоваться дальность действия всего несколько метров, а для автономных автомобилей — несколько сотен метров. Точно так же диапазон измерения массива камер зависит от расстояния между двумя камерами. Для обычного массива камер наилучший диапазон измерения производительности обычно составляет около 10 м, хотя также было показано, что некоторые специальные массивы камер с чрезвычайно узким пространством измеряют глубину на уровне около 1 м.

Для разрешения карты глубины структурный свет работает лучше, чем ToF, поскольку структурный светоизлучающий узор можно точно контролировать и точно захватывать его отраженный узор.Теоретически матрица камер имеет хорошее разрешение, однако это основано на идеальном совпадении точек на двух изображениях. При неидеальном совпадении точек (например, гладких поверхностях) разрешение ухудшается.

Наконец, нам нужно учитывать ограничения на яркость окружающей среды. Структурный свет требует темной среды, в то время как датчики ToF могут выдерживать более широкий диапазон яркости окружающей среды благодаря быстро развивающимся технологиям подавления фона. Для массива камер лучше всего подходит яркое окружение.В темной комнате изображения, захваченные массивом камер, становятся зашумленными, а контраст становится плохим, поэтому сопоставление точек становится чрезвычайно трудным, что приводит к неточным оценкам глубины.

Стоимость

Стоимость массива камер, как правило, самая низкая, и усилия по его разработке в основном связаны с программным обеспечением. Решение с двумя камерами уже широко используется во многих смарт-устройствах и мобильных телефонах. Датчик ToF имеет умеренную стоимость, в то время как структурный свет — самый высокий. Однако с массовым производством ToF ожидается, что в ближайшем будущем его стоимость значительно снизится.

Масштабируемость

Анализ потенциала этих технологий даст нам ценную информацию, на которую мы можем лучше всего положиться для наших будущих потребностей. ToF — это полупроводниковая технология, обладающая наилучшей масштабируемостью. Его точность по глубине можно масштабировать с помощью встроенного в микросхему преобразователя времени в цифровой / схемы смешения, разрешение карты глубины можно масштабировать в соответствии с размером сенсора, диапазон измерений можно масштабировать с помощью схемы питания / модуляции источника света, а его энергопотребление может быть увеличено. масштабироваться с помощью полупроводниковой технологии.

С другой стороны, структурный свет имеет приличную масштабируемость. Оптическая система является ключевым компонентом структурного света, и оптическая система может масштабироваться с помощью технологии упаковки (хотя и не так быстро, как полупроводники).

Наконец, масштабирование массива камер зависит в основном от программного обеспечения: нам потребуются более совершенные алгоритмы для масштабирования его характеристик измерения глубины. Это больше похоже на математическую задачу, чем на инженерную, и улучшение оборудования не поможет. Проблема совпадения точек все еще существует даже с камерами с гораздо более высоким разрешением.

Дешевое решение для определения глубины камеры

За последние несколько лет мы увидели множество новых технологий на рынке мобильных устройств, пытающихся решить проблему попыток сбора информации о глубине с помощью системы камер. Различные компании предлагали различные решения, от ИК-точечных проекторов и ИК-камер (структурированный свет), систем стереоскопических камер до новейших, более современных специализированных датчиков времени пролета. Большой проблемой этих различных реализаций был тот факт, что все они использовали довольно экзотические аппаратные решения, которые могут значительно увеличить перечень материалов для устройства, а также повлиять на выбор промышленного дизайна.

Airy3D — это новая небольшая компания, которая до сих пор работала только в области программного обеспечения, предлагая рынку различные решения для обработки изображений. Теперь компания готова перейти к гибридной бизнес-модели, позиционируя себя как компанию-производитель программного обеспечения с аппаратной поддержкой.

Главный продукт компании, получивший известность на данный момент, — платформа DepthIQ — программно-аппаратное решение, которое обещает обеспечить высококачественное определение глубины для отдельных камер по гораздо более низкой цене, чем любая другая альтернатива.

В основе инноваций Airy3D лежит дополнительное оборудование к существующим на рынке датчикам, называемое пропускающей дифракционной маской или TDM. Этот TDM представляет собой дополнительный пропускающий слой, изготовленный поверх датчика и имеющий особую форму профиля, который может кодировать фазу и направление света, который затем улавливается датчиком.

TDM, по сути, создает дифракционную картину (эффект Тальбота) на результирующем изображении, которая различается в зависимости от расстояния до захваченного объекта.Изящная вещь, которую Airy3D может сделать здесь, — это использовать передовые программные алгоритмы, которые могут декодировать этот шаблон и преобразовывать необработанное захваченное 2D-изображение в 3D-карту глубины, а также в 2D-изображение с компенсированной дифракционной картиной.

Роль

Airy3D в производственной цепочке модуля камеры с поддержкой DepthIQ заключается в разработке решетки TDM, которую они затем лицензируют и сотрудничают с производителями датчиков, которые затем интегрируют ее в свои датчики во время производства. По сути, компания будет сотрудничать с любым из крупных производителей датчиков, такими как Sony Semiconductor, Samsung LSI или Omnivision, чтобы создать законченное решение.

Мне было любопытно, есть ли у компании какие-либо ограничения с точки зрения разрешения, с которым может изготавливаться TDM, поскольку многие современные датчики камер используют шаг пикселя 0,8 мкм, и мы даже начинаем видеть, как на рынке появляются датчики 0,7 мкм. Компания не видит проблем в уменьшении размера решетки TDM до 0,5 мкм — так что еще есть много возможностей для будущих поколений датчиков на долгие годы.

Добавление пропускающего слоя поверх сенсора, естественно, не является бесплатным, и это приводит к потере резкости.Компания заявляет о снижении резкости MTF примерно на 3,5%, а также о снижении чувствительности датчика из-за TDM в диапазоне 3-5% во всем спектральном диапазоне.

Примеры камер без TDM и с ним

Компания поделилась с нами некоторыми образцами системы камер с одним и тем же датчиком, один раз без TDM, а второй раз с использованием TDM. Оба снимка имеют одинаковую экспозицию и настройки ISO. Что касается резкости, я бы не сказал, что есть существенные сразу заметные различия, но мы видим, что более темное изображение с использованием TDM является результатом снижения эффективности QE сенсора.

Считается, что программная обработка сравнительно легкая по сравнению с другими решениями для датчиков глубины и может выполняться на CPU, GPU, DSP или даже на небольшой FPGA.

Результирующая разборчивость глубины, которую решение может достичь с помощью одного захвата изображения, весьма поразительна — и, по сути, нет ограничений на разрешение, которое может быть достигнуто, поскольку оно масштабируется с разрешением сенсора.

Более сложные решения для измерения глубины могут добавить от 15 до 30 долларов в спецификацию устройства.Airy3D считает, что эта технология получит наибольшее распространение в низком и среднем сегменте, поскольку обычно более высокий уровень может покрыть расходы на другие решения, а также вряд ли будет готов принести какие-либо жертвы в качестве изображения на датчики основной камеры. Например, более дешевое устройство могло бы иметь возможность разблокировать распознавание глубины лица с помощью простого датчика передней камеры, что обеспечило бы заметную экономию средств.

Airy3D говорит, что у них есть клиенты, готовые к использованию этой технологии, и они видят большой потенциал для нее в будущем.Это чрезвычайно интересный способ определения глубины, учитывая, что это пассивное аппаратное решение, которое интегрируется в существующий датчик камеры.

Коаксиальный датчик глубины с расширенным диапазоном глубины для приложений AR / VR

https://doi.org/10.1016/j.vrih.2019.10.004Получить права и контент

Аннотация

Справочная информация

Датчик глубины является важным элементом в устройствах виртуальной и дополненной реальности для оцифровки пользовательской среды в реальном времени. Современные популярные технологии включают стерео, структурированный свет и Time-of-Flight (ToF).Метод стерео и структурированный свет требует разделения базовой линии между несколькими датчиками для определения глубины, и оба имеют ограниченный диапазон измерения. Датчики глубины ToF имеют самый большой диапазон глубины, но самое низкое разрешение карты глубины. Чтобы преодолеть эти проблемы, мы предлагаем коаксиальный датчик карты глубины, который потенциально более компактен и экономичен, чем обычные камеры глубины со структурированным освещением. Между тем, он может расширять диапазон глубины, сохраняя при этом высокое разрешение карты глубины.Кроме того, он предоставляет двухмерное изображение с высоким разрешением вместе с трехмерной картой глубины.

Методы

Этот датчик глубины имеет путь проецирования и путь изображения. Эти два пути объединены светоделителем для коаксиальной конструкции. На пути проецирования вставлена ​​цилиндрическая линза, чтобы добавить дополнительную оптическую силу в одном направлении, что создает астигматический узор. Для измерения глубины астигматический узор проецируется на тестовую сцену, а затем информация о глубине может быть вычислена по изменению контраста изображения отраженного узора в двух ортогональных направлениях.Чтобы расширить диапазон измерения глубины, мы используем настраиваемую линзу с электронной фокусировкой на остановке системы и настраиваем мощность для реализации расширенного диапазона глубины без ущерба для разрешения по глубине.

Результаты

При моделировании измерения глубины мы проецируем цель разрешения на белый экран, который движется вдоль оптической оси, а затем настраиваем оптическую силу линзы с настраиваемой фокусировкой для трех поддиапазонов измерения глубины, а именно ближнего, среднего и дальнего. В каждом поддиапазоне, по мере того как тестовый экран удаляется от датчика глубины, горизонтальный контраст продолжает увеличиваться, в то время как вертикальный контраст продолжает уменьшаться в отраженном изображении.Следовательно, информацию о глубине можно получить путем вычисления коэффициента контрастности между элементами в ортогональных направлениях.

Выводы

Предлагаемый датчик карты глубины может обеспечивать измерение глубины для расширенного диапазона глубин с коаксиальной конструкцией.

Ключевые слова

Датчик карты глубины

3D-камера

Контролируемая аберрация

Рекомендуемые статьи Цитирующие статьи (0)

Рекомендуемые статьи

Цитирующие статьи

Портал Sony Group — Sony разрабатывает составной датчик глубины прямого времени полета для автомобильной промышленности LiDAR с пикселями SPAD, первый в отрасли * 1

Пресс-релизы на этом веб-сайте предназначены только для исторической справки.
Обратите внимание, что определенная информация могла измениться с момента выпуска.

18 февраля 2021 г.

Токио, Япония — Корпорация Sony объявила сегодня о разработке многослойного датчика глубины прямого времени полета (dToF) для автомобильного LiDAR с использованием пикселей однофотонного лавинного диода (SPAD), что является первым в отрасли. * 1 Об этом достижении было объявлено на конференции Международная конференция по твердотельным схемам (ISSCC), открывшаяся 13 февраля 2021 г.

• * 1Датчик глубины для автомобильного LiDAR.Дата объявления 18 февраля 2021г.

В дополнение к чувствительным устройствам, таким как камеры и радар миллиметрового диапазона, LiDAR становится все более важным методом высокоточного обнаружения и распознавания не только дорожных условий, но также местоположения и формы таких объектов, как автомобили и пешеходы. Эта тенденция обусловлена ​​популяризацией передовых систем помощи водителю (ADAS) и потребностью в этой технологии при автономном вождении (AD).

SPAD — это пиксельная структура, которая использует лавинное умножение для усиления электронов от одного падающего фотона, вызывая каскад, похожий на лавину, и может обнаруживать даже слабый свет. Можно выполнять измерения дальнего расстояния с высокой точностью, используя SPAD в качестве детектора в датчике dToF, который измеряет расстояние до объекта на основе времени полета (разницы во времени) света, излучаемого источником света. пока он не вернется к датчику после отражения от объекта.Теперь, используя такие технологии Sony, как пиксельная структура с задней подсветкой, многослойные конфигурации и соединения Cu-Cu * 2, культивируемые при разработке датчиков изображения CMOS, а также создание SPAD-пикселей и схемы обработки измерения расстояния на одном кристалле, Sony добилась успеха. в разработке компактного сенсора с высоким разрешением. Это позволяет производить высокоточные и высокоскоростные измерения с разрешением 15 сантиметров на расстоянии до 300 метров * 3. Новая разработка также поможет обеспечить обнаружение и распознавание в суровых условиях, таких как различные температуры и погодные условия, которые требуются для автомобильного оборудования, тем самым повышая надежность LiDAR.Использование одного чипа также помогает снизить стоимость LiDAR.

Sony также разработала систему MEMS (Micro Electro Mechanical System) * 4 LiDAR, оснащенную этой новой технологией для целей оценки, которая теперь предлагается клиентам и партнерам.

• * 2 Технология, обеспечивающая электрическую непрерывность через подключенные медные (медные) контактные площадки при наложении пиксельной секции (верхний чип) и логических схем (нижний чип). По сравнению с проводкой через кремниевые переходники (TSV), где соединение достигается с помощью электродов, вставленных по окружности области пикселя, этот метод дает больше свободы в дизайне, повышает производительность, обеспечивает более компактный размер и увеличивает производительность.
• * 3При измерении объекта высотой 1 метр и коэффициентом отражения 10% с использованием аддитивного режима 6 x 6 пикселей (H x V) в условиях облачного дневного света.
• * 4 «МЭМС» — это устройство, которое объединяет различные компоненты на одной подложке с использованием технологии микротехнологии. В этом LiDAR используется метод сканирования света, излучаемого источником света, с помощью зеркала MEMS.

Структурная схема новой разработки

SPAD Принципы пикселей

На датчике глубины dToF SPAD может обнаруживать одиночные фотоны.Приложение напряжения пробоя (VBD) * 5 к электродам в пикселе SPAD и пропуск фотонов с установленным избыточным напряжением смещения (VEX) * 6, которое превышает напряжение пробоя, усиливает электроны, генерируемые при фотоэлектрическом преобразовании, посредством лавинного умножения. Умножение лавины прекращается, когда напряжение между электродами падает до напряжения пробоя. После того, как электроны, генерируемые при лавинном умножении, разряжаются и возвращаются к напряжению пробоя (гасящее действие), напряжение между электродами снова устанавливается на избыточное напряжение смещения, чтобы обеспечить обнаружение следующего фотона (действие перезарядки).Это умножение электронов, вызванное приходом фотона, известно как мода Гейгера.

• * 5 Напряжение, при котором начинается лавинное умножение
• * 6 Напряжение, превышающее напряжение пробоя (VBD)

Принципы пикселей SPAD (ток / напряжение) Иллюстрация умножения лавины

Основные характеристики

1) Высокоточное измерение при разрешении диапазона 15 см на расстоянии до 300 м

В новой технологии используется пиксельная структура SPAD с задней подсветкой, в которой используется соединение Cu-Cu для обеспечения проводимости каждого пикселя между пиксельным чипом (вверху) и логическим чипом, оснащенным схемами процессора измерения расстояния (внизу).Это позволяет разместить все схемы, кроме световозвращающих пикселей, снизу, что обеспечивает высокую светосилу * 7 и высокую эффективность обнаружения фотонов 22% * 8. Даже при компактном размере чипа достигается высокое разрешение примерно 110 000 эффективных пикселей (189 x 600 пикселей) при размере пикселя 10 мкм. Это обеспечивает высокоточное измерение расстояний с разрешением 15 сантиметров на расстоянии до 300 метров, тем самым способствуя улучшенным характеристикам обнаружения и распознавания LiDAR.

• * 7 Соотношение секции апертуры (секции, отличной от секций блокировки света), если смотреть со стороны падающего света на пиксель.
• * 8 Когда лазер с длиной волны 905 нм, используемый в обычном автомобильном LiDAR, проецируется на объект.

Эффективность обнаружения фотонов и длина волны Облако точек (слева: обычный лидар, справа: новый лидар)

2) Высокая скорость реакции с использованием оригинального преобразователя времени в цифровой (TDC) Sony и схемы пассивного гашения / перезарядки

Sony разработала свой оригинальный преобразователь времени в цифровой (TDC), который преобразует зарегистрированное время полета фотона в цифровое значение, и оригинальную схему пассивного гашения / перезарядки, и использовала их вместе с Cu-Cu-соединением для каждого пикселя, что позволило это позволяет улучшить скорость отклика на фотон до 6 наносекунд * 9 при нормальных условиях.Обработка высокоскоростного измерения расстояния способствует более безопасному вождению за счет обнаружения и распознавания окружающих условий в режиме реального времени.

• * 9 При температуре окружающей среды 60 ° С.

3) Стабильная эффективность обнаружения фотонов и скорость отклика в тяжелых условиях

Оригинальная пиксельная структура SPAD от Sony обеспечивает стабильную эффективность обнаружения фотонов и скорость отклика даже в суровых условиях от -40 ℃ до 125 ℃, что способствует повышению надежности LiDAR.

Эффективность обнаружения фотонов и рабочая температура Скорость отклика и рабочая температура

Основные характеристики

Sony выпускает многослойный датчик глубины SPAD для автомобильных LiDAR-приложений, первый в отрасли вклад в безопасность будущей мобильности с расширенными возможностями обнаружения и распознавания для автомобильных LiDAR-приложений ｜ Пресс-релизы ｜ Sony Semiconductor Solutions Group

Пресс-релизы на этом веб-сайте предназначены только для исторической справки.
Обратите внимание, что определенная информация могла измениться с момента выпуска.

Sony выпустит многослойный датчик глубины SPAD

для автомобильных приложений LiDAR, впервые в отрасли ^{* 1}
Вклад в безопасность будущей мобильности с улучшенным обнаружением и
Возможности распознавания для автомобильных приложений LiDAR

Sony Semiconductor Solutions Corporation

Ацуги, Япония — Sony Semiconductor Solutions Corporation объявила о предстоящем выпуске многослойного датчика глубины SPAD IMX459 для автомобильных LiDAR-приложений, использующих прямой метод определения времени пролета (dToF), впервые в отрасли. ^{* 1}

Этот продукт объединяет крошечные квадратные однофотонные лавинные диоды (SPAD) размером 10 мкм (SPAD) ^{* 2} и схему обработки измерения расстояния на одном кристалле, что обеспечивает компактный форм-фактор типа 1 / 2,9, обеспечивающий высокую точность и -скоростное измерение расстояния.

Новый датчик способствует безопасной и надежной мобильности в будущем за счет улучшения характеристик обнаружения и распознавания автомобильных LiDAR, необходимых для популяризации передовых систем помощи водителю (ADAS) и автономного вождения (AD).

* 1: как многослойный датчик глубины SPAD для автомобильного LiDAR. По состоянию на анонс 6 сентября 2021 года.
* 2: Пиксельная структура, которая использует лавинное умножение для усиления электронов от одного падающего фотона, вызывая каскад, подобный лавинообразному.

IMX459 SPAD Датчик глубины ToF для автомобильных LiDAR

Название модели	Образец отгрузки дата (плановая)	Пример цены (включая налог)
IMX459 1/2.Тип 9 (диагональ 6,25 мм) прибл. 100000 эффективных пикселей * 3 Датчик глубины SPAD ToF для автомобильных LiDAR-приложений	март 2022 г.	15 000 иен

* 3: На основе метода определения эффективных пикселей датчика изображения.

Помимо устройств обнаружения, таких как автомобильные камеры и радары миллиметрового диапазона, LiDAR становится все более важным методом высокоточного обнаружения и распознавания дорожных условий, а также местоположения и формы таких объектов, как автомобили и пешеходы.Между тем, для того, чтобы LiDAR мог расти и проникать на рынок, остаются технические препятствия, включая необходимость дальнейшего улучшения характеристик измерения расстояния, повышения безопасности и надежности независимо от среды и условий использования и перехода на твердотельный накопитель ^{*. 4} для достижения более компактной формы и меньшей стоимости. Для решения этих проблем реализуются различные инициативы.

Из различных методов, используемых для измерения расстояния LiDAR, пиксели SPAD используются в качестве типа детектора в датчике dToF, который измеряет расстояние до объекта путем определения времени пролета (разницы во времени) света, излучаемого от источника, до момента его появления. возвращается к датчику после отражения от объекта.Используя такие технологии Sony, как пиксельная структура с задней подсветкой, многослойные конфигурации и соединения Cu-Cu * 5, созданные при разработке датчиков изображения CMOS, Sony преуспела в уникальной конструкции устройства, которое включает в себя пиксели SPAD и схему обработки измерения расстояния на одна микросхема. Эта конструкция помогает достичь крошечного размера квадратного пикселя 10 мкм, обеспечивая компактную форму и высокое разрешение примерно 100 000 эффективных пикселей в формате типа 1 / 2,9. Он также обеспечивает повышенную эффективность обнаружения фотонов и улучшенную чувствительность, обеспечивая высокоскоростное и высокоточное измерение расстояний с разрешением 15 сантиметров от дальнего до ближнего.Продукт соответствует стандартам функциональной безопасности для автомобильных приложений, которые помогают повысить надежность LiDAR, а конструкция с одним чипом способствует созданию более компактного и недорогого LiDAR.

* 4: Электронные компоненты и устройства без механических движущихся частей, в которых используется полупроводниковая технология.
* 5: Технология, которая обеспечивает электрическую непрерывность через подключенные Cu (медные) контактные площадки при наложении пиксельной секции (верхний чип) и логических схем (нижний чип). По сравнению с проводкой через кремниевые переходники (TSV), где соединение достигается с помощью электродов, вставленных по окружности области пикселя, этот метод дает больше свободы в дизайне, повышает производительность, обеспечивает более компактный размер и увеличивает производительность.

Основные характеристики

■ Высокая скорость и точность измерения расстояний благодаря многослойной конфигурации с квадратными пикселями SPAD 10 мкм и схемой обработки измерения расстояния

В этом продукте используется многослойная конфигурация, в которой соединение Cu-Cu используется для достижения проводимости для каждого пикселя между пиксельным чипом SPAD с задней подсветкой (вверху) и логическим чипом, оснащенным схемой обработки измерения расстояния (внизу).Это позволяет реализовать конфигурацию со схемой, размещенной в нижней части чипа пикселя, с сохранением высокой светосилы * 6, в результате чего квадратный пиксель имеет небольшой размер 10 мкм. В продукте также используется плоскость падения света с неровностями на ее поверхности для преломления падающего света, тем самым увеличивая скорость поглощения. Эти особенности приводят к высокой эффективности обнаружения фотонов 24% на длине волны 905 нм, обычно используемой в автомобильных источниках лазерного света LiDAR. Например, можно обнаруживать далекие объекты с низким коэффициентом отражения при высоком разрешении и разрешении по расстоянию.Кроме того, в секцию схемы включена активная схема подзарядки, которая поставляется с соединением Cu-Cu для каждого пикселя, что обеспечивает скорость отклика примерно 6 наносекунд * 7 при нормальной работе для каждого фотона.

Эта уникальная многослойная конструкция обеспечивает высокоскоростное и высокоточное измерение расстояний с разрешением в 15 сантиметров от дальних до ближних расстояний, тем самым способствуя улучшенным характеристикам обнаружения и распознавания автомобильных LiDAR.

* 6: Соотношение секции апертуры (секции, отличной от секций блокировки света), если смотреть со стороны падающего света на пиксель
* 7: При температуре окружающей среды 85 ° C.

• Пакетная конфигурация датчика глубины SPAD ToF
  (Вверху: пиксели SPAD, внизу: схема обработки измерения расстояния)

• Пример изображения (облако точек)

■ Соблюдение стандартов функциональной безопасности для автомобилей помогает повысить надежность LiDAR.

Этот продукт должен быть сертифицирован как соответствующий требованиям испытаний надежности автомобильных электронных компонентов AEC-Q100 Grade 2.Sony также внедрила процесс разработки, который соответствует стандартам функциональной безопасности автомобилей ISO 26262 и поддерживает уровень требований функциональной безопасности ASIL-B (D) для таких функций, как обнаружение отказов, уведомление и контроль. Все это будет способствовать повышению надежности LiDAR.

Основные характеристики

Название модели		IMX459
Эффективные пиксели		597 x 168 пикселей (В x В), прибл.100000 пикселей
Размер изображения		Диагональ 6,25 мм (тип 1 / 2,9)
Рекомендуемая длина волны источника света		905 нм
Размер элементарной ячейки SPAD		10,08 мкм x 10,08 мкм (В x В)
Размер элемента (блок пикселей ToF)		3 x 3 (В x В)
Эффективность обнаружения фотонов		24%
Скорость отклика		Прибл.6 нс
Блок питания	Напряжение пробоя SPAD	-20,5 В
	SPAD Превышение напряжения	3,3 В
	Аналог	3,3 В
	Цифровой	1,1 В
	Интерфейс	1,8 В
Интерфейс		Последовательный выход MIPI CSI-2 (4 полосы / 2 полосы)
Упаковка		152-контактный пластиковый BGA
Размер упаковки		15. Читайте также Глухозаземленная и изолированная нейтраль отличия: Режимы работы нейтрали в электроустановках и электрических сетях Что такое дребезг контактов: Дребезг контактов, и как с ним бороться Релейная защита трансформатора: Релейная защита силовых трансформаторов Добавить комментарий Отменить ответ Ваш адрес email не будет опубликован. Обязательные поля помечены * Комментарий * Имя * Email * Сайт