uzluga.ru
добавить свой файл





Структура курса, баллы и оценки

  • Структура курса, баллы и оценки

  • Задача синтеза изображений

  • Структура и оптика глаза

  • Спектральное и темпоральное восприятие света

  • Визуальные явления

  • Восприятие глубины



Структура курса, баллы и оценки

  • Структура курса, баллы и оценки

  • Задача синтеза изображений

  • Структура и оптика глаза

  • Спектральное и темпоральное восприятие света

  • Визуальные явления

  • Восприятие глубины



Структура курса, баллы и оценки

  • Структура курса, баллы и оценки

  • Задача синтеза изображений

  • Структура и оптика глаза

  • Спектральное и темпоральное восприятие света

  • Визуальные явления

  • Восприятие глубины



О чем курс?

  • О чем курс?

    • В курсе рассматриваются теоретические и практические основы фотореалистичного синтеза изображений моделей трехмерных объектов и сцен
  • Для кого курс?

    • Для студентов 2-5 курсов.
    • Для 2-го курса: для желающих распределиться на кафедру АСВК, лаборатория компьютерной графики и мультимедиа


Выбраны темы, не освещаемые широко в основном курсе машграфа

  • Выбраны темы, не освещаемые широко в основном курсе машграфа

  • Более «продвинутое» и детальное рассмотрение

  • Уровень сложности выше!

  • Не требует знаний из поточного курса



Лекционная часть

  • Лекционная часть

    • 9 лекций
  • Практическая часть

    • Три практических задания
    • Экзамен-тест
  • Баллы и оценки

  • http://courses.graphicon.ru/main/imagesynt



Лекция 1: Принципы восприятия света и цвета человеком

  • Лекция 1: Принципы восприятия света и цвета человеком

  • Лекция 2: Свет как энергия, радиометрия

  • Лекция 3: Цвета, цветовые пространства и модели

  • Лекция 4: Гамма, HDR.

  • Лекция 5: Модели камеры. Стереопроекция.

  • Лекция 6: Модели освещения.

  • Лекция 7: Геометрическое моделирование. Разновидности моделей.

  • Лекция 8: Трассировка лучей. Алгоритмы поиска пересечений и ускоряющие структуры.

  • Лекция 9: Синтез изображений методом излучательности



Три задания:

  • Три задания:

    • Свет и цвет: цветовые модели
    • Моделирование: представления геометрии
    • Синтез фотореалистичных изображений: трассировка фотонов


Распределение баллов

  • Распределение баллов

    • Посещение лекции: +1 балл
    • Задание 1: 15-35 баллов
    • Задание 2: 20-40 баллов
    • Задание 3: 25-45 баллов
    • Экзамен-тест: 30 баллов
  • Оценки

    • 5 -- 80 баллов и выше
    • 4 -- 66-79 баллов
    • 3 -- 50-65 баллов
    • 2 -- менее 50 баллов


http://courses.graphicon.ru/main/imagesynt

  • http://courses.graphicon.ru/main/imagesynt

  • На сайте:

    • Новости
    • Выкладываются лекции
      • .ppt + доп. материалы
    • Выкладываются задания
    • Сдача практических заданий и оценки
    • Общение: Форум


Структура курса, баллы и оценки

  • Структура курса, баллы и оценки

  • Задача синтеза изображений

  • Структура и оптика глаза

  • Спектральное и темпоральное восприятие света

  • Визуальные явления

  • Восприятие глубины





Разработка алгоритмов синтеза изображений = разработка способов коммуникации с помощью изображений

  • Разработка алгоритмов синтеза изображений = разработка способов коммуникации с помощью изображений

  • В: Что такое синтез фотореалистичных изображений?

  • О: Синтез «убедительных» изображений, неотличимых от восприятия реальности глазом или фотоаппаратом



Одна из задач в рамках создания убедительной модели реальности – создание неотличимых от реальности изображений

  • Одна из задач в рамках создания убедительной модели реальности – создание неотличимых от реальности изображений

  • Синтез фотореалистичных изображений необходим для создания приложений виртуальной реальности



Необходимо разработать следующие модели и алгоритмы:

  • Необходимо разработать следующие модели и алгоритмы:

    • Модель функционирования зрительной системы и головного мозга *
    • Модель переноса световой энергии
    • Геометрическая модель пространства
    • Алгоритм синтеза изображения
  • * вариант – оптики и матрицы камеры



Для синтеза убедительных изображений нужно понимание принципов функционирования человеческой зрительной системы

  • Для синтеза убедительных изображений нужно понимание принципов функционирования человеческой зрительной системы

  • Модель этого механизма => генерация изображений, аналогичных воспринимаемым глазом и мозгом => создание ощущения полной реалистичности синтезированного изображения.

  • Любая зрительная система состоит из двух частей

    • оптическая
    • чувствительная


Необходимо понять законы распространения света и его взаимодействия с материалами

  • Необходимо понять законы распространения света и его взаимодействия с материалами

  •  Невозможно передать всю полноту физических законов, по которым происходит перенос световой энергии в мире

  • Возможно моделировать только ключевые и существенные эффекты

  • Пример

    • зная, что основную роль в формировании ощущение глубины на плоском анимированном изображении играют перспектива и параллакс и падающие тени, в очередь нужно обратить внимание на эти эффекты


Модели зрительной системы и принципов распространения света не могут функционировать без приложения к модели интересующей части пространства

  • Модели зрительной системы и принципов распространения света не могут функционировать без приложения к модели интересующей части пространства

  • Модель содержит информацию о форме и материалах объектов, оптических свойствах среды и т.п.

  • Невозможно полностью оцифровать => тип модели подбирается под конкретную задачу

  • Пример

    • некоторые модели оцифровывают объемы объектов (воксельные модели), другие хранят информацию только о поверхности (граничные модели)


Методы синтеза изображений моделей трехмерных объектов (еще называемые методами экранизации) – отдельный раздел науки

  • Методы синтеза изображений моделей трехмерных объектов (еще называемые методами экранизации) – отдельный раздел науки

  • Цель – рассчитать цвет каждой точки финального изображения в условиях ограниченных вычислительных мощностей и требуемых характеристик изображения

  • К процессу экранизации предъявляются противоречивые требования:

    • в одних приложениях требуется максимальная точность получаемого изображения
    • в других можно пожертвовать качеством ради интерактивности


Структура курса, баллы и оценки

  • Структура курса, баллы и оценки

  • Задача синтеза изображений

  • Структура и оптика глаза

  • Спектральное и темпоральное восприятие света

  • Визуальные явления

  • Восприятие глубины



Свет

  • Свет

    • Электромагнитное излучение, испускаемое нагретым или находящимся в возбужденном состоянии веществом
  • Принцип дуальности

    • Электромагнитная волна
    • Поток фотонов
      • Фотон - частица, обладающая определенной энергией и нулевой массой покоя


Видимым диапазон

  • Видимым диапазон

    • Диапазон частоты электромагнитного излучения, на который реагирует чувствительная система глаза
    • Обычно в видимый диапазон включают частоты от 380 до 780 нанометров (1 нм = 10-9м)


Видимый свет испускается источниками света, которыми служит все, что не является абсолютно черным -- солнце, лампы, отражения от объектов

  • Видимый свет испускается источниками света, которыми служит все, что не является абсолютно черным -- солнце, лампы, отражения от объектов

  • Каждый источник света характеризуется спектральным составом излучения

  • Спектральный состав характеризуется функцией спектрального распределения C(λ), еще называемой просто спектром.

  • Аргументом функции является длина волны λ, а значением функции – мощность излучения соответствующей частоты

  • Практически все источники света излучают колебания в достаточно широком диапазоне частот. Исключение составляют источники когерентных колебаний – лазеры



Светопреломляющий аппарат

  • Светопреломляющий аппарат

    • Роговица
    • Жидкости камер
    • Хрусталик
    • Стекловидное тело
  • Аккомодационный аппарат

    • Радужка
    • Зрачок
    • Хрусталик
  • Рецепторный аппарат

    • сетчатка


Как мы видим свет:

  • Как мы видим свет:

    • Световые лучи входят в глаз через роговицу
      • фокусировка
    • Проходят через зрачок, окруженный радужкой
      • Изменение количества света
    • Проходят через хрусталик
      • дальнейшая фокусировка)
    • Проходят через стекловидное тело
    • Попадают на сетчатку
  • Изображение уменьшенное и перевернутое



Аккомодация – процесс изменений оптической силы глаза для поддержания четкого изображения на сетчатке

  • Аккомодация – процесс изменений оптической силы глаза для поддержания четкого изображения на сетчатке



Структура курса, баллы и оценки

  • Структура курса, баллы и оценки

  • Задача синтеза изображений

  • Структура и оптика глаза

  • Спектральное и темпоральное восприятие света

  • Визуальные явления

  • Восприятие глубины





После фокусировки света на сетчатке происходит восприятие и обработка получаемой электромагнитной энергии

  • После фокусировки света на сетчатке происходит восприятие и обработка получаемой электромагнитной энергии

  • Первый этап обработки: получение светового сигнала фоточувствительными ячейками на сетчатке глаза

  • Свет порождает химическую реакцию

    • основа – фотопигмент на сетчатке
  • Результат: электрический сигнал, посылаемый далее в мозг



Фоточувствительные сенсоры глаза не одинаково чувствительны во всех областях видимого диапазона

  • Фоточувствительные сенсоры глаза не одинаково чувствительны во всех областях видимого диапазона

  • Вещество палочек – родопсин (зрительный пигмент)

  • Пик чувствительности в области 500нм (сине-зеленый цвет)

  • Это согласуется с чувствительностью зрительной системы в ночное время

    • света не хватает для работы колбочек, и палочки становятся доминирующим сенсором
  • Высокая чувствительность к свету, но низкое разрешение!

    • Комбинируется сигнал с большого количества палочек


Три вида колбочек

  • Три вида колбочек

  • Колбочки каждого вида содержат свой особый пигмент

  • Три типа колбочек называют либо как B, G и R, либо как S, M и L (от Small, Medium, Long)

  • Пики их чувствительности приходятся примерно на 440 нм, 545 нм и 580 нм (для "усредненного" наблюдателя).



Единственной информацией, посылаемой палочкой или колбочкой является факт стимуляции фотопигмента светом, т.е. информации о длине световой волны не передается! Это называется «принципом одномерности»

  • Единственной информацией, посылаемой палочкой или колбочкой является факт стимуляции фотопигмента светом, т.е. информации о длине световой волны не передается! Это называется «принципом одномерности»

  • Вероятность поглощения фотона конкретным рецептором является функцией спектральной чувствительности рецептора и интенсивности света

    • т.е. если рецептор на 30% чувствителен на некоторой длине волны, то около 30 их 100 фотонов будут поглощены)
  • Зрительная система может восстановить интенсивность и цветовую характеристику входного сигнала только путем комбинации сигналов фоторецепторов с разной чувствительностью

    • такая реконструкция выполняется на одном из ранних этапов визуальной обработки


Почему визуальная система эволюционировала таким образом, что самый первый шаг обработки отбрасывает информацию, которая затем должна быть реконструирована?

  • Почему визуальная система эволюционировала таким образом, что самый первый шаг обработки отбрасывает информацию, которая затем должна быть реконструирована?

  • Зрительная система человека представляет собой компромисс между точной передачей цвета и высоким пространственным разрешением



Химические процессы в фоторецепторе длятся несколько миллисекунд

  • Химические процессы в фоторецепторе длятся несколько миллисекунд

  • Дополнительные фотоны, попавшие на рецептор в течение этого времени, добавляются к общему отклику

  • Появляется эффект, называемый темпоральным сглаживанием



Когда мигание медленное – воспринимаем индивидуальные вспышки света

  • Когда мигание медленное – воспринимаем индивидуальные вспышки света

  • После увеличения частоты мигания до некоторой критической отметки мигания сливаются в одно

  • Критическая частота для человека при наилучших условиях находится около 60Hz

  • Ранние фильмы производили эффект мигания, т.к. скорость воспроизведения пленки была недостаточна для того, чтобы глаз передавал интегрированное, гладкое изображение вместо последовательности статичных картинок.



Наши глаза могут различать очень широкий диапазон интенсивности света

  • Наши глаза могут различать очень широкий диапазон интенсивности света

  • Это достигается за счет явления адаптации

  • Увеличение чувствительности рецепторов при низком уровне освещения и уменьшение при высоком

  • Диапазон адаптации крайне широк



Структура курса, баллы и оценки

  • Структура курса, баллы и оценки

  • Задача синтеза изображений

  • Структура и оптика глаза

  • Спектральное и темпоральное восприятие света

  • Визуальные явления

  • Восприятие глубины



Известно очень много особенностей (явлений) человеческого зрения по сравнению с идеальной оптической системой

  • Известно очень много особенностей (явлений) человеческого зрения по сравнению с идеальной оптической системой

  • Некоторые из них можно и нужно учитывать в задачах синтеза изображений

    • Чувствительность к контрасту
    • Восприятие цвета


Чувствительность зрительной системы к контрасту определяет способность восприятия деталей и общую четкость восприятия

  • Чувствительность зрительной системы к контрасту определяет способность восприятия деталей и общую четкость восприятия



Задача – найти минимальную различимую разницу интенсивностей ΔI

  • Задача – найти минимальную различимую разницу интенсивностей ΔI

    • JND – just noticeable difference
  • Экспериментально получена кривая чувствительности к контрасту (закон Вебера)

  • ΔI/I ~ const ~ 0.02

  • Вывод: глаз реагирует на относительные интенсивности!









Наибольшая чувствительность к горизонтальным и вертикальным перепадам яркости

  • Наибольшая чувствительность к горизонтальным и вертикальным перепадам яркости



Человеческий глаз крайне толерантен к шуму

  • Человеческий глаз крайне толерантен к шуму



«Полосы Маха» - иллюзия границ на стыке участков разной интенсивности или плавного градиента

  • «Полосы Маха» - иллюзия границ на стыке участков разной интенсивности или плавного градиента





Яркость цвета зависит от контекста

  • Яркость цвета зависит от контекста

    • Одновременный контраст, последовательный контраст
  • Невозможно выбрать два цвета и ожидать предсказуемого поведения в разных частях изображения







Структура курса, баллы и оценки

  • Структура курса, баллы и оценки

  • Задача синтеза изображений

  • Структура и оптика глаза

  • Спектральное и темпоральное восприятие света

  • Визуальные явления

  • Восприятие глубины





Окуломоторная = «глазодвигательная»

  • Окуломоторная = «глазодвигательная»

  • Конвергенция

    • Поворот глазного яблока для фиксации на точке интереса
  • Аккомодация

    • Изменение фокуса
  • Особенности:

    • Ненадежно, работает только для близких объектов
    • Больше шести метров – фокус в бесконечность


Способность получать информацию о глубине на основе стереоданных

  • Способность получать информацию о глубине на основе стереоданных

  • Очень высокая точность

  • Две задачи, решаемые визуальной системой

    • Поиск соответствий
    • Вычисление ретинального диспаритета


Ошибочно считать, что визуальная система работает по алгоритму поиск особенностей / вычисление соответствий

  • Ошибочно считать, что визуальная система работает по алгоритму поиск особенностей / вычисление соответствий

  • Примеры: стереограммы со случайным шумом

    • Работают даже стереограммы из одного изображения! (автостереограммы)


Основная характеристика, по которой бинокулярная визуальная система различает глубины – ретинальный диспаритет

  • Основная характеристика, по которой бинокулярная визуальная система различает глубины – ретинальный диспаритет

    • Различия изображений в разных глазах
  • Некоторые части изображения сдвинуты относительно других

  • Нет поиска особенностей в явном виде, интегральный процесс



Некоторые подсказки относительно глубины могут быть получены из одного изображения

  • Некоторые подсказки относительно глубины могут быть получены из одного изображения

  • Называются монокулярными

  • Наиболее интересны для задач синтеза изображений

  • Две категории

    • Статические подсказки
    • Динамические подсказки


Очень мощный эффект!

  • Очень мощный эффект!

  • Если ретинальный диспаритет и взаморасположение противоречат, взаиморасположение имеет приоритет!



Большие объекты кажутся ближе

  • Большие объекты кажутся ближе

  • «Знакомый размер» - любой объект, размер которого известен, влияет на воспринимаемый размер соседних объектов



Угловой размер Луны постоянен

  • Угловой размер Луны постоянен

  • Но Луна кажется больше около горизонта и меньше – высоко в небе

  • Природа эффекта до конца не разгадана

  • Возможное объяснение – эффект «знакомого размера»



Перспектива – результат работы оптической системы глаза

  • Перспектива – результат работы оптической системы глаза

  • Наиболее привычный эффект

  • Варианты построения перспективы:

    • Линейная
    • Текстурная
    • Воздушная






Изменение в размере, цвете, расстояниях





Параллакс – изменение видимого положения объекта относительно удалённого фона в зависимости от положения наблюдателя

  • Параллакс – изменение видимого положения объекта относительно удалённого фона в зависимости от положения наблюдателя

  • Зная расстояние между точками наблюдения и угол смещения, можно определить расстояние до объекта

  • Очень мощный фактор восприятия глубины!



Курс: три части

  • Курс: три части

    • восприятие, свет, материалы
    • геометрическое моделирование
    • алгоритмы экранизации
  • Глаз – сложная оптическая система

  • Восприятия цвета

    • Принцип одномерности
    • Адаптация, темпоральное сглаживание
    • Чувствительность к контрасту
    • Яркость и контраст
  • Восприятие глубины: окуломоторное и визуальное

  • Визуальное восприятие глубины: бинокулярное и монокулярное