Компьютерная графика + Фотограмметрия

Что мне требуется для фотоскана, железо:

Телефон с  топовой или около-топовой камерой, нужна высокая детализация кадра, адекватный динамический диапазон, чтобы не было пересветов и чтобы не было черных теней, шумодав в камере без артефактов. Летом долго выбирал на gsamarena и прочих  тестах камер, мой выбор - MiMix2S.

Комплюктер. Что-то многоядерное, но и не 20 медленных ядер ксеонов, согласно исследованиям, фотоскан не ускоряется линейно от прибавления ядер (привет закон Амдала). Мой выбор остановился на Threadripper 1920X.

Память - от 64Гб, я пока мучаюсь с 32Гб, поэтому приходится идти на компромиссы качества или уменьшать площадь сканируемого образца. Скорость памяти кардинально не повлияет, лучше около 3000мГц.

Софт:

Прога сканирования - Agisoft PhotoScan. Тут практически без конкурентов.

Что-то для работы с высокополигональной сеткой. Zbrush например. Но сам я мало дорабатываю именно форму, поэтому делаю все в 3ds max. Запекаю на текстуру  иногда там же, но лучше в xNormal, в один клик без шаманства делает отличные  бэйки. Прога где скорректировать у текстур неровности освещения и формы, сделать бесшовность. Photoshop тут сразу нет. Нужно что-то пакетное. After effects, например, и процедурное... упс, тогда Nuke - мой выбор. В сабстансе не работал и не буду))

Погода, дааа... вот тут засада с этими фотосканами, мало просто найти подходящий референс, нужно чтобы погодные и световые условия соответсвовали. Вы не можете скнировать под солнцем, вы не можете сканировать в дождь, вы не можете сканировать при переменной облачности.  И сканируя в неравномерном освещении, например в тени дерева или забора, рискуете получить слишком неравномерную пятнистую текстуру, что потом  тяжело вытягивать, либо вообще не получится, нельзя забывать, что мы же не в RAW на профессиональный фотик делаем снимки. Да  и там  проблемы будут те же.

Ну что народ, погнали.

Первое, конечно, правильно сфотографировать поверхность. Фотографируется перпендикулярно поверхности,  всё в фокусе, перекрытие кадров между собой 40-50%.  Примерно 40 фоток на квадратный метр стены/земли. Большую плотность мои 32гб не вывезут при 12мп фотографиях. На моей камере мылят крайние углы, лучше выбрать квадратное кадрирование.

Дальше все эти 150-200 фоток закидываются в фотоскан. Там все просто как 1-2-3-4.  Минимум ручной работы. Настройки для этой стенки были такие. HeghtField и Orthophoto применимы только к плоским поверхностям, зато экономит памяти и считается быстро. Обычный меш можно считать и 10, и 20 часов.

Первый этап - определение позиций камер. Для 12мп фоток, опять же по исследованиям, не смысла в более чем 60000 key points. Пока что-то непонятное. На то он и первый этап.

На втором этапе создается плотное облако точек, в тысячи раз плотнее первого. Дырки- это не страшно,  они сами закроются, да и на текстуре все равно не будет видно этих вертикальных разрывов поверхности.

Далее - полигональная сетка поверх этих точек. Дырки закрылись как и говорил, всё из-за Interpolation "Enabled".

Ну и вишенкой на торте осталась текстура с цветом. Для поверхности подобного размера достаточно 16K текстуры. При 32K уже видно скорее артефакты и шумы  камеры, чем новые детали.

Вот и всё, прога сама сделала высокодетализированную полигональную поверхность с 16к текстурой и Вы великолепны. Но постойте, чего делать с 9 миллионами полигонов. Поставить в углу сцены эту стенку, чтоб не отсвечивала и  тихонько сжирала свои гигабайты памяти на рендер. Ну уж нет уж.  Джесси, нам надо варить печь!

Чтобы запечь высокополигональную  поверхность, нам нужна низкополигональная.  Тут я использовал обычную плоскость, но ручками подвигал вершины чтобы поверхности были более согласованы. Особенно это важно по краям плоскости, чтобы на карте высот избежать слишком больших несоответствий по яркости, для более простой доработки.

Получить текстуру цвета и нормалей можно прямо в 3дмаксе, но там надо создавать проекцию, настраивать всё, а нам карту высот еще надо, там вообще плохо с этим. Надо переключаться в scanline render, шаманствовать с настройками, короче к чёрту все это. Делаем два экспорта - лоупольки и хайпольки, импортируем в xNormal, надо указать base текстуру для хайпольки, еще пара кликов мышкой и всё, текстуры запечены. Запекаю я уже в 8К, а карты высот и нормалей в будущем вообще порежутся до 2-4К, т.к. они не содержат в себе столько деталей, чтобы шиковать на 8К. Тут 8192*4096, т.к. текстура будет с соотношением 2:1,  так устроен наш взгляд, что для кирпичной кладки важнее добавить кирпичей по горизонтали, чтобы повторяемость была менее явной. Все естественно в EXR 32-bit. Иначе никак.

Вот что выдает xNormal после себя.  При желании уже можно использовать.

Вот только всё какое-то блеклое, гамма  потеряна, карта высот не понятно что показывает, да и весит это все еще много, напомню, openEXR 8192*4096 32-bit float. Нам бы шакалоформат, жпег родимый. А еще нет никакой текстуры позволяющей делать  отражения материалу.

Тут я пожалуй разделю на еще одну часть, думал в один пост уместится, похоже что нет. Как я дорабатываю текстуры после xNormal в Nuke и собираю Vray материал обратно в  3ds max запилю еще один пост поменьше. А еще отвечу почему телефон, а не фотик, почему 3ds max, а не Houdini, почему Nuke, а не Substance. Ну и может в комментариях еще какие вопросы по теме подвезёте.

Можно повертеть модель щелкнув сюда

Данный метод называет "Фотограмметрия", под него есть и платные и бесплатные программы.

Плюсом такого метода является то, что тебе нужен лишь фотоаппарат и компьютер. Из минусов, например, такой метод очень плохо работает на одноцветных объектах без заметной текстуры.

Я использовал пиратку ознакомительную версию Photoscan (все равно тыкаю ради любопытства и пока не собираюсь на ней зарабатывать).

В ход пошли фотки типа такой

К слову, зеленый хромокей я потом попробовал ради эксперимента, но он на данной статуэтке бликует слишком сильно и зеленые блики я не смог убрать не портя цвета модели (впрочем, я не мастер фотошопа).

В принципе, фотограмметрия позволяет не использовать хромокей вообще, но тогда нужно переставлять камеру вокруг модели, но я же типа самый умный и решил поворачивать саму статуэтку, и лишь пару раз изменить положение фотоаппарата относительно статуэтки. За что поплатился тем, что пришлось для каждой фотки делать маску в фотошопе. Да, на 100 фотках.

Хорошо что я недавно узнал что в фотошопе можно автоматизировать обработку, но этот вопрос я раньше не изучал, заоодно узнал как это делается.

Конечно, маски получилось не идеальные, и для разных групп фотографий приходилось автоматизацию немного подстраивать для более приемлемого результата, но зато не ручками все 100 фоток обрабатывать.

Пример маски чтобы программа знала какие области фотографии нужно обрабатывать, а какие нет:

Из интересного - при повторных попытка сделать ту же модель используя немного  другой подход я стал получал недоделанную модель с дырками. Пока что не я понял где именно я косячил.

После всех страданий окно программы выглядело так:

100 фотографий 5000х3200, чистое время работы компьютера ( i5 4 GHz, 16GB RAM, GF GTX 760 2GB) составило порядка часа на не самых крутых настройках (на максимуме кое где потребуется памяти сильно побольше чем 16 GB).

А в сумме, включая прыжки нуба по граблям, я потратил 1 день.

В 3D редакторах не обрабатывал - просто не умею, если честно. Запекать текстуру, делать низкополигональную модель - мне сейчас все это не нужно так как сейчас я просто ради интереса попробовал как работать с данным инструментом, и мне просто некуда девать полученный результат.

P.S. Возможно вы спросите "кому это вообще нужно?"

Например, игроделам - можно добавить в игру объект из реального мира.

Или еще фотограмметрия используются для создания рельефа местности используя аэрофотоснимки .