Улучшение графики при помощи нейросети ESRGAN

[kkrf40]

Всем доброго времени суток!

 

Собственно по сабжу. Я провел пару экспериментов с ESRGAN, и результаты действительно впечатляют.

(пока улучшал модельки юнитов для Civilization 5, хотя она далеко не такая старая как Арканум, но и там результат виден)

Сразу возникла мысль применить это дело к любимой игре.

 

Есть пара вопросов к более опытным мододелам.

Графика окружающего мира как я понял вся в BMP-шках лежит в townmap, или я что-то пропустил ?

 

С art файлами насколько я понял из форума не все так просто ибо они многослойные.

Нейросеть с прозрачностью не работает в принципе. Ей подавай JPG PNG

или BMP. PNG можно подсунуть с прозрачностью, но она её грохнет в процессе конвертации.

 

В любом случае мне нужны BMP-шки в качестве исходников.

 

Не откажусь и от помощи. Если кто не против свалить в одну кучу все BMP которые можно подвергнуть

обработке и выльет на файлообменник я их пеерконвертирую в HI-RES.

Файлов может быть хоть 10 тыщ.

Процесс идет довольно шустро с CUDA и GTX1080 )

 

А пока я побаловался со сплешами из арканума.

И вот что вышло:

до https://yadi.sk/d/dnNUQTKzLi-DqQ

после https://yadi.sk/d/JlXYPeU7leFkIw

 

Или вот еще (разница особенно видна при просмотре на полный экран) https://yadi.sk/d/wetr0cP9yOyhVg

 

UPD! перегнал в hires все файлы из townmap\crash-site

но столкнулся с проблемой при запихивании их обратно в Arcanum.dat

игра не стартует после этого.

Движок не позволяет загрузить файлы такого объема? (а весить они стали 75 мб вместо 4мб)

В общем нид хелп

файлы тут https://yadi.sk/d/uplVcHrpyzFTZg

[Positiff]

Я провел пару экспериментов с ESRGAN, и результаты действительно впечатляют.

А пока я побаловался со сплешами из арканума. И вот что вышло:

до https://yadi.sk/d/dnNUQTKzLi-DqQ

после https://yadi.sk/d/JlXYPeU7leFkIw

Меня это что-то не впечатлило, от слова совсем. И что это за размытость такая в твоей картинке "до"? В оригинале такого нет! Более того, четкость оригинальной картинки лучше, чем у твоего "после". Так в чем тогда смысл этих твоих улучшений графики?

 

Графика окружающего мира как я понял вся в BMP-шках лежит в townmap, или я что-то пропустил ?

Ты всё неправильно понял. Там лежат карты локаций окружающего мира. Не зря же папку townmap назвали...

 

С art файлами насколько я понял из форума не все так просто ибо они многослойные.

Нейросеть с прозрачностью не работает в принципе. Ей подавай JPG PNG или BMP.

PNG можно подсунуть с прозрачностью, но она её грохнет в процессе конвертации.

В любом случае мне нужны BMP-шки в качестве исходников.

На самом деле тут всё проще, чем ты думаешь. Никакой прозрачности в ART файлах нет, там просто в качестве фона используется определённый цвет (обычно синий), который уже движок игры потом заменяет. С помощью многослойности реализованы анимации, но по сути это просто набор нескольких идущих подряд картинок. Кроме того, есть программы (ссылка) для конвертации ART в BMP и обратно, например, ArtView.

 

Не откажусь и от помощи. Если кто не против свалить в одну кучу все BMP которые можно подвергнуть обработке и выльет на файлообменник я их пеерконвертирую в HI-RES.

Очень сомневаюсь, что найдутся желающие кроме тебя...

 

UPD! перегнал в hires все файлы из townmap\crash-site, но столкнулся с проблемой при запихивании их обратно в Arcanum.dat, игра не стартует после этого.

А ты чего-то другого ожидал изменив размер файлов с 64x32 на 256x128 ?

Очевидно, что движок ожидает файлы конкретного размера...

[kkrf40]

Меня это что-то не впечатлило, от слова совсем. И что это за размытость такая в твоей картинке "до"? В оригинале такого нет!

 

в сравнении картинка из оригинальной игры, 100%.

Если смотреть на нее в разрешении 800х600 то мыла не видно.

Но как быть если играешь в FullHD или даже 2560х1440.

Если растянуть оригинальные сплеши во весь экран то и будет то самое мыло.

В hi-res картинке мыла нет. Я именно растягивал ОБЕ картинки во весь экран и далее сравнивал их центральную часть. Результат налицо. В примере с аэропланом особенно хорошо видно. В оригинале хвост аэроплана - сплошное мыло.

 

Впрочем - на вкус и цвет как говорится.

Кто-то предпочитает в окне играть и щас в 800х600. Почему нет. Каждому свое.

Вот кстати.

Возьмите кто хочет ориг. сплеш и поставьте фоном на рабочий стол. (полагаю у большинства моники 1920х1080)

https://yadi.sk/i/Xj9AXGju4wd_NQ

посмотрите на мыло. посмотрите еще раз )

А теперь поставьте вот это:

https://yadi.sk/d/xJGQGdWB_guX6w

 

Не благодарите )

[Positiff]

В сравнении картинка из оригинальной игры, 100%. Если смотреть на нее в разрешении 800х600 то мыла не видно.

Но как быть если играешь в 2560х1440. Если растянуть оригинальные сплеши во весь экран то и будет то самое мыло.

В hi-res картинке мыла нет. Я именно растягивал ОБЕ картинки во весь экран и далее сравнивал их центральную часть.

Результат налицо. В примере с аэропланом особенно хорошо видно. В оригинале хвост аэроплана - сплошное мыло.

Теперь ясно. Стоило об этом сразу написать, а не выкладывать размытые картинки без описания что к чему...

Тогда результаты работы нейросети действительно хороши. Но применить их получится только к экранам загрузки и к видеороликам.

Изображения интерфейсов и предметов игры не получится увеличить без изменения зашитых в движке размеров названных объектов.

С этим лучше всего смог бы справиться автор HighRes мода Drog Black Tooth, который раскопал движок в этом направлении лучше всех.

Но он уже почти отошёл от дел и редко выходит на связь. Я ему конечно напишу по этому поводу в скайп, но нет гарантии, что он ответит.

Хотя не так давно он возвращался к работе над своим модом на высокое разрешение, так что можешь попробовать написать ему на rpgcodex.

[kkrf40]

С этим лучше всего смог бы справиться автор HighRes мода Drog Black Tooth, который раскопал движок в этом направлении лучше всех.

Но он уже почти отошёл от дел и редко выходит на связь. Я ему конечно напишу по этому поводу в скайп, но нет гарантии, что он ответит.

 

Я понял. Да жалко конечно, что с изометрией все не так просто как с 3D играми, в которые подсунуть текстуры большего разрешения как правило не проблема.

 

Так или иначе, если вдруг кому нужны в hi-res экраны загрузки и заставки из финала игры

могу тут выложить.

Ну а если вдруг получится заставить движок слопать файлы большего размера - то я всегда готов

их преобразовать. Тут глядишь заодно и алгоритмы новые предобученные для ESRGAN выложат.

Проект опенсоурсный, там группа энтузиастов постоянно что-то улучшает.

 

P. S. если меня долго не будет на форуме, то олдфаги могут писать в асю )) 233-300-565

[Positiff]

Так или иначе, если вдруг кому нужны в hi-res экраны загрузки и заставки из финала игры, могу тут выложить.

Я написал по этому поводу создателям репека Arcanum Multiverse Edition. Думаю им это будет интересно.

 

Ну а если вдруг получится заставить движок слопать файлы большего размера - то я всегда готов их преобразовать.

Это будет зависеть от того, захочет ли этим заняться Дрог. Ему я тоже написал. Ждём ответы.

 

Кстати, а ты можешь улучшить разрешение игровых видеороликов? Как мне кажется, это было бы особенно интересно в качестве нового улучшения для мода на высокое разрешение.

[sarion]

Ролики можно также раздраконить на отдельные кадры, прогнать через нейросеть и сшить обратно. Нужен только винчестер побольше.

[kkrf40]

Ролики можно также раздраконить на отдельные кадры, прогнать через нейросеть и сшить обратно. Нужен только винчестер побольше.

Хм... честно признаюсь, в видеомонтаже я профан.

Разбить на JPG это я сделаю, загуглил как.

А вот сшить видео обратно из джпегов сложнее.

это единственный способ. Пока что готовое видео нейросеть улучшать не умеет (хотя я думаю это вопрос времени)

 

Первая проба не слишком удачная.

То есть да, картинки то получились в 4 раза больше оригинальных. И можно сшить видео в разрешении 3200х2400

Может на выходе при урезании до 1920х1080 получится годная картинка, я хз.

 

пиксели в ориг. видео настолько большие что нейросети не хватает данных чтобы их все убрать,

дорисовав недостающие части картинки.

Впрочем, тут нужно пробовать разные алгоритмы.

Думаю что проблема решаема.

 

образцы было-стало

https://yadi.sk/d/7WY9nKcjEd43Jw

[sarion]

На хабре есть статья про эту (или другую нейросеть). Там человек таким образом мульт улучшал. Но я не знаю были ли там написаны инструменты.

 

Хабр - там какая-то консольная приблуда для этого используется. Я не сильно вчитывался - стараюсь от работы с видео держаться как можно дальше.

[kkrf40]

 

Хабр - там какая-то консольная приблуда для этого используется.

 

Спасибо за наводку.

Протестировал. Лучшие результаты дает Let's Enhance.

но он платный. и ладно б. я заплатил 7 баксов. но там лимит 999 фоток.

Этого не хватит для обработки всех роликов.

Вступительный 11 секундный ролик (с выстрелом из револьвера) это 267 кадров.

Попробую пока фотошопом, как автор с хабра.

 

UPD!

в общем результаты

https://yadi.sk/d/rBBoIVTbp5MQtg

 

2 пресета ресамплинга из фотошопа, ESRGAN и Let's Enhance.

На мой взгляд лидер однозначно Let's Enhance.

 

Так или иначе я пока склеил видео в 2560х1920 точек (ибо оригинал 4:3) из того что выдал фотошоп.

(вначале есть дефект рендеринга, но пофиг. это альфа версия)

https://yadi.sk/d/dYR64JnHCgiFgA

[Positiff]

Первая проба не слишком удачная.

Пиксели в ориг. видео настолько большие что нейросети не хватает данных чтобы их все убрать.

Может на выходе при урезании до 1920х1080 получится годная картинка, я хз.

Не надо слишком сильно увеличивать разрешение, максимум в 1.5-2 раза.

Насколько я понимаю, движок игры всё равно не умеет растягивать видео.

Оно выводится в центре экрана и при большом разрешении не поместится.

Например, у меня разрешение монитора составляет всего 1600x900 точек.

А игру я вообще запускаю при 1280x720 и не вижу смысла делать больше.

[Positiff]

Кстати говоря, со вступительным роликом игры всё не так просто как хотелось бы. Проблема в том, что в конце ролика после выстрела и прогорания экрана отображается пустое главное меню, размеры и положение которого должно в точности совпадать с реальной менюшкой игры, которая появляется после проигрывания ролика. Так вот если увеличить размеры видео, то нужно каким-то образом уменьшить менюшку в ролике и при этом сохранить тот самый эффект прогорания экрана.

[kkrf40]

Например, у меня разрешение монитора составляет всего 1600x900 точек.

А игру я вообще запускаю при 1280x720 и не вижу смысла делать больше.

 

Ну я бы стремился к золотой середине в виде 1920х1080. Такие у большинства

Конечно при условии что игра его корректно отобразит.

При этом я бы еще сменил формат с 4:3 на 16:9 соответственно.

У меня 27" моник 2560х1440 но арканум я запускаю в 1600х900 иначе слишком мелкое все.

Тут ребята из Let's Enhance вроде как обещали БЕСПЛАТНО улучшить все фреймы из роликов при помощи своего алгоритма.

 

Ну а дальше дело за монтажом. Я немного поковырял adobe premiere но думаю что более опытные люди сделают монтаж лучше меня.

[Positiff]

Ну я бы стремился к золотой середине в виде 1920х1080. Такие у большинства. Конечно при условии что игра его корректно отобразит.

У меня 27" моник 2560х1440 но арканум я запускаю в 1600х900 иначе слишком мелкое все.

Как я уже писал выше, игра не умеет растягивать видео, она просто отображает его в центре экрана как есть. Если размер видео будет больше разрешения игры, она просто упадёт, не сумев его отобразить (проверено). Так что если сделать ролик размером 1920х1080, то и играть придётся в таком же разрешении или выше. Именно поэтому я предлагал увеличение разрешения максимум в 2 раза. К тому же, нейросеть вряд ли сможет хорошо увеличить изображение более чем вдвое. Дальнейшее увеличение скорее всего не прибавит качества.

 

При этом я бы еще сменил формат с 4:3 на 16:9 соответственно.

Большинство роликов игры и так являются широкоформатными. Например, ролик с умирающим карликом в начале игры имеет разрешение 720x346, а заточение Арронакса - 800х400. Вступительный ролик игры, где столкнулись обладатели магического меча и технологического пистолета, имеет разрешение 800х600 потому, что в его конце отображается начальная менюшка игры, высота которой около 600 пикселей. Само видео внутри ролика широкоформатное и скорее всего тоже имеет разрешение 800х400.

[Positiff]

Если не сложно, увеличь мне пожалуйста изображение этого пистолета на 27% до разрешения 123x55.

Качество картинки желательно иметь близким к оригиналу, то есть достаточно чёткое и без размытия.

У меня к сожалению не вышло установить нейросеть т.к. в процессе установки питона возникает ошибка.