> Вторая ссылка на тренировку лор не работает, кстати.
> Опять чего-то в установке торча и прочий фигни сломалось.
> Кто за этим колабом следит, в какое спортлото писать вообще?
https://arhivach.top/thread/860317/#73567
Нашёл ветку, где впервые упомянули этот коллаб с дальнейшим добавлением в шапку. Из контекста неясно, кто его запилил. Может это и из форчановцев был кто-то, т.к. их гайд по обучению лор первым в списке гайдов идёт.
Если я хочу обучить сеть выдавать скажем что-то вроде рандомно генерируемых персонажей из овервача или рандомных покемонов, для этого подойдет лора или нужно сразу делать целый чекпоинт? И сколько минимум нужно для этого изображений в датасет чтобы не проглядывалась какая-то конкретная картинка?
>Если я хочу обучить сеть выдавать скажем что-то вроде рандомно генерируемых персонажей из овервача или рандомных покемонов, для этого подойдет лора или нужно сразу делать целый чекпоинт?
Это одно и то же, но лора это голый вес, менее качественно.
>И сколько минимум нужно для этого изображений в датасет чтобы не проглядывалась какая-то конкретная картинка?
Сколько считаешь нужным. Если тебе нужна тренировка стиля концепта и т.д. там все указано в дримбуте
Должно в лору поместиться, только дим поставь хотя бы 128, ну и наверное надо более менее поровну разделить повторения всех персонажей по директориям, рандомно потом сможешь вайлкардами вызывать.
Он по идее ломался уже дважды, и его чинили.
Но сейчас прям долго не работает.
Самое печальное - я понятия не имею, как эту фигню можно починить вообще. А у меня как раз с него самые удачные лоры тренировались.
А для лоры теги для датасета сильно критичны? На цивике много лорок у которых в сейфтензоре упомянут один единственный тег типа "my_lora_name". А я типа через блип генерирую теги под каждую картинку.
Ну можешь попробовать в дримбут стиле потренить, я хз что там в итоге получится. С тегами лучше всего на персонажей нашел подход к урезанию в один смежных тегов, например striked hair, two-colored hair, orange hair, white hair, multicolored hair -> multicolored hair. И так на большинство частей, которые ты хочешь чтобы лора всосала в определённый тег с персонажем.
Пытался стиль тренить без тегов, одним названием концепта
- фигня получилась.
С тегами вышло намного лучше.
Господа хорошие, кто-нибудь обмазывался такими извращениями как тренировка лор/локонов под WD1.5, или в общем под SD2.1? Интересуют параметры тренировки с успешным и качественным результатом.
Вечер в хату, классических моделей SD щас как говна. Который из них является классическим, я на хаггисе в глаза долблюсь от колличества. Кто ориг, лол.
У меня несколько ёбнутых вопросов
1. Кто то пробовал мерджить лору с моделью а потом на этой модели тренить то же самое? Что получилось?
2. Кто то пробовал тренить негатив? например я перетреню лору, сгенерирую говно и скормлю на пару эпох говоря это говно, не делай так, будет ли работать?
3. Кто то пробовал датасет разбивать на отдельные сложные концепты которые сложно разбить по папкам, например стилистика персонажа и его одежда, потом тренить отдельно лоры для них и мерджить
1. Кто то пробовал мерджить лору с моделью а потом на этой модели тренить то же самое? Что получилось?
2. Кто то пробовал тренить негатив? например я перетреню лору, сгенерирую говно и скормлю на пару эпох говоря это говно, не делай так, будет ли работать?
3. Кто то пробовал датасет разбивать на отдельные сложные концепты которые сложно разбить по папкам, например стилистика персонажа и его одежда, потом тренить отдельно лоры для них и мерджить
Тред мертв, а потом все спрашивают, че ты срешь в профильных тредах, пиздуй в техно, лел.
Вопрос на миллион: как корректнее всего смотреть разницу в качестве, когда мерджишь модельки?
Вопрос на миллион: как корректнее всего смотреть разницу в качестве, когда мерджишь модельки?
>Кто то пробовал мерджить лору с моделью а потом на этой модели тренить то же самое? Что получилось?
Оверфит.
> Кто то пробовал тренить негатив? например я перетреню лору, сгенерирую говно и скормлю на пару эпох говоря это говно, не делай так, будет ли работать?
Негативные эмбудиенты.
>3. Кто то пробовал датасет разбивать на отдельные сложные концепты которые сложно разбить по папкам, например стилистика персонажа и его одежда, потом тренить отдельно лоры для них и мерджить
Долбоебство. Это называется "модель", чмоня. Ты иди сперва проясни себе что такое лора и зачем она, а потом пиши хуйню.
Ну я потрастил время чтоб ответить на твои тупорылые говновопросы. Это даже не технические вопросы, а вопросы ленивого говна которое сидит и спрашивает хуйню не понимая и не желая главное понимать азов.
> 1.
Зачем? Скорее всего будет ерунда на выходе, при применении на других моделях будет все под чистую ломать.
> 2.
Общий абстрактный негатив тяжело будет натренить для лоры. Можно попробовать что-то конкретное, блюр, детали, цветовая гамма, успешные примеры есть. Возможно и на бадихоррор прокатит. Другое дело что применение лоры с отрицательным весом не обязательно даст тот же эффект, что негативные эмбеды. В последних делается связь только с текстовым энкодером, собирая в кучку токенов нужные связи, и оно работает штатно, а здесь результат неясен и куча побочек может лезть. Имеет смысл скорее полноценный файнтюн на плохих пикчах чтобы негатив лучше отрабатывал.
> 3.
Нечто подобное, да. Прямо отдельно ты их не натренишь, будет всеравно лезть или персонаж или общая стиллистика. Но сделать стилелору с одного персонажа или если у автора 90% пикч на одного чара и потом применять ее совместно с другими лорами - вполне.
> как корректнее всего смотреть разницу в качестве, когда мерджишь модельки
По генерациям, лол
https://blogs.nvidia.com/blog/2023/05/23/microsoft-build-nvidia-ai-windows-rtx/
Что думаете?
На оптимизированных моделях чуть ли не двухкратный прирост к скорости генерации.
Но я что-то не понимаю, как эти модели делать. Есть тут кто-нибудь, кто разберется?
P.s. Капча просто ппц...
Что думаете?
На оптимизированных моделях чуть ли не двухкратный прирост к скорости генерации.
Но я что-то не понимаю, как эти модели делать. Есть тут кто-нибудь, кто разберется?
P.s. Капча просто ппц...
Вообще мимо проходил, про нейросети знаю только то что это очень много if фов. Хочу сделать нейросеть которая будем искать людей на видео в реальном времени. Вопросы появились:
1. Есть ли годные библиотеки для симуляции работы нейросети для С++?
2. Хочу сделать что бы нейросеть работала с разным разрешением видео, как это сделать? Выбрать самый распространенный формат кадра, и патом масштабировать? Или просто квадратную матрицу 1 слоя сделать и не париться?
3. Нейросети быстро работают? Я просто хочу в реальном времени анализировать кадры, хотя бы раза три в секунду.
4. На микроконтроллерах по типу arduino получиться реализовать? А что если взять много дешевых микроконтроллеров каждый будет несколько нейронов симулировать. Патом натренировать нейросеть, и залить веса в микроконтроллер.
5. Как выбрать сколько слоёв в невросети будет?
1. Есть ли годные библиотеки для симуляции работы нейросети для С++?
2. Хочу сделать что бы нейросеть работала с разным разрешением видео, как это сделать? Выбрать самый распространенный формат кадра, и патом масштабировать? Или просто квадратную матрицу 1 слоя сделать и не париться?
3. Нейросети быстро работают? Я просто хочу в реальном времени анализировать кадры, хотя бы раза три в секунду.
4. На микроконтроллерах по типу arduino получиться реализовать? А что если взять много дешевых микроконтроллеров каждый будет несколько нейронов симулировать. Патом натренировать нейросеть, и залить веса в микроконтроллер.
5. Как выбрать сколько слоёв в невросети будет?
Тебе вроде как yolo подходит, она насколько я знаю заточена на скорость, и работает с изображениями 640x640, не знаю можно ли загрузить на микроконтролер
Если тебя интересуют готовые реализации по computer vision для поиска лиц/тел, попробуй ещё OpenCV глянуть.
> про нейросети знаю только то что это очень много if фов
лол
> Хочу сделать нейросеть которая будем искать людей на видео в реальном времени.
Что-то подобное делают студенты и вкатуны по окончанию курсов, разве что со статичных пикч начинают. Офк все на готовых либах и ассетах.
> 1. Есть ли годные библиотеки для симуляции работы нейросети для С++?
Библиотеки есть, про годные не слышал, сейчас все вокруг питона вертится
> 3. Нейросети быстро работают?
Вопрос уровня "а машины быстро ездят", все зависит от масштаба и оборудования, может в реальном времени в несколько потоков, может часы на "один кадр".
> 4. На микроконтроллерах по типу arduino
Ты рофлишь или серьезно? Нет, самые простые на армах заводятся, но никак на 8битной залупе, которая на единичную операцию по умножению fp16 потратит десятые миллисекунды.
> что если взять много дешевых микроконтроллеров
На плисинах "аппаратное решение" накодить можно, вот только познания для этого нужны несравнимые с тем, которые детектятся по твоим вопросам. Ну и это долгая работа коллектива, результатом которой будет пара нейтросеть-асик к ней а не то что васян на коленке запилить может. И даже так впрямую обойти видеокарты по цена-производительность врядли удастся.
Тебе вообще с закрепленный для кожанных, тут конкретно SD обсуждают.
Ну это да тредом я ошибся, сорян
>Ну я потрастил время чтоб ответить на твои тупорылые говновопросы. Это даже не технические вопросы, а вопросы ленивого говна которое сидит и спрашивает хуйню не понимая и не желая главное понимать азов.
Я не он, ты не ответил на мои вопросы, а быканул в пустую. Проси прощения
>По генерациям, лол
Спасибо кэп!
В гайде в шапке была какая то методика ручного сравнения "на глаз", после силикона29 смердженного с помощью аи и метрик в автоматическом режиме и работающему достаточно хуевенько, к автомерджам как то особо доверия нету, но можешь попробовать какой нибудь из соответствующих тулов, недавно например наткнулся на этот https://github.com/s1dlx/sd-webui-bayesian-merger но он довольно пердольный, судя по ридми.
Хотел было попробовать, но там походу обязателен вин11, да и придётся тащить всю хуйню в виде лор походу тоже на этот формат, контролнет тоже под вопросом.
Просто дрова пробовали, без конвертации модели - очевидно, не работает.
Вообще, в зависимости от того, чего они там "наоптимизировали" - лоры могут и заработать. Ну, пусть там не х2 скорость будет, но хотя бы какой-то прирост производительности - уже неплохо.
Но для тестов нужна конвертированная модель, понятное дело.
НЕ ОБНОВЛЯЙТЕ ИЗИ ЛОРА ТРЕЙНИНГ СКРИПТ, ГЛУПЦЫ!
Как маки на m1 в нейросетках? Думаю вместо ноут + внешний видюха брать мак на 32гб, сильно по скорости проиграю?
Как мобильный чип. Будешь сидеть как будто на бюджетной амуде.
А точнее? Уровень 3070 будет?
Хули ты до него доебался?
Бенчмарками маков на М-серии чипов по мл завален весь интернет.
> Уровень 3070 будет?
Нет, конечно. Уровень какой-нибудь затычки типа 3050, только памяти дохуя.
Я сравнить не могу нормально, все по отдельности тестируют.
Друг с другом лоры норм мёрджатся? Вижу, что kohya умеет с моделями сводить, друг с другом значит тоже может?
Можно ли прогнать ролик, с нужным персом, разобрать на картинки, прогнать через remBackground и запилить лору в два щелчка? Что получится?
Нашёл репку, там говориться что требуется всего 11 gb vram для файнтюна модели, кто то пробовал такое?
https://github.com/victorchall/EveryDream2trainer#readme
https://github.com/victorchall/EveryDream2trainer#readme
Проебавшись несколько часов могу сказать, что сводить пиздец тяжело, с мёрджем нормальных чекпоинтов ни в какое сравнение.
Тут же есть обучальщики LoRA?
У меня вот такой гипотетический вопрос. Хочу обучить модель (лору) на персонаже аниме. Давайте допустим, что персонаж ОЯШ, в основном он ходит в военной форме. Скринов/артов, где он в школьной форме, всего 10 штук. Но есть очень много скринов, где другие персонажи ходят в этой же школьной форме. Я хочу рисовать ОЯШа в его школьной форме.
Допустим, ОЯШа зовут Sado Taro, его школа XYZ High School (для простоты будем считать, что школа только для мальчиков).
Могу ли я разделить сет на три кучки - ояш в школьной, ояш в военной, другие персы в школьной, отрезать другим персам головы, чтобы осталась только школьная форма?
И первой кучке дать теги
Sado Taro, school uniform, xyz high school uniform
Второй
Sado Taro, military uniform
Третьей
school uniform, xyz high school uniform
Обучится ли сетка отдельно отличать Садо от его школьной униформы? И рисовать его в школьной униформе, учитывая свои же данные по xyz high school uniform?
Нужно ли указывать тег school uniform, учитывая, что он популярный? На всех фотках с формой уже есть xyz high school uniform? И, допустим, мне не обязательно, что моделька не сможет генерировать школьную форму XYZ без тега xyz high school uniform.
--------------------------------
Теперь альтернативный вопрос. Допустим, у меня по 100 фоток Садо в школьной и военной форме.
Стоит ли мне заводить отдельные теги "Sado Taro in school uniform" & "Sado Taro in military uniform"?
В случае положительного ответа, стоит ли мне отказаться вообще от тега Sado Taro, при условии что я не хочу его генерить ни в чём кроме его школьных и военных формы?
Если сделать кучкам теги
- Sado Taro, Sado Taro in school uniform, school uniform, xyz high school uniform
- Sado Taro, Sado Taro in military uniform, military uniform
- school uniform, xyz high school uniform
Будет ли Лора считать что набор тегов "Sado Taro" и "military uniform" это и есть СОЛЬ картинки или она посчитает тег "Sado Taro in military uniform" неотделимой частью картинки и без этого отдельного тега
--------------------------------
Допустим внутри XYZ High School меняются законы реальности, и ВСЕ кошки внутри неё становятся фиолетовыми, а ВСЕ собаки — зелёными.
Я собрал пак из сотни кошек и сотни собак.
Если я проставлю теги
- cat, xyz high school
- dog, xyz high school
То это переопределит ВСЕХ кошек при использовании этой ЛОРЫ? Или только когда кошка будет идти с тегом xyz high school? Имеет ли смысл создавать отдельные теги "cat in xyz high school", "dog in xyz high school"?
У меня вот такой гипотетический вопрос. Хочу обучить модель (лору) на персонаже аниме. Давайте допустим, что персонаж ОЯШ, в основном он ходит в военной форме. Скринов/артов, где он в школьной форме, всего 10 штук. Но есть очень много скринов, где другие персонажи ходят в этой же школьной форме. Я хочу рисовать ОЯШа в его школьной форме.
Допустим, ОЯШа зовут Sado Taro, его школа XYZ High School (для простоты будем считать, что школа только для мальчиков).
Могу ли я разделить сет на три кучки - ояш в школьной, ояш в военной, другие персы в школьной, отрезать другим персам головы, чтобы осталась только школьная форма?
И первой кучке дать теги
Sado Taro, school uniform, xyz high school uniform
Второй
Sado Taro, military uniform
Третьей
school uniform, xyz high school uniform
Обучится ли сетка отдельно отличать Садо от его школьной униформы? И рисовать его в школьной униформе, учитывая свои же данные по xyz high school uniform?
Нужно ли указывать тег school uniform, учитывая, что он популярный? На всех фотках с формой уже есть xyz high school uniform? И, допустим, мне не обязательно, что моделька не сможет генерировать школьную форму XYZ без тега xyz high school uniform.
--------------------------------
Теперь альтернативный вопрос. Допустим, у меня по 100 фоток Садо в школьной и военной форме.
Стоит ли мне заводить отдельные теги "Sado Taro in school uniform" & "Sado Taro in military uniform"?
В случае положительного ответа, стоит ли мне отказаться вообще от тега Sado Taro, при условии что я не хочу его генерить ни в чём кроме его школьных и военных формы?
Если сделать кучкам теги
- Sado Taro, Sado Taro in school uniform, school uniform, xyz high school uniform
- Sado Taro, Sado Taro in military uniform, military uniform
- school uniform, xyz high school uniform
Будет ли Лора считать что набор тегов "Sado Taro" и "military uniform" это и есть СОЛЬ картинки или она посчитает тег "Sado Taro in military uniform" неотделимой частью картинки и без этого отдельного тега
--------------------------------
Допустим внутри XYZ High School меняются законы реальности, и ВСЕ кошки внутри неё становятся фиолетовыми, а ВСЕ собаки — зелёными.
Я собрал пак из сотни кошек и сотни собак.
Если я проставлю теги
- cat, xyz high school
- dog, xyz high school
То это переопределит ВСЕХ кошек при использовании этой ЛОРЫ? Или только когда кошка будет идти с тегом xyz high school? Имеет ли смысл создавать отдельные теги "cat in xyz high school", "dog in xyz high school"?
Мне кто-нибудь может объяснить, почему Ultimate SD Upscale в 9 из 10 случаев с разбегу падает ртом на конский хуй, начинает неистово сосать его с причмокиванием и давиться захлебываясь спермой, и только в 1 случае начинает нормально работать?
Консоль выдает ошибку RuntimeError: The size of tensor a (4) must match the size of tensor b (3) at non-singleton dimension 1
И я в душе не ебу, что это значит, хотя вроде выставил такое же разрешение, как и на арте. Юзаю через ControlNet v1.1.200 для апскейла.
Консоль выдает ошибку RuntimeError: The size of tensor a (4) must match the size of tensor b (3) at non-singleton dimension 1
И я в душе не ебу, что это значит, хотя вроде выставил такое же разрешение, как и на арте. Юзаю через ControlNet v1.1.200 для апскейла.
Помню что то подобное было давно, у тебя что то здесь есть?
Да, спасибо, помогло. Добра тебе.
Оказалось, что хуй сосал я, а не апскейлер.
Есть тут те, кто тренит сеть на GTX 1070?
Какие версии cuda torch и остального юзаете?
Какие версии cuda torch и остального юзаете?
Так торч все для автоматика юзают, который второй.
Ну у меня лора ругается либо на нехват памяти либо на неподдерживаемый девайс. В зависимости от сочетания версий.
> Обучится ли сетка отдельно отличать Садо от его школьной униформы?
Она обучится это делать, если ты правильно протегаешь картинки. Если ты запихнешь очень много картинок с просто формой, без головы, в конце скорее всего получишь тоже просто форму без головы в соответствующем соотношении к картинкам с головой.
Либо раздели повторы соответствующим образом, чтобы школьная форма дольше обучалась, либо фотобаши делай я хз, идея с просто формой хуже, чем сделать сетку, нагенерить на ней нужного и еще раз тренить добавляя в датасет удачные генерации из лоры с нехваткой сурсов.
> Нужно ли указывать тег school uniform, учитывая, что он популярный?
Дотренировывай существующий тег, это проще всего, по одному на каждый важный элемент.
> В случае положительного ответа, стоит ли мне отказаться вообще от тега Sado Taro, при условии что я не хочу его генерить ни в чём кроме его школьных и военных формы?
Если ты просто правильно добавишь уже существующие теги, то сможешь и милитари форму рисовать и школьную и любую другую, если не перетренишь. С нуля тренить тег sado taro, если его не знает совсем сеть может быть проблематично и скорее большая часть просто всосется в 1boy или типо того.
> Или только когда кошка будет идти с тегом xyz high school?
Скорее всего оба тега и понадобятся, но не уверен что всё просто не впитается в тег cat, любая сетка уже хорошо знает что такое кошка и одного тега будет достаточно, если ты ей дашь 100 зеленых кошек, она начнет рисовать кошку зеленой с одним тегом cat из датасета. Скорее всего разделить можно достаточно просто, указав точнее что это green cat и его надо так рисовать. А вот выражение с новым тегом "xyz school cat" может хуй пойми как всё это впитать, ведь если ты собираешься тренить аниме, тебе скорее всего нужна наи, которая базируется на буру тегах, на которых и кэт и скул это разные абсолютно теги, а вот для более смещенных в natural language моделей должно быть нормально как раз.
В целом, если у тебя 100 милитари юниформ пикч и 10 школьной формы достаточно будет сделать две папки, на одной 1 повтор и теги 1boy, military uniform, на второй 10 с тегами 1boy, school uniform и посмотреть что получится и уже из этого дальше делать выводы для корректировки датасета и тегов. Насчет остальных тегов хз что у тебя там за перс, добавляй важные атрибуты существующими буру тегами.
Спасибо за ответы.
Это вообще не перс, это гипотетические рассуждения над абстрактными величинами.
- Могу ли я качественно переопределить популярный тег? (коты)
- Могу ли я это сделать случайно, и потом не в силах избавиться от этого (фиолетовые коты просто при подключении модели)
- Могу ли я переодеть персонажа? Причём в одежду из этой же модели
- Как поименовывать теги? Нужно ли поименовывать отдельное название одежды (на том же Данбурятнике оч много тегов конкретной школы https://danbooru.donmai.us/tags?commit=Search&search%5Bhide_empty%5D=yes&search%5Bname_or_alias_matches%5D=%2A_school_uniform&search%5Border%5D=count )
Собственно, пока я писал первый вопрос, я тренировал первую в жизни модельку. И через пару часов её тестировки тестировал. Лицо персонажа иногда прямо очень хорошо рисует. Иногда не очень. kohya_ss в семплах рисует говнину на три порядка хуже чем Stable Diffusion после (основная модель AnythingElse4.5). Я, когда увидел семплы, разочаровался. А потом на всякий случай запихнул лору в стейбл и чекнул, там прямо намного лучше.
Также в какой-то момент Кохья сошла с ума и начала вывернутых наизнанку персов рисовать. Поэтому я чекал не на последней эпохе.
Я начал с неправильного аниме, там слишком сложно набрать рефы. Оно из 90х, все скрины в зерне. А артов по нему слишком мало и обчёлся. А masterpiece level артов вообще три.
Я уже рассматривал вариант заказывать у художников референсы. Но это прямо оч-оч-оч дорого встанет. $1000-2000 самый минимум. При этом для меня это хобби, ничего профессионального. Тратить такие деньги на датасет для модельки, с которой я не поимею денег, это ппц.
Я сейчас сделал по-другому. Я выделил из скриншотов только лица. А из артов только годные. Выставил им адекватные веса. На один скриншот - 20 единиц мастерпис арта.
Запустил тренировку на 3 часа, но не подумал выставить для семплов персистентный сид и негатив промт.
Надо было начинать с другого аниме, 2010+ годов. Там одних скриншотов хватит, они чистые, красивые, годные.
Собственно с моделькой у меня получилось вот что: при подключении модели рандомные девочки в школьной форме начинают часто рисоваться со школьной формой из модели. Особенно это заметно на юбках, они все blue and white pleated skirt, как в первоисточнике.
Сейчас я тренирую в основном на лицах, чтобы делать финт ушами. Генерировать первичного персонажа в одежде, затем use this image, зарисовывать ему лицо через Inpaint и отправлять на перерендер.
> - Могу ли я качественно переопределить популярный тег? (коты)
Что значит качественно? Ты можешь добавить нужной тебе информации из датасета в любой тег. В существующий тег, который уже тренировался и распознается сетью, добавить информацию намного проще, так большинство и тренит. Если ты напишешь уникальный тег, что нибудь "fdsfdsgdhdrfgregr", тебе будет куда сложнее объяснить сетке что ты от неё хочешь, и тут кстати уже скорее всего понадобятся и реги.
> - Могу ли я это сделать случайно, и потом не в силах избавиться от этого (фиолетовые коты просто при подключении модели)
Такое может быть с непротеганными элементами, которые добавятся в модель намертво, но это более актуально к серьёзному перетрену модели или достаточно плохому датасету, в котором много абстрактного или лишнего не протеганного.
> - Могу ли я переодеть персонажа? Причём в одежду из этой же модели
Можешь, просто протегай одежду, она прилипнет к этим тегам, а не к модели.
> - Как поименовывать теги? Нужно ли поименовывать отдельное название одежды
Возьми желаемый тег и попробуй сгенерить с ним дженериков. Так ты узнаешь насколько сеть подозревает что в этом теге было во время тренировки основной модели, она может начать отрисовывать что-то отдаленно похожее на желаемую униформу, этот тег в таком случае я бы и стал юзать в датасете. Если же не рисует похожего, лучше использовать просто общий тег, типо shirt, skirt, если не знает про определенную рубашку, юбку или school uniform в случае с полным набором.
> А masterpiece level артов вообще три.
> Я уже рассматривал вариант заказывать у художников референсы
Можешь сделать ещё круче, попробуй новые препроцессоры в кнете, я сам ахуел как они стиль копируют буквально в два клика, если поиграться с параметрами, можешь так в сет себе попробовать нагенерить пикч, всякие скул униформы он явно распознает.
> Надо было начинать с другого аниме, 2010+ годов
Я бы тебе посоветовал вообще не пытаться сразу с первой попытки тренить и стиль и кучу персов с нарядами в одной лоре. Попробуй начать с чего то простого, один персонаж например, как в гайде шапки, а как поймешь суть тегов, попробуй стиль, с ним они не так обязательны, но желательны. А потом уже берись за большую тренировку. И 3 часа тренить лору не надо, если у тебя конечно каждый шаг вечность не делается, или ты не понавыставлял кучу дампенеров в гиперпараметрах.
> Собственно с моделькой у меня получилось вот что: при подключении модели рандомные девочки в школьной форме начинают часто рисоваться со школьной формой из модели. Особенно это заметно на юбках, они все blue and white pleated skirt, как в первоисточнике.
Если в промпте при генерации есть эти теги, то всё нормально как бы, я не знаю что ты там натренил, возможно 3 часа в твоем случае это перетрен, попробуй сделать грид опять же по гайду.
> Сейчас я тренирую в основном на лицах, чтобы делать финт ушами. Генерировать первичного персонажа в одежде, затем use this image, зарисовывать ему лицо через Inpaint и отправлять на перерендер.
Ну если хочешь сделать инпеинт модель, то почему бы и нет.
Ребят, мне понравился стиль вебтуна. Теперь хочу сделать лору для этого стиля, собственно вопрос:
Как собирать дата-сет из этой ленты туалетной бумаги? вот пример https://www.webtoons.com/en/action/hero-killer/episode-1/viewer?title_no=2745&episode_no=1
Предполагаю что нужно закрашивать буквы, однако не будет ли он пихать везде белые облака тупые?
Да и размер самих окошек тоже не скажется на чем то?
Я сам тренил лору 3 раза, и результат меня устраивал, но мне бы конечно хотелось найти в треде мужчину который чета сделает с моим датасетом
>Я бы тебе посоветовал вообще не пытаться сразу с первой попытки тренить и стиль и кучу персов с нарядами в одной лоре.
Я не особо парился но я просто тупа заграбил на гелбуро 100 картинок и сам практически их не тегал, убрал самые всратые или выбивающиеся из стиля и вроде норм вышло, но конечно весы очень маленькие приходится ставить иначе картинка разъебывается полностью.
Разницу в результате не особо ощутил когда сравнил с дата-сетом на 40 пикч которые протегал почти вручную три картинки и это три стиля с лорами которые я сделал, да.
Но типа я не говорю что я сделал не говно, но было не трудно и результат меня устроилю
Как собирать дата-сет из этой ленты туалетной бумаги? вот пример https://www.webtoons.com/en/action/hero-killer/episode-1/viewer?title_no=2745&episode_no=1
Предполагаю что нужно закрашивать буквы, однако не будет ли он пихать везде белые облака тупые?
Да и размер самих окошек тоже не скажется на чем то?
Я сам тренил лору 3 раза, и результат меня устраивал, но мне бы конечно хотелось найти в треде мужчину который чета сделает с моим датасетом
>Я бы тебе посоветовал вообще не пытаться сразу с первой попытки тренить и стиль и кучу персов с нарядами в одной лоре.
Я не особо парился но я просто тупа заграбил на гелбуро 100 картинок и сам практически их не тегал, убрал самые всратые или выбивающиеся из стиля и вроде норм вышло, но конечно весы очень маленькие приходится ставить иначе картинка разъебывается полностью.
Разницу в результате не особо ощутил когда сравнил с дата-сетом на 40 пикч которые протегал почти вручную три картинки и это три стиля с лорами которые я сделал, да.
Но типа я не говорю что я сделал не говно, но было не трудно и результат меня устроилю
Если че я мимочелик
> Как собирать дата-сет из этой ленты туалетной бумаги?
Нарезай так, чтобы было лишь только то что ты хочешь видеть после тренировки. Спичбаблы и текст могут запечься в саму модель, но вроде их можно контрить соответствующими тегами, с первого раза трудно сказать, попробуй просто что будет с тегами в негативе при генерации, если будут пролезать, чисти датасет от них.
> Да и размер самих окошек тоже не скажется на чем то?
Скажется, но не критично, если у тебя будет преимущественно вертикальный баккет, горизонтальные картинки могут получаться чуть хуже.
> Я не особо парился но я просто тупа заграбил на гелбуро 100 картинок и сам практически их не тегал, убрал самые всратые или выбивающиеся из стиля и вроде норм вышло, но конечно весы очень маленькие приходится ставить иначе картинка разъебывается полностью.
Ну это база, только ты точно перетренил, если приходится вес сильно снижать. Для стиля куда важнее отследить момент где ты достаточно натренил юнет с помощью грида, а тегами нужно лишь всасывать не нужное, что не получается убрать с картинки.
Можешь закрашивать если будет не заметно, если не можешь сделать так что бы не было незаметно то лучше не трогай, просто в описании добавь english text или что то такое и потом кидай это в негатив, wd tagger должен сам вообще то определять надписи и подобное дерьмо
Спасибо большое за ответы, попробую.
облако текста называется speech bubble, просто выстави этот тег на всех картинках с облаком
У меня сложилось впечатление, что когда для обучения пишешь промпт внутри фразы, типа, "Вася Пупкин в пиджаке" ни пиджак, ни Вася Пупкин не обучаются, а обучается именно Вася Пупкин в пиджаке. Писать исключительно "Вася Пупкин, пиджак"? Или мне показалось и целым промптом тоже норм?
Значит копи на видюху.
Есть ли смысл при обучении персонажа выставлять персам теги
portrait
close-up
upper body
straight-on
profile
cowboy shot
full body
и прочее отсюда: https://danbooru.donmai.us/wiki_pages/tag_group%3Aimage_composition
?
portrait
close-up
upper body
straight-on
profile
cowboy shot
full body
и прочее отсюда: https://danbooru.donmai.us/wiki_pages/tag_group%3Aimage_composition
?
Да обязательно
> portrait
> close-up
Помогают спасти от нерегулируемой крупности, да. Минус, что тянут с собой всякую хуйню. Написал портрэйт на пикче с открытым ртом и он начнёт этот открытый рот во все портреты пихать. Написал клосе ап на пикче с цветным освещением — привет цветное освещение на всех клосе апах.
разве железяка сама не видит где straight-on где full body где upper body?
Я ещё могу понять портрет, когда на картинке кроме морды лица ничего нет
открытый рот и закрытые глаза, а также слёзы и прочие заметные искажения лица надо прописывать отдельно.
Вот насчёт улыбки / грусти хз
Мне не сильно помогает, всё равно прилипает с высоким шансом. Объясняю это себе тем, что там же стопицот оттенков открытого рта в моделях, может для неё это скорее кричит или смеётся или ещё какая поебота, и проходит промпт нахуй непонятым, закрепляя открытый рот за портретом.
Сколько файло-итераций нужно на лору? Что если у меня не 1 персонаж на модель, а 2? А 5? А 10?
Я читал советы, что на одну эпоху нужно 1000-1500 итераций
Мне кажется, тренировать надо до тех пор, пока модель в перетрен не уйдёт.
Есть, будет лучше слушаться и меньше спамить клозапами/общими планами.
Если тегов на это нет и датасет скудный то может вылезти, но не настолько существенно обычно, и точно также может присвоить неверную интерпретацию другим повторяющимся тегам.
>Обучится ли сетка отдельно отличать Садо от его школьной униформы?
Если ты всё правильно протэгаешь - это будет работать, да.
Только тэгать надо подробно (не только форму, но вообще всю картинку), чтоб нейронка понимала, что к чему. Тут главное избыточность контролировать, чтоб в тэги то, чего на картинке нет, не пролезло.
У меня был случай, когда таггер сгалюцинировал, и персонажа на фоне "шашечного" плиточного пола протэгал 18-ю разными тэгами - начиная с кучи версий "плиточного" паттерна, и заканчивая шахматными фигурами.
>Стоит ли мне заводить отдельные теги "Sado Taro in school uniform" & "Sado Taro in military uniform"?
Лучше разделять на тэг перса и тэг одежды (можно еще добавлять прическу, цвет волос, глаз, прочие особенности - типа родинок и шрамов). Больше гибкости будет. А то вдруг он тебе потребуется в майке и трусах, или с альтернативной прической - и придется изворачиваться...
>То это переопределит ВСЕХ кошек при использовании этой ЛОРЫ?
Скорее всего - да. Ибо нейронка уже знает, что такое "кошка" и "собака", и когда ты ее тренируешь на то, что "собака из xyz школы - зеленая" - она будет тебе по этому запросу рисовать именно зеленых собак.
Вот с породами могут возникнуть проблемы. Если у тебя в сете были только зеленые доги - то при перетрене лора будет рисовать только зеленых догов. Ну или 90% зеленых догов, изредка разбавляя их другими собаками. Смотря как натренируется.
У меня похожий случай был, когда при тренировке концепта-стиля, в сете было много одного перса, а одежда у него толком не протэгалась. В результате куски одежды (фасон и цвет, в основном) плотно прописались в сам концепт, и потом постоянно вылезали в самый ненужный момент. Пришлось сокращать сет, убирая оттуда часть картинок с этим персонажем.
https://github.com/AUTOMATIC1111/stable-diffusion-webui-tensorrt
Говорят, до 80% буст к скорости генерации на конвертированных моделях.
Но не пашет с лорами (хотя их можно в модель смерджить) и контролнетом.
Говорят, до 80% буст к скорости генерации на конвертированных моделях.
Но не пашет с лорами (хотя их можно в модель смерджить) и контролнетом.
нахуй он нужен, если с контролнетом не пашет.
Допилят поди.
Если уж модели как конвертировать придумали - тут тоже должны справиться.
Обоссаный Ebsynth Utility отказывается разбивать видео по кадрам и делать маску.
Выдает:
Skip frame extraction
Fatal error in launcher: Unable to create process using '"E:\Neural network\stable-diffusion-webui\venv\Scripts\python.exe" "E:\Neural_network\stable-diffusion-webui\venv\Scripts\transparent-background.exe" --source E:\Neural_network\Video\Test\Dance\video_frame --dest E:\Neural_network\Video\Test\Dance\video_mask --type map': ?? ??????? ????? ????????? ????.
mask created
completed.
Чем лечить это говнище?
Выдает:
Skip frame extraction
Fatal error in launcher: Unable to create process using '"E:\Neural network\stable-diffusion-webui\venv\Scripts\python.exe" "E:\Neural_network\stable-diffusion-webui\venv\Scripts\transparent-background.exe" --source E:\Neural_network\Video\Test\Dance\video_frame --dest E:\Neural_network\Video\Test\Dance\video_mask --type map': ?? ??????? ????? ????????? ????.
mask created
completed.
Чем лечить это говнище?
Теперь пишет
"ffmpeg" не является внутренней или внешней
командой, исполняемой программой или пакетным файлом.
frame extracted
Fatal error in launcher: Unable to create process using '"E:\Neural network\stable-diffusion-webui\venv\Scripts\python.exe" "E:\Neural_network\stable-diffusion-webui\venv\Scripts\transparent-background.exe" --source E:\Video\Test\video_frame --dest E:\Video\Test\video_mask --type map': ?? ??????? ????? ????????? ????.
mask created
completed.
Я уже сделал все, что мог отсюда:
https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/9446
Ffmpeg в path добавил?
Давайте допустим, что я хочу скопировать чей-то стиль рисования.
У меня два кейса:
1. Художник Tanaka Hana Примерно как Семён Сидоров. Был достаточно креативным, нарожал 400 картинок. Каждая картинка это квадрат 1024x1024.
Я беру каждую картинку и делаю из неё нарезки 512x512 с шагом 256x256, таким образом я делаю по 9 вырезок. Каждую вырезку я сравниваю с предыдущей (через SSIM/PSNR) и уникализирую. Монотонно залитые удаляю.
Всё, этот датасет из 3600 картинок можно отправлять на обучение с тегом Tanaka Hana style? Какие настройки обучения выставлять? Взять отсюда https://rentry.org/59xed3#starting-settings как советует этот уважаемый господин?
--------------------------------------------------------------------------------
2. Аниме с оч нестандартным стилем. Допустим, no game no life и я ЛСДшный наркоман, раз мне это понравилось
Беру 12 серий, нарезаю скриншоты 1920x1080, по 2 на секунду. Затем всё также уникализирую каждый кроп (через SSIM/PSNR). Получаю 5-50 уникальных кропов на секунду. На одну серию примерно 60000 картинок 512x512, на 12 серий то это 720000к.
Что дальше?
У меня два кейса:
1. Художник Tanaka Hana Примерно как Семён Сидоров. Был достаточно креативным, нарожал 400 картинок. Каждая картинка это квадрат 1024x1024.
Я беру каждую картинку и делаю из неё нарезки 512x512 с шагом 256x256, таким образом я делаю по 9 вырезок. Каждую вырезку я сравниваю с предыдущей (через SSIM/PSNR) и уникализирую. Монотонно залитые удаляю.
Всё, этот датасет из 3600 картинок можно отправлять на обучение с тегом Tanaka Hana style? Какие настройки обучения выставлять? Взять отсюда https://rentry.org/59xed3#starting-settings как советует этот уважаемый господин?
--------------------------------------------------------------------------------
2. Аниме с оч нестандартным стилем. Допустим, no game no life и я ЛСДшный наркоман, раз мне это понравилось
Беру 12 серий, нарезаю скриншоты 1920x1080, по 2 на секунду. Затем всё также уникализирую каждый кроп (через SSIM/PSNR). Получаю 5-50 уникальных кропов на секунду. На одну серию примерно 60000 картинок 512x512, на 12 серий то это 720000к.
Что дальше?
> 720000к
просто 720000
быстрофикс
У меня на 128 RANK с персонажем случилось РАЗМЫТИЕ. Модель никак не могла обучиться его лицу.
Снизил до 32 (а на Цивил-АИ у большинства персо-лоров как раз столько), стало лучше. Лица угадываются
> Я беру каждую картинку и делаю из неё нарезки 512x512 с шагом 256x256, таким образом я делаю по 9 вырезок
Зачем? 400 пикч для стиля хватит с головой, офк если они не все одинаковые "тяннейм стоит на белом фоне", но в таком случае эти манипуляции никак не помогут. Единственный нюанс - если там характерный стиль глаз или мелких элементов, которые в 512х512 не видны - накропай клозапов в дополнение или вместо некоторых пикч, улучшит ситуацию. Также можно тренить на повышенном разрешении до 768
> датасет из 3600 картинок
Слишком много
> Взять отсюда
В качестве первого приближения - вполне, можешь пощупать окрестности. Также попробуй сбавлять альфу и повышать лр, ну и DAdaptation
> нарезаю скриншоты 1920x1080
Бери только наиболее удачные, детальные и характерные для целевого стиля, кропай при необходимости, как соберешь 200-500 пикч - используй их. Важно качество а не количество.
> на одну эпоху нужно 1000-1500 итераций
Больше 4к итераций смысла делать нет, если оно не обучилось к этому моменту то уже и не обучится а может только всраться. Размажь их на 8-12 эпох, получится в среднем по 400 на эпоху, потом сравнишь и выберешь. Или сразу делай на примерное значение которое знаешь.
> Мне кажется, тренировать надо до тех пор, пока модель в перетрен не уйдёт.
В целом да, но на умеренных лр оно может остановиться на одном месте или будет ломаться неявно.
Альфу поднимал?
Резать ничего не надо. Бери как есть.
Скрипт тренировки лоры сам всё отресайзит.
Даже если у тебя не квадратная картинка - это будет учтено.
Большое количество картинок не нужно и даже вредно.
Выше 500-600 смысла набирать никакого нет, и то это уже будет перебор. Я больше 300 всего пару раз ставил, и стиль ухватывался плюс-минус так же, как и со 120-150. Тут важнее качество и постоянство, чем тупой объем.
Если у тебя прям такое чудовищное количество материала - отбирай только лучшее.
Особенно это касается случая, когда тренируешь на аниме. Там ведь и между двумя сериями, и просто между сценами различие по качеству может быть просто космическое. Где-то художники сэкономили, где-то просто кранчили и не успевали к сроку дорисовать, упрощая рисовку, а где-то вообще какая-то невнятная мазня на фоне вместо картинки. Поэтому отсеивай мусор. Отбирай только лучше кадры с лучшей рисовкой и с понятной композицией. 1-2 персонажа в простых позах, чтоб были хорошо различимы и не сильно пересекались. Персонажей крайне желательно разных брать. Плюс можно задников красивых отдельно набрать, тоже не повредит.
> Альфу поднимал?
да, как в гайде, до размера ранга
> если оно не обучилось к этому моменту то уже и не обучится
вот я взял 180 картинок с общим весом 1800 (итераций на эпоху). После 8 эпох персонаж в фас узнаётся, а "looking back, from behind" — там даже цвет волос другой.
На 25й эпохе (а это 45 000 полных итераций) всё отлично, перс узнаётся сзади. Перетрена нет. Сранивал 5 эпох: 6, 8, 15, 20, 25.
На 6й и 8й прямо жуткий недообуч. Между 15 / 20 / 25 примерно одинаковое качество модели. Сила лоры везде 0.5. На 6й и 8й эпохах поднимал до 0.7 — не менялось.
> Резать ничего не надо
> Зачем?
Вот этот уважаемый господин https://youtu.be/3AS_1LCjXEg?t=1057 нарезает картинки на квадратики для тренировки стиля
> взял 180 картинок с общим весом 1800
10 повторений? Ахуеть конечно, распиши подробнее все параметры, уже давно пробовал воспроизвести эти методы с оче оче долгой тренировкой для получения космического эффекта, но все ерунда получалась.
> "looking back, from behind" — там даже цвет волос другой
А если цвет волос задать в промте? Ты хочешь все все к одному тегу персонажа подвязать?
> перс узнаётся сзади
А вот кстати что там по датасету, в нем вид сзади есть?
> Сила лоры везде 0.5
Нормальная лора и при 1 ничего не поломает, на 0.5 может быть относительно нестабильный результат. Так что тестить лучше на высоких значениях, 0.9 норм.
> Вот этот уважаемый господин
В его случае вполне оправдано, если всю пикчу использовать то она ресайзнется в низкое разрешение и результат будет неоче, ибо при зашакаливании банально данные потеряются. А тут пикча такая что каждый кроп самостоятелен и содержит то что нужно, поэтому подобный подход может хорошо сработать.
В случае кадров с анимца там большая часть - простенький задник, который при обучении только упорет, а прорисованы в первую очередь персонажи, причем, их детализация далека от артов. Исключения редки. Например, твои пикрелейтеды можно как есть в датасет ставить ничего не кропая.
Нет, а как? У меня красноглазие на уровне "я могу делать по гайду". Буду благодарен, если поможешь, потому что pip install ffmpeg не сработал. Скорее всего я криворукий еблан и что-то не понял.
> 10 повторений?
Не совсем. У примерно 7 картинок 40 повторений, у части 20, у части 10, а у остальных 2. Итого в сумме у всех 1800 на 180 картинок. У меня очень разношёрстный датасет по части качества.
Анимешный персонаж.
Лора тайп: стандарт
Clip skip: 2
Модель: AnythingElse 4.5 https://civitai.com/models/4855/anythingelse-v4
Model Precision: fp16
Learning rate: 0.0001
LR Scheduler: cosine
Network Rank: 32
Network Alpha: 32
Больше ничего не менял
> Ты хочешь все все к одному тегу персонажа подвязать?
Да, конечно. Кстати, почему-то не привязалась длина волос. Она получалась средней длиной, хотя на всех рефах без исключения волосы до плечей не доходят.
> в нем вид сзади есть?
Очень много. Вид сзади без лица, вид сзади с поворотом головы назад
Динамический ресайз лоры похоже всё таки фиксит пережарку. Пробовал натренить несколько персов и нарядов к ним, это конечно пиздец запарное занятие, особенно с теггингом и его прунингом, люто пережарил с первой попытки с рабочим весом около 0.6, возился ещё несколько тренировок, пока не забил и не ресайзнул 128 линеар/64 конв в 16 динамик 0.9 sv_fro и лора перестала ломать генерации на 1.0, хотя сохранила основную инфу по персам. Пробовал кто то ещё фиксить так пережаренные лоры?
Подтверждаю, попробовал свою пережарку прогнать и стало получше, не идеально, но хотя бы на юзабельное стало похоже. Алхимия ёбаная. Только от мёрджа закончил охуевать, а теперь ещё и ресайзы. А если ресайзы мёрджить... Или ресайзить мёрджи...
Кстати говоря, что там по обучению лорам поменялось за последние пару месяцев? Говноскрипт от анона обновлялся в последний раз по нынешним временам ещё в палеозое и далеко не факт что с нынешними ревизиями работает как надо, а гуевые обучалки чересчур замороченные. Есть какой-то компромисс или вменяемый актуальный гайд по тому же кохе?
> Только от мёрджа закончил охуевать
А чего ты от него охуевал? Он же вообще юзлесс был раньше и руинил веса, заставляя смердженную лору использовать с силой в 2.5-3, что то поменялось, пофиксили?
> Кстати говоря, что там по обучению лорам поменялось за последние пару месяцев?
Если хочешь новые фичи, то стоит почитать чейнджлог кохи. Гайд более менее актуальный и обновляемый остался только на английском, хотя это скорее справочник для олдов, был добавлен как раз в эту шапку. Самые значимые обновления наверное это ликорисы, нойз оффсет, вот этот ресайз, ну и кастомные шедулеры, оптимайзеры, которые кохе через пры всякие мимокроки тащут. По тулзам гуй бмалтаиса обновляется регулярно или скрипты для трени изи скриптс называются вроде. Я пользуюсь гуем от того же анона, что тот скрипт в палеозое написал, только допиливаю его для себя интересными новыми фичами.
> pip install ffmpeg
Какая-то херня протухшая.
Поставь отсюда https://www.gyan.dev/ffmpeg/builds/ по любому гайду https://phoenixnap.com/kb/ffmpeg-windows
В конце убедись что команда ffmpeg в павершелле не обсирается.
>руинил веса
Да хуй знает, потери приличные, конечно, но не сказал бы, что прям руинит.
У меня более менее норм стало получаться, когда основной лоре стал ставить вес близким к единице, а вторую подмешивать аккуратно.
Спасибо, попробую.
Нормальные люди мержат лоры через Супепермерджер, а не высеры кохи.
В Супермердже есть свой мердж лор, отличный от кохи.
>заставляя смердженную лору использовать с силой в 2.5-3
Мой самый крутой мердж концепт-стиля из десятка лор используется с силой 0.15-0.22, лол.
Хз как так получилось, но работает ведь.
Мерджил супер-мерджем.
А вот экстракт лоры из модели как раз нормально работает только на силе 2-3. Но можно путем слияния двух экстрактов с заниженными коэффициентами (ниже 1) выйти на нормальный вариант.
Так как скрипт тренировки лор по второй ссылке никто так и не починил - то я попробовал сделать это сам.
Погуглил код ошибки, поглядел на какое-то ненормальное использование РАМ в одном из моментов.
В результате добавил
> --lowram \
в конец последнего пункта, и тренировка вроде пошла, посмотрю на результат через часок.
Еще убрал
> --upgrade
из пятого пункта. Раньше его там вроде не было.
С виду ничего не поменялось в логе, но про необходимость рестарта рунтайма все равно пишет (раньше не было такого).
Забил на рестарт, запустил как есть.
Посмотрим, что натренируется.
Погуглил код ошибки, поглядел на какое-то ненормальное использование РАМ в одном из моментов.
В результате добавил
> --lowram \
в конец последнего пункта, и тренировка вроде пошла, посмотрю на результат через часок.
Еще убрал
> --upgrade
из пятого пункта. Раньше его там вроде не было.
С виду ничего не поменялось в логе, но про необходимость рестарта рунтайма все равно пишет (раньше не было такого).
Забил на рестарт, запустил как есть.
Посмотрим, что натренируется.
> AnythingElse 4.5
На нем другие лоры тренил? Для наилучшего качества и переносимости лучше всего ванильная наи или эни3.
> Model Precision: fp16
Меняй на bf16
> Learning rate: 0.0001
Запусти на ночь несколько вариантов с увеличенными значениями
> Да, конечно
Это сложнее и влияние на модель получится куда больше, что в общем приведет к падению качества, данный момент принципиален?
> Очень много. Вид сзади без лица
Там это подробно протегано? Если да то тут уже настройки обучения крутить, должно заводиться.
Локоны и новые оптимизаторы в первую очередь. Ну и эзотерическая ебля с функциями изменения лр.
> Говноскрипт от анона обновлялся в последний раз по нынешним временам ещё в палеозое
Ага, хотя в него легко дописать новые параметры. Для дефолтного тренинга лор с адам8 он, как ни странно, актуален, из устаревшего там только параметр оптимизатора емнип, но обратная совместимость на стороне sd_scripts сохранена. Могу поделиться рабочей версией если нужно, гуи также невзлюбил ибо слишком много телодвижений для изменения одного параметра и скриптами куда удобнее ставить очереди.
> Могу поделиться рабочей версией если нужно
Буду весьма благодарен. В гуях слишком много неочевидно расположенного говна и мне больше по душе параллельно запустить потихонечку обучение из соснольки и ватоматик, чем их чередовать.
> bf16
у меня GTX 2060 Super, там этой поддержки нет
> На нем другие лоры тренил?
Это первая и пока последняя в моей жизни. Сейчас 2 часа правил:
- артефакты на изображениях (поднятая рука привязалась к лицу, хотя стоял тег arm up; выяснилось, что в AnythingElse 4.5 нет тега "arm up", только "arms up"). Как смог выкрутил руку с лица и залил голову фотошопным "содержимым". К сожалению всю картинку снести не могу, это одна из лучших в датасете. И ещё 1 забавный артефакт
- проставлял теги from below, from above, open mouth, sad, happy, smile, bored
Из-за артефакта с рукой оч много девочек получались с поднятой рукой на лице, у некоторых даже обе. Оригинальная картинка примерно как пикрелейтед
Если кривая башка начнёт появляться на картинках, попробую откатить изменения, но выставить hand over face.
> Там это подробно протегано?
Да, from behind & looking back протеганы были подробно. Я отдельно выбирал рефы с "сзади" и "смотрит назад". Это всё работает
забавно, уже со второй эпохи в семплах хорошее качество картинок. не идеальное, но видно что лучше чем было в предыдущей версии
(me)
Натренировалось, вроде нормально работает.
По крайней мере ошибки не выбивает при применении.
Натренировалось, вроде нормально работает.
По крайней мере ошибки не выбивает при применении.
Народ, а гиф-сборщика какого-нибудь не придумали?
Типа, у меня есть последовательность из, например, 10 картинок, и я хочу из этого слепить плавную гифку по промпту.
Но чтоб там не 10 кадров было, а больше - в промежутки пусть нейронка чего-нибудь дорисует.
Ничего сложного, просто один перс что-то делает. Идет, танцует, стоит и смотрит на облака, или что-то типа того.
Типа, у меня есть последовательность из, например, 10 картинок, и я хочу из этого слепить плавную гифку по промпту.
Но чтоб там не 10 кадров было, а больше - в промежутки пусть нейронка чего-нибудь дорисует.
Ничего сложного, просто один перс что-то делает. Идет, танцует, стоит и смотрит на облака, или что-то типа того.
уф, 22 из 30 эпохи обучились.
за это время на тормозящем компе собрал 400 фоток художника, расставил им веса и подготовил конфиг для обучения стиля. на ночь оставлю
Мда, как бы я не экспериментировал с дадаптом на единице у меня от него пожар на первой же сотни шагов, ЧЗХ. Написано же, что хуярь один и будет пиздато, а если всё равно надо подбирать руками, то нахуй он нужен вообще...
Ну вот например есть две лоры с двумя персами, можешь показать свои настройки, как бы ты их смерджил чтобы оба были узнаваемы на весе 1.0 в новой лоре?
> А вот экстракт лоры из модели как раз нормально работает только на силе 2-3. Но можно путем слияния двух экстрактов с заниженными коэффициентами (ниже 1) выйти на нормальный вариант.
Там важно правильную модель для извлечения выбрать, наи более менее универсальной для аниме должна быть. Ты типо финт делал, 2-3 раза одну и ту же извлек из разных моделей и мерджил их сами с собой или я что не так понял?
Не лр крути, если пережаривается, а weight_decay в параметрах оптимайзера увеличивай. И кстати какие дим/альфа? Какая версия дадапта?
>weight_decay в параметрах оптимайзера увеличивай
Я чот не нашёл где посмотреть нормально как он работает и что это вообще. До скольки увеличивать, например?
>И кстати какие дим/альфа?
Разные пробую, один хуй.
Дадапт на адаме, остальные не трогал пока, а крайняя версия или нет хз.
> Дадапт на адаме, остальные не трогал пока, а крайняя версия или нет хз.
pip show dadaptation в венве кохи покажет, походу последняя, раз говоришь про адам. Хз как там на версиях выше 1.5, на ней нормально у меня работали дим=альфа и 0.01 decay, пробуй увеличивать в 2-4 раза, соотношение дим к альфе тоже сильно влияет, по крайней мере на версии 1.5, там лр может завышаться сильно если поставить большой дим но низкую альфу.
>pip show dadaptation
Version: 1.5
Окей, штож. Подёргаю декэй и ещё альфу, не трогая ЛР.
Вот такие основные последние мои удачные параметры для дадапта 1.5, может пригодятся:
train_batch_size: 5
learning_rate: 1.0
unet_lr: 1.0
text_encoder_lr: 0.5
lr_scheduler: constant
resolution: 768,768
network_dim: 64
network_alpha: 16
optimizer_type: DAdaptation
optimizer_args: "decouple=True" "weight_decay=0.01" "betas=0.9,0.99"
locon_dim_string: 16
locon_alpha_string: 8
Только подстрой их под то, чем ты там тренишь. Где то 12 эпоха вышла как раз годной при 5х34. Насчет разделения лр хз, делится ли он вообще впринципе, но версия 1.5 принимает раздельные, а выше уже нет. Читал мнения, что констант тоже не лучший выбор, ну хз, у меня он работает как раз с дадаптом, а на адаме8 то ещё дерьмо было, можешь козин попробовать, если не понравится.
Держи https://mega.nz/file/gOIAHQBR#qey5u6Tk2M6zbjtrhEIs63Dx8b_y2T-G2uKtO7T9xZo
Вытянул из рабочей версии, часто переписывается на ходу, если что сломано - напиши.
> arm up; выяснилось, что в AnythingElse 4.5 нет тега "arm up", только "arms up"
Клип имеет некоторую толерантность к очепяткам и схожим идеомам, так что подобные сложности - перебор. В "сложном гайде" не зря пишут что не стоит пытаться часами выдрачивать все до абсолютного идеала, после определенного момента чувствительность к этому крайне низкая и рандом ее перебивает.
> - проставлял теги from below, from above, open mouth, sad, happy, smile, bored
Если они есть в датасете то все усреднит, но лишним не будет раз сделал.
> Да, from behind & looking back протеганы были подробно.
Потести свою лору с более подробным описанием, там волосы, тип, одежда, и т.д., а не один тег. Подход у тебя основательный но так начинать - можно заебаться и быстро закончить. Ну и с чистой наи попробуй, намешанное в том эниэлсе может негативно повлиять при использовании на других моделях.
> train_batch_size: 5
> resolution: 768,768
Мажорно.
Спасибо, попробую.
>есть две лоры с двумя персами
Вот тут я не силен. С персонажами не работал почти.
Но чуйка мне подсказывает, что можно мерджить как обычно, но крайне важны тэги. Протегано должно быть всё, плюс обязательно должен быть общий тег персонажа.
И то если персонажи имеют какую-то общую деталь (например, заколку в волосах), и если ты им раздельный тэг для этой заколки не выдал - оно сольется.
>правильную модель для извлечения выбрать
Я знал, на чем оно файнтюнилось, поэтому выбирал исходник.
>2-3 раза одну и ту же извлек из разных моделей
Зачем? Извлек один раз, сделал копии файлов с разными именами, мерджил между собой. Точные числа уже не помню, с каким коэффициентом сливал, но в итоге получилось что мердж лоры на силе 1 выдавала тот же результат, что до этого на силе 3.
> при использовании на других моделях
при использовании модели в хассаку у перса лицо теряет его фичи и становится более дефолтным анимешным лицом.
Но с той же AE4.5 всё отлично. Что будет с Based - пока на этой модели не проверял, в предыдущей версии было норм
> И то если персонажи имеют какую-то общую деталь (например, заколку в волосах), и если ты им раздельный тэг для этой заколки не выдал - оно сольется.
Я уже сталкивался с подобной проблемой тоже кстати.
> Я знал, на чем оно файнтюнилось, поэтому выбирал исходник.
Ну так проще всего.
> Зачем?
Я же правильно понял что в этом супер мерджере мерджится просто две модели в одну по их весу, как бы они просто реагировали на промпт, если их обе подключить одновременно? И да, кстати, там в ридми прямо уточнение есть что используются вообщем то просто скрипты кохи.
Я имел ввиду такое: ты я так понял мерджишь просто модель саму с собой, это её походу просто усилит как будто ты ставишь силу больше через промпт или адднеты. А если экстрактить из чекпоинтов, которые косвенно участвовали в мердже и ты про них знаешь, то больше инфы добавится при мердже, чем тупо увеличение силы. Но если не знаешь или тренили на наи, естественно это плохой вариант.
У меня только пару вопросов осталось. Альфа это как с в MBW, то есть замешивание TE? А за что отвечает бета?
> две лоры с двумя персами, можешь показать свои настройки, как бы ты их смерджил чтобы оба были узнаваемы на весе 1.0 в новой лоре
Что-то подсказывает что есть далеко ненулевая вероятность получить неузнаваемость обоих персонажей, возмущения юнета друг друга компенсируют и до свидания.
>А если экстрактить из чекпоинтов, которые косвенно участвовали в мердже и ты про них знаешь
Там файнтюн модели, откуда я лору доставал, был в единственном экземпляре, и сделан был на НАИ. Т.е. других версий не было.
Меня просто раздражало, что конкретно вот этой вот лоре надо силу задирать для проявления эффекта.
Поэтому и замутил эту бодягу с само-мерджем, чтоб оно нормально работать начало, как и все остальные лоры.
Ну я попробовал, две лоры 128 и 64 с персонажами смешать в одну. Они видимо пережарены и так были, в целом выдаёт почти ту же картинку, как и просто генерация с ними двумя, отличия как между обычной натрененной на 128 дим и её ресайзом в 32. Я бы смерджил кстати в тот же дим, но лоры с разными димами на no или auto диме не мерджатся и видимо надо ставить дим меньше минимального из лор. Персонажи выдаются своими промптами, вообщем можно чекать заранее просто генерируя с желаемой комбой, а потом соединяя с таким же весом, я так понял.
А вот локоны не мерджатся, выдаёт еррор multiple merge of LyCORIS is not supported и это печально.
Ты какие нибудь абсурдные комбинации случайно не пробовал, по типу взять недотрененные эпохи одной и той же лоры смешать? Интересно может ли в таком мердже что то вообще годное получится?
Как мне обучить сеть на перерисовку существующей картинки под конкретный стиль?
Есть AI Mirror https://play.google.com/store/apps/details?id=com.ai.polyverse.mirror&hl=en_US&pli=1
Там стиль гибли, стиль сейлормун, наруто, GTA IV ещё что-то. Загружаешь фотку, он её тебе перерисовывает под нужный стиль.
Допустим, я скачал несколько фильмов Гибли, разрезал на скриншоты.
Дальше что?
Есть AI Mirror https://play.google.com/store/apps/details?id=com.ai.polyverse.mirror&hl=en_US&pli=1
Там стиль гибли, стиль сейлормун, наруто, GTA IV ещё что-то. Загружаешь фотку, он её тебе перерисовывает под нужный стиль.
Допустим, я скачал несколько фильмов Гибли, разрезал на скриншоты.
Дальше что?
>по типу взять недотрененные эпохи одной и той же лоры смешать
Нет, не пробовал.
Но идея вообще интересная.
>А вот локоны не мерджатся, выдаёт еррор multiple merge of LyCORIS is not supported и это печально.
Мне в таком случае советовали запечь локон в модель и сделать экстракт в лору, потом мерджить.
Но руки у меня пока до проверки такого метода пока не дошли.
> в целом выдаёт почти ту же картинку, как и просто генерация с ними двумя
Так иначе оно и не может, все правильно. Сама по себе лора на персонажа в дефолтной имплементации - довольно топорная штука, которая вносит возмущения в значения модели, которые потом ужимаются в произведение мелких матриц. В отличии от полноценного файнтюна, где можно точечно корректировать/добавить концепты не сильно затрагивая остальное, здесь шатается все для натягивания совы на глобус, после чего модель уже не та что прежде. Смешивая лоры смешаешь все шатания, они будут плохо разделяться тегами. Может сработать разве что если лоры на совсем разные концепты и почти не пересекаются, и то вероятность мала.
Если хочешь на двух персонажей - лучше изначально тренить лору на них, сложнее, но результат будет несравнимо лучше мерджа двух лор персонажей.
А вот со стилями оно хорошо работает, также как их одновременное применение.
> А вот локоны не мерджатся
Ждать версии где реализуют. А ты это для чего делаешь, если не секрет?
Лора на стиль, готовишь датасет, подбираешь параметры, обучаешь. На Гибли относительно неплохие лоры уже на циве есть.
> На Гибли относительно неплохие лоры уже на циве есть
Я знаю https://civitai.com/models/6526/studio-ghibli-style-lora
Вопрос гипотетический же.
> обучаешь
Хорошо, а дальше что. Вот скачал я Лору гиблятины, как её применить к уже существующей картинке? Ни промтов ничего у меня нет. Только готовая фотка, которую я хочу модифицировать
Придется установить и освоить основной инструментарий, делается через img2img
> запечь локон в модель
Не мерджится, выдаёт еррор
RuntimeError: Expected size for first two dimensions of batch2 tensor to be: [10240, 32] but got: [10240, 3]
> Смешивая лоры смешаешь все шатания, они будут плохо разделяться тегами. Может сработать разве что если лоры на совсем разные концепты и почти не пересекаются, и то вероятность мала.
Нет, они нормально сработали, просто сами лоры которые я мешал пережарки, реагируют так же как если бы ты их просто две сразу в инференс тайме добавил, персонажи разделяются но картинка пережаренная.
Когда нибудь пять или больше лор в инференс тайме добавлял? Я вот пробовал и картинка была нормальной, даже на достаточно больших весах, но да, там не пересекались персонажи. Две или больше на стиль без те, одна на перса, два концепта, тут примерно тоже должно получаться, если не делать бессмысленные комбинации. И сами лоры должны быть тоже мастерписями, а не пережаркой, очевидно.
> Если хочешь на двух персонажей - лучше изначально тренить лору на них, сложнее, но результат будет несравнимо лучше мерджа двух лор персонажей.
Конечно лучше с нуля тренить, но мердж тоже имеет место быть с хорошими лорами и не пересекающимися тегами. Тренить тоже придётся разделяя теги, если там конечно наряды не одинаковые например.
> Ждать версии где реализуют
Ликорис репо ласт коммит 19 апреля, долго же ждём то уже, хотел бы сделал, кохак не особо активничает в разработке и локон более менее уже устаканился, так что пока выглядит как owari da...
> А ты это для чего делаешь, если не секрет?
А чего тут может быть секретного? Это же не тренировки стилей с хайден гемами Просто пробую как работает этот костыль.
>Не мерджится, выдаёт еррор
До сих пор не реализовали?
Вот это они калеки, конечно.
Хуле никто не пилит эмбединги на 2.1 768
мб потому что оттуда порнуху вырезали?
Не, хуйня
Запилил скрипт с оконным UI, чтобы тестировать вставку рандомных слов (wildcards как в автоматике), а также генерировать промпты для генерации на сайтах где нет поддержки вайлдкардов. Заменяет слова внутри double underscored на рандомные строки из txt файла с этим же названием (из той же папки, где лежит скрипт). Может использовать рекурсивно новые вайлдкарды внутри файлов.
https://pastebin.com/KfsiTAFU
Но есть баг, вайлдкард не сработает, когда рядом другие символы (должен быть отделен пробелами с обеих сторон).
https://pastebin.com/KfsiTAFU
Но есть баг, вайлдкард не сработает, когда рядом другие символы (должен быть отделен пробелами с обеих сторон).
Судя по комментам без старшего брата по кодингу не обошлось? Без запятых хуйня, вот исправил https://textbin.net/p76xv2mffx потести, может где проебался.
Сенкофажик это ты чтоли? Я нашел способ венв нормально чинить, если интересно до сих пор.
Запятые так то и в вилдкард можно вставить.
Но когда тебе надо этому вилдкарду силы добавить - могут начаться проблемы, ибо запятая попадет внутрь скобок.
Ты еще тут?
Почему в пролапсном коллабе нет модели control net tile? Он разве не должен автоматом с обновой появиться
> Он разве не должен автоматом с обновой появиться
С чего бы? У тебя модели древние, скачай новые.
А, сорян, я жопой про кал лаб прочитал. Хуй знает че там в коде кал лаба и как модели качаются, но можешь попробовать выкрутиться так: поставь этот костыль https://github.com/etherealxx/batchlinks-webui и с помощью него скачай нужную модель отсюда https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main например
Ты такой взрослый, у тебя такой классный сленг!
Господа, зачем нахуя вы велосипед изобретаете? Ведь есть же https://pypi.org/project/dynamicprompts/
Переделал сходил падсибя правда нахуя, особой надобности не было https://textbin.net/77p9unit7w вроде работает нормально.
Да я руками в гугл так закинул, вроде выглядит полезно, пусть лежит потом семилинком подключать буду вместо скачивания.
Способов эмбеддинги в модель вшивать не придумали? Гугол говорит, что нет, но я ему не верю.
> эмбеддинги в модель вшивать
Если бы ты знал значение этого слова, то не задавал бы таких даунских вопросов.
У меня тут Бог нарисовался.
Это чудо!
Да, а ты куда пропал?
Да отваливался из-за некоторых проблем и еще не закончил отваливаться так сказать.
Есть какие новости или что интересное за последнее время?
> Есть какие новости или что интересное за последнее время?
Наверное самое значимое это оптимизация от ноувидео в паре с маздаем под их формат Olive или типо того, почитай ветку если интересно более менее информативное обсуждение https://github.com/vladmandic/automatic/discussions/1145#discussioncomment-6008325 . Вообщем прямо наплыв ускоренных бекграундов для генерировывания, автоматик вон тензоррт запилил и ожидается билд от нвидии под оливье https://github.com/AUTOMATIC1111/stable-diffusion-webui/discussions/10684#discussioncomment-6019118 , тестить не стал, почитал что там надо запекать лоры в модель и делать её для одного фиксированного разрешения ради х2-3 скорости, причем чем выше, тем меньше будет профит, хайрез вроде тоже не работает, короче хуй слезешь с иглы одобрения пайторча спустя столько месяцев и появления лор с контролнетом. Вот такое еще видел https://github.com/facebookincubator/AITemplate , это куда перспективнее, потому что под пайторч и контролнет уже добавлен https://github.com/comfyanonymous/ComfyUI/pull/660 в комфи рано или поздно замерджат, я думаю.
Потестил ещё копиум сдавливая смех
https://glaze.cs.uchicago.edu/faq.html#faq
https://arxiv.org/pdf/2302.04222.pdf
Пик1 слева нормальная картинка, справа под лсд после глейза, хотя вроде говорилось про незаметный эффект влияющий в основном на латентное представление.
Ну и грид и генерации, а где защита то? Сетка такой же получилась, как и без. Я лишь заметил что лосс показывал чуть большее значение.
Последняя версия сд-скриптс как то хуже тренит кстати, может дело в новом bitsandbytes конечно, который для лиона, но я прямо заметил ухудшение с одними и теми же параметрами на адаме. Сам лион какой то тоже хуй пойми, лр ниже адама в 15 раз, тренирует в 3 раза быстрее, но хуже качество. Кастомные дадапты тоже через жопу работают, наверное надо ставить последнюю версию и дадапта тоже. Попробуй сам если хочешь, как освободишься, может получше какие параметры найдёшь, а то адам какой то несдвигаемый король тренировок и всё тут прямо.
Аноны, просветите плиз обычного гуманитария, возможно ли каким-либо образом без лишней мозгоебки установить на одной винде 11 два не связанных между собой стейбл диффьюжена? Чтобы одна версия была стабильной (замороженный рабочий старый билд с отключенными обновлениями), а вторая со всеми модными обновлениями и свежими релизными свистоперделками, чтобы тестить на нем все новые фичи
Anaconda.
Сорри, я не шарю, а что это? Есть какой-нить гайд на ютубе?
Автоматик и так создаёт свой venv, посмотри как это работает если прямо интересно, тебе желательно вынести тяжеловесные модульные части в отдельное место, по типу моделей, лор и тд и линкануть пути через фс к путям со скриптами автоматика разных версий.
> тебе желательно вынести тяжеловесные модульные части в отдельное место, по типу моделей, лор и тд и линкануть пути через фс к
Когда один автоматик обновит тяжеловесный модуль, что произойдёт?
https://www.anaconda.com/download/
Anaconda для Python - это дистрибутив (пакет) Python, который включает в себя сам Python и множество других полезных инструментов и библиотек. Он предназначен для упрощения установки и управления различными пакетами и зависимостями Python, которые необходимы для разработки программ на этом языке.
Основная особенность Anaconda заключается в том, что он включает в себя мощную систему управления пакетами, называемую Conda. Conda позволяет легко устанавливать, обновлять и удалять пакеты Python, а также управлять их зависимостями. Это очень полезно, когда вам нужно работать с разными библиотеками и инструментами, которые могут требовать разных версий Python или других пакетов.
Кроме того, Anaconda поставляется с предустановленным набором популярных библиотек для анализа данных, научных вычислений и машинного обучения, таких как NumPy, Pandas, Matplotlib, SciPy и многих других. Это делает его особенно полезным для работы с данными и разработки алгоритмов машинного обучения, так как вы можете начать использовать эти библиотеки сразу после установки Anaconda.
Кроме того, Anaconda обеспечивает среду управления пакетами, называемую Anaconda Navigator, которая предоставляет графический интерфейс для установки и управления пакетами, а также для запуска среды разработки, такой как Jupyter Notebook или Spyder.
В целом, Anaconda - это удобный инструмент для установки и управления пакетами Python, который облегчает разработку программ и анализ данных, особенно в области научных вычислений и машинного обучения.
Я имел ввиду тяжеловесные части по типу моделей, врятли когда то автоматик будет менять к ним пути, а не то что в венве лежит, венвы для каждого должны быть свои. Модели будут браться из одного места для двух автоматиков, просто для экономии места.
А, это да, конечно. Для "гуманитариев" - redirectory поможет.
https://kirsanov.net/post/2016/07/05/Getting-most-from-your-SSD-drive-by-redirecting-directories.aspx
И тут я подумал, что вроде как в конфиге был путь к папке с моделями, нет?
Посмотрел новые апдейты кохи, походу опять все Лоры заново учить
В двух словах расскройте мысль, уважаемый, раз уж начали.
>В целом
Спасибо, чатГПТ!
>redirectory
Понаписали говна новомодного.
Пользуюсь HardLinkShellExt для ручного создания и Duplicate Files Search & Link для поиска уже насранных дубликатов.
> почитай ветку
Много не ожидал, но после пояснений влада, писюн совсем упал. Из них же выходит что доступ к тензорным ядрам юнитам сделан костыльно.
> https://github.com/AUTOMATIC1111/stable-diffusion-webui/discussions/10684#discussioncomment-6019118
>according to the doc they have shown me TensorRT was 3 times as fast as xformers
Палехче, так могут и на зарплату в новидео взять, кто знает что дядя хуанг делает на своей вилле с молодыми, талантливыми программистами. Разворачивает в докере раком.
С того времени как репа стейбл дифужн акселерейтед имплементация с тензоррт получила статус архивед, много воды утекло уже, чего это вован именно сейчас выкатил свой вариант.
> Вот такое еще видел https://github.com/facebookincubator/AITemplate , это куда перспективнее, потому что под пайторч и контролнет уже добавлен https://github.com/comfyanonymous/ComfyUI/pull/660 в комфи рано или поздно замерджат, я думаю.
А вот это выглядит интересно, но что-то не понятно как дилить с разными моделями кнета. Не хочу строить фабрики. Алсо, там в пр анрилейтед драма.
> Потестил ещё копиум
Хотел на релизе его протестить, но эта хуйня у меня на цп работала, с соответствующей скоростью.
Вокруг этого глейза столько драмы было конечно, спизженный код, сливы и деобфускация кода, емнип.
Ну и ты неправильно тестировал наверное!!! Задача заставить глейз работать, лол.
Надо было увеличить разрешение трени до 1024 и оформить перетрен, что бы шум схватился нормально!
Алсо, вспомнил пикрилы и снова проиграл. https://www.reddit.com/r/StableDiffusion/comments/11sqkh9/glaze_is_violating_gpl/
Глейз на самом деле выглядит как хайп для грантов/финансирования.
Алсо, какие лр шедулеры сейчас используешь?
> к тензорным ядрам
Чел, они тут вообще не при чём, они всегда используются в торче.
> Палехче, так могут и на зарплату в новидео взять
Он действительно даёт ускорение минимум в два раза. А то что нет динамического разрешения - его никто и не обещал никогда, у тебя модель "компилируется", естественно оно не может как в питоне работать.
> чего это вован именно сейчас выкатил свой вариант
Потому что выбрал самый простой способ. У куртки вобще-то было обновление для Оливы, а не TensorRT. У Оливы всё заебись с фичами, другое дело что сама нвидия не может релизнуть свой форк автоматика из-за самого пидора автоматика и таких же пидоров в стабилити, а васяны не могут осилить запилить Оливу в него.
Аноны, есть ли возможность посмотреть настройки другой лоры каким-нибудь ещё способом кроме additional networks? На некоторых лорах он там ничего не показывает, или они как-то по другому натренены?
Потому что не у всех лор есть метадата, если он ничего не показывает то скорее всего ты ничего больше и не найдешь
Спасибо, да, похоже на то. Оказывается лору можно просто блокнотом открыть и тиснуть метадату.
> Много не ожидал, но после пояснений влада, писюн совсем упал. Из них же выходит что доступ к тензорным ядрам юнитам сделан костыльно.
Ну если верить владу, то получается что так.
> С того времени как репа стейбл дифужн акселерейтед имплементация с тензоррт получила статус архивед, много воды утекло уже, чего это вован именно сейчас выкатил свой вариант.
Видимо на хайпе тоже решил пукнуть чем то.
> Не хочу строить фабрики.
Можно и не строить https://github.com/space-nuko/ComfyBox
> Алсо, там в пр анрилейтед драма.
Лол, я когда скидывал ещё не было. Интересно чем закончится, и как комфи на всё это отреагирует, он вроде базовичок сам по себе топящий онли за впопенсорс.
> Хотел на релизе его протестить, но эта хуйня у меня на цп работала, с соответствующей скоростью.
Да у меня она тоже еле работает. 20 картинок за батч максимум и срёт собой в директорию пользователя, даже не спрашивая куда поставить необходимые компоненты.
> Ну и ты неправильно тестировал наверное!!! Задача заставить глейз работать, лол.
> Надо было увеличить разрешение трени до 1024 и оформить перетрен, что бы шум схватился нормально!
> Алсо, вспомнил пикрилы и снова проиграл. https://www.reddit.com/r/StableDiffusion/comments/11sqkh9/glaze_is_violating_gpl/
> Глейз на самом деле выглядит как хайп для грантов/финансирования.
Я не удержался.
Лоры не лоры, файнтюн не файнтюн. Не та система, не те дрова, не тот производитель видеокарты, не тот датасет, не те гиперпараметры, не было оптимизированно, не в то время тестировали, не тот тестировщик, технология опередила своё время. Зато у нас по 20 картинок за раз, зато у нас засирание системного диска, зато обсусцирование кода от первоклассника, пойду поглейзерю. А ты в 256п потести, а ты в 128п потести. Ну ещё чуть чуть, ну ещё немножечко, ну ещё на пол карасика, уже на грани, почти, ну вот скоро обнова выйдет, вот вот допилят, надо просто подождать, задел на будущее. Ну а что вы хотели, никто ничего не обещал, врёти, вы всё врёти. Зато потанцевал.
А на скрине у тебя вообще пиздец какой то, восьмигиговых то за что?
> Алсо, какие лр шедулеры сейчас используешь?
Косинусы с подогревами, которые ты собрал в последний раз, до сих пор работают отлично для стилей, для 15 эпох ставлю 2 подогрева, для 20 3 и стараюсь держать лр в диапазоне от 1-5е-4 до 6-1е-6, ТЕ в 3 раза ниже, всё это естественно на адаме8. Для персов по фану констант с дадаптом иногда подрубаю, но я их редко делаю, дадапт вообще себя не очень со стилями как то у меня показывает, ставит смехотворные лр, очень опасается пережарить юнет, но с персами топ. Кстати заметил что чем больше пикч в датасете, тем больше нужен лр, или дольше нужно тренить, для стиля если беру больше ~250 его практически невозможно пережарить, но и тяжелее до свитспота дотренить.
Анон, помоги. При нескольких итерациях имг2имг и правке в фотошопе получаются адово пересыщенные и яркие цвета, особенно красный.
Я думаю, что виновато Вае - стоит vae-ft-mse-840000-ema-pruned
Я думаю, что виновато Вае - стоит vae-ft-mse-840000-ema-pruned
> Я думаю, что виновато Вае - стоит vae-ft-mse-840000-ema-pruned
Угу.
> Чел, они тут вообще не при чём, они всегда используются в торче.
В смысле ни при чем? Я про этот пост https://github.com/vladmandic/automatic/discussions/1145#discussioncomment-6018579 владян прямо пишет что условия использования в большинстве случаев не соблюдаются. Пиздит получаэтса?
Стало интересно, погуглил, но какой-то уверенной индепт инфы не нашел.
Нашел инфу что они используются при фп16 миксед пресижне при использовании torch.cuda.amp https://developer.nvidia.com/automatic-mixed-precision
И такое действительно требует специфичного размера тензоров https://pytorch.org/tutorials/recipes/recipes/tuning_guide.html#use-mixed-precision-and-amp
Однако здесь челик пишет что "cuDNN could pad your inputs and use TensorCores internally" https://discuss.pytorch.org/t/tensor-format-to-utilize-tensor-cores/152916
А здесь, что "For Volta: fp16 should use tensor cores by default for common ops like matmul and conv. For Ampere and newer, fp16, bf16 should use tensor cores for common ops and fp32 for convs (via TF32)." https://discuss.pytorch.org/t/does-pytorch-use-tensor-cores-by-default/167676
Он вам не владян выходит? И 99% не 99%?
Алсо, поставил новидео нсайт, здесь по идее можно посмотреть юз тензорных ядер.
Ну и собсна получил такие результаты:
Пик 1: т2и пачка 512х512 авг 3-20%~ где-то, макс 50%~
Пик 2: и2и пачка 1024х1024 авг уже выше - 25-40%~, что в принципе логично, но значение макс так же 50%~
Пик 3: т2и 512х512 на тензоррт ватоматика, авг 20-65%~ в среднем значительно больше чем у 1024 но при этом макс 80-100%~
Эх, вот бы я был умным и знал бы как точно интерпретировать это.
Какие выводы можно сделать из этого? Ну типа у нас ускорение с тензорными ядрами присутствует, но использование таки частичное.
Ты же шаришь, да? Где почитать нормальную, комплексную индепт инфу разжеванную, не в курсе? А то "ну тензоры это матрицы, а тензорные ядра ускоряют матричные вычисления хуе-мое" каких статей дохуя, не особо помогают.
> Он действительно даёт ускорение минимум в два раза
Про трт я в курсе, тот лайн был про теперь уже очевидное взаимодействие вована с новидео.
> Потому что выбрал самый простой способ. У куртки вобще-то было обновление для Оливы, а не TensorRT.
По таймингу выкатил. Совпадение? Не думаю. Хайп.
На сконверченной модели кстати 16 ит/с, обычная с тем же 2м каррасом 11 выдает в 512.
> Видимо на хайпе тоже решил пукнуть чем то.
Вот да.
> Можно и не строить https://github.com/space-nuko/ComfyBox
Надо будет чекнуть.
> Интересно чем закончится, и как комфи на всё это отреагирует, он вроде базовичок сам по себе топящий онли за впопенсорс.
Думаю мы не узнаем чем закончится, хз где за ними следить еще да и надо ли? А блочить пр из-за этого например будет очень спорным поступком.
> Я не удержался.
Лол, помаслил ветерана первой рязанской
> не тот производитель видеокарты
С этого хрюкнул.
> А на скрине у тебя вообще пиздец какой то, восьмигиговых то за что?
Что бы не расслаблялись, 2023 это год восьмигиговой истерии так то.
> Косинусы с подогревами, которые ты собрал в последний раз, до сих пор работают отлично для стилей
Я там в последний раз таки обосрался с условием цикловых вармапов, емнип если цикловой вармап был больше глобального, то обсиралось, сейчас исправил и добавил ховер в тестовую среду. Но только для одного графика единовременно, переключать через изменение переменной, не въехал как для двух сразу добавить.
https://mega.nz/file/nMUyUBiS#U8xmoGPctfsmOrdCay_yvYzGBya8sU_l-cHN5ajR9E4
> ставит смехотворные лр
Тоже встречал такое не так давно, 2е-5 выставился, правда там говнодатасет на 150 пикч был, собранный знакомым, так что подумал на него в первую очередь, но расследовать не стал.
> Кстати заметил что чем больше пикч в датасете, тем больше нужен лр, или дольше нужно тренить, для стиля если беру больше ~250 его практически невозможно пережарить, но и тяжелее до свитспота дотренить.
Относительно насколько больше или дольше?
> Пиздит получаэтса?
Все тормоза не из-за того что тензоядра не используются, а из-за медленного динамического графа - все эти заборы на графиках нагрузки из-за этого.
> cuDNN could pad your inputs and use TensorCores internally
> ребует специфичного размера тензоров
Если кодер намеренно делает выравнивание по 64, например, то естественно тензоядра нахуй уходят от такого говнокода. А либы нвидии работаю корректно с тензоядрами. В торче, например, conv-слои работают через cudnn, т.е. тензоядра на них будут работать всегда, другое дело что граф выполнения пердит-свистит.
> юз тензорных ядер
Суть тензоядер - это примерно как AVX на ЦП. Нвидиа даже гифки вам рисовали пикрилейтед, важно чтоб мелкие операция были сгруппированы, а тензоядра работают всегда если можно выполнить их одновременно.
> Алсо, поставил новидео нсайт
Какую в него комманду вводить чтобы глянуть на метрики? Что то типо "B:\progs\SD\sd-torch2-tensorrt\venv\Scripts\activate.bat" && python.exe launch.py --xformers --deepdanbooru --skip-install --api не работает
> Думаю мы не узнаем чем закончится, хз где за ними следить еще да и надо ли? А блочить пр из-за этого например будет очень спорным поступком.
Врятли он заблочит, похуй абсолютно что там с этой stable horde или о чем они там спорят. Просто достаточно странный тип этот пр притащил.
> Что бы не расслаблялись, 2023 это год восьмигиговой истерии так то.
Ачеавсмысле? Игры не влезают в 8гб теперь в 2к условном или что произошло?
> емнип если цикловой вармап был больше глобального, то обсиралось, сейчас исправил
Ну я так его не использовал, поэтому не заметил такой проблемы. Насколько сложно будет независимые циклы сделать? Например чтобы следующий цикл был в более узком диапазоне, чем предыдущий.
> Но только для одного графика единовременно, переключать через изменение переменной, не въехал как для двух сразу добавить.
Найс. Как то вот так запилил, костыльно конечно и цвета графиков другие стали, но работает. https://textbin.net/dpoo4fvpf5
> Относительно насколько больше или дольше?
Ну пример всего с одним стилем точный есть, именно тренировка с маленьким и большим датасетом. Сама рисовка у камепана тоже чуть со временем менялась, но тем не менее. Тренил с большим датасетом и только с третьего раза, с увеличением лров и итераций с 805х1 лора даже на 15 эпохе ощущается чуть недожаренной. С теми же параметрами я запустил глейзотест, но с 80х10 (вроде) картинками охуенно по 20 пикч за раз делать бля и она сгорела на 10 эпохе и пришлось делать в2 с меньшим лр и меньшим количеством повторов, на второй попытке уже что то типо 80х5 всего.
Я тогда списал это на глейз этот ебучий, но нет, недавно пылесосом засосал с буры sciamano240 350 пикч стиля, хотя обычно так не делаю, а собираю 100-150, и потренил 350х2 на дефолте с 1е-4, лора работала на 1.5 силы нормально. Усилил в 3 раза лр, но поменял скорость спада, и итераций тоже накинул и стало нормально на 1.0. Вообщем просто чем больше пикч, тем больше нужно тренить/лр, я так понял. Некоторые цифры конечно можно проследить, но это всего лишь два датасета, так что not exactly science, датасет х 3=лр х 3 + итераций х ~1.5-2.
Держи короче дамп с этими конфигами, https://dropmefiles.com/IbHML
Для того чтобы получить годный результат, вовсе не нужно строчить простыню!
Достаточно всего двух слов, "artstation traditional", а также короткое описание контента, не затрагивающее стиль. Буквально 3-5 слов, и пикчи будут охуительными.
Если результат слишком реалистичный (или отклоняется от стиля чекпойнта) то нужно добавить немного тегов с danbooru (но не переборщить), а также добавить негативный промпт, который заберет много токенов. Чтобы результат был традиционным как на artstation, но не как в старинных гравюрах - добавить в negative "historical, medieval, ancient, victorian, baroque" и тому подобное.
Как правило, в традиционной технике (на бумаге, холсте) работают топовые профессионалы из академий, а не говномазы с пиксива.
Достаточно всего двух слов, "artstation traditional", а также короткое описание контента, не затрагивающее стиль. Буквально 3-5 слов, и пикчи будут охуительными.
Если результат слишком реалистичный (или отклоняется от стиля чекпойнта) то нужно добавить немного тегов с danbooru (но не переборщить), а также добавить негативный промпт, который заберет много токенов. Чтобы результат был традиционным как на artstation, но не как в старинных гравюрах - добавить в negative "historical, medieval, ancient, victorian, baroque" и тому подобное.
Как правило, в традиционной технике (на бумаге, холсте) работают топовые профессионалы из академий, а не говномазы с пиксива.
Peq
Закидываю арт с вшитым промптом в PNG Info, отправляю в txt2img, нажимаю ГЕНЕРАТЕ и вылезает ошибка "TypeError: list indices must be integers or slices, not NoneType" ЧЯДНТ?
Данные на новую лору. стилизованные обложки AV фильмов, примерно 200 штук
Привет, аноны, абсолютный новичок в вашей теме.
Хватит ли для вката 2060/3060 и проца 10-летней давности (i7 2600) или нейронкам все же нужна не только хорошая карточка, но и проц?
Хватит
Проц желателен, но с твоими досками хватит и этого, всё норм.
А можете сказать какая разница в скорости генерации арта в фулл хд на 2060 и на 3060? Разница во времени или есть такие вещи, которые 2060 в принципе потянуть не может?
Есть два основных закона на текущий момент, карточка должна быть от зеленых и видеопамяти должно быть настолько много, насколько позволяют бабки. Выводы сам делай.
А тензорные ядра, шина и прочее?
Это уже будет влиять на скорость генерации.
Подождать чуть подольше - это не настолько критично, как постоянно биться лбом в потолок по видеопамяти.
Ниже 3к серии начинаются приколы с пониженными точностями, на 2060 не сможешь нативно в bf16 что хуже для обучения. Есть еще какие-то приколы с загрузкой моделей четвертной точности, но для генерации пикч неактуально. 1600 карточки - проблемные что выльется в пиздец уровня амд, паскаль слишком слабый, все что старше - просто забей. На 3к серии каких-либо вопросов с совместимостью нет и врядли появятся в ближайший год.
Можешь младших 4к серии дождаться, 4060ти с 16 гигами вроде обещали, но врядли там цена будет выгодна. 4070 и подобные - там уже 3090 по цене сравнима и 24гб это сильно лучше чем малый буст скорости гпу, или расмотри их на вторичке.
Возникло желание по генерить монстров в духе манги chainsaw man. Вопрос такой - Вот я загенерил при помощи refence only в контрлнете. Если бы я сделал лору то получилось бы лучше и аутентичнее?
Первая картинка использовала референс в виде четвертой картики
Вторая картинка использовала референс в виде третьей картики
Результаты разные. Хочется узнать есть ли смысл пытаться делать лору на 6-12 картинок
Первая картинка использовала референс в виде четвертой картики
Вторая картинка использовала референс в виде третьей картики
Результаты разные. Хочется узнать есть ли смысл пытаться делать лору на 6-12 картинок
Как собирать и хранить большие датасеты?
Я не понимаю структуру. Вот у меня тонна картинок, а как хранить теги для них?
Я не понимаю структуру. Вот у меня тонна картинок, а как хранить теги для них?
>Как собирать и хранить большие датасеты?
>Я не понимаю структуру. Вот у меня тонна картинок, а как хранить теги для них?
Windows Photo Gallery - это бесплатная программа от Microsoft для управления и редактирования изображений, которая также поддерживает тегирование. Вы можете добавлять теги и ключевые слова к изображениям, а также использовать фильтры для поиска нужных изображений.
>Если бы я сделал лору то получилось бы лучше и аутентичнее?
Не факт. Эта модельа из КНета порой просто чудеса творит (когда повезет. Тебе явно повезло).
Можешь поискать готовые лоры на всякую дичь, кстати. Вроде были.
Просто сверху лорой на аниме-лайнарт разбавь, или на манга-стиль. Получится чего-то похожее на твоё.
Но как по мне твоя парочка и так вполне неплохо получилась.
В файлах рядом.
Искать нужное через notepad++ поиском по содержанию файлов.
Спасибо за ответы. Про лоры на манга стиль не подумал даже, но наверное дело лучше пойдет правда
>Спасибо за ответы.
Тут я ничего не советовал:
Просто ввел чайнсав мэн блабла бла всякие теги на ужасы, имя твоего мангаки и на абисе это получил с чистого промпта.
Я бы советовал не тренировать огрызочные лоры, а натренировать дримбут модель нормально взяв модель абис орандж микс или эврефинг последний.
Аноны, давно заметил такую проблему что lycoris не выгружается, когда его убираешь из промпта. Он продолжает воздейтсвовать на генерацию, хотя нигде не отмечается что он есть. Довольно неприятная ситуация, таким образом можно наделать генераций, а в промте не будет записана часть инфы.
Кто-нибудь сталкивался? Как быть?
Кто-нибудь сталкивался? Как быть?
>Невозможно подключиться к ускорителю (GPU) из-за лимитов на использование в Colab.
Всё, похоже прикрыли лавочку мне уже три дня висит. У меня конечно есть ещё 20 аккаунтов, но ситуация удручающая
Всё, похоже прикрыли лавочку мне уже три дня висит. У меня конечно есть ещё 20 аккаунтов, но ситуация удручающая
Как акичи заводишь? Симки покупаешь?
Просто захожу в гугол и регистрируюсь. Я их не сразу все сделал, просто накопилось
Так без подтверждения по номеру телефона нельзя в гугле регаться же.
Только что зарегал новый. Можно.
>Так без подтверждения по номеру телефона нельзя в гугле регаться же.
Можно, но не всегда. Они периодически включают отключают эту хуйню, в зависимости от наплыва ботов. Я в феврале без подтверждения спокойно зарегал в течение пары дней пять акков. Из них всего один отлетел.
Нехуй было превышать.
> из-за медленного динамического графа
Шо це и почему он медленный? Я только про граф эйлера что-то знаю
> Суть тензоядер - это примерно как AVX на ЦП. Нвидиа даже гифки вам рисовали пикрилейтед, важно чтоб мелкие операция были сгруппированы, а тензоядра работают всегда если можно выполнить их одновременно.
Поне.
> Какую в него комманду вводить чтобы глянуть на метрики?
Я dummy батник просто сделал pause, оно всеравно пишет все.
> Врятли он заблочит, похуй абсолютно что там с этой stable horde или о чем они там спорят. Просто достаточно странный тип этот пр притащил.
Этот тип почему-то закрыл свой пр.
> Ачеавсмысле? Игры не влезают в 8гб теперь в 2к условном или что произошло?
Да там хардвейр анбоксед выпустили видос про то что 8 гигов в foolhd в ласт ААА уже всё! Спровоцировав тряску и беспокойный сон у восьмигиговых.
> Насколько сложно будет независимые циклы сделать? Например чтобы следующий цикл был в более узком диапазоне, чем предыдущий.
Хм, ну теребление T_0 через фактор T_mult там уже сделано, надо только перехват снять и снести первое условие в строке
if self.T_i % self.gamma_lr_update_freq == 0 and self.last_epoch > self.warmup_steps:
или поменять self.T_i на self.count
Хз, гамма апдейт какой-то юзлесс на самом деле.
Ну или self.T_i = self.T_i * self.T_mult поменять на self.T_i = math.floor(self.T_i x self.T_mult)
Можно еще цикловой вармап на тот же фактор там же умножать, но зачем.
Ну вобщем так обсер с остатком фиксится, последний вариант предпочтительнее таки.
Ну вроде работает, попробуй так, если что-то другое надо, то опиши наверное конкретнее что именно, просто полностью независимые циклы это будет кошмар например, там и так некоторые места через жопу три раза пропущены сейчас.
> Как то вот так запилил, костыльно конечно и цвета графиков другие стали, но работает. https://textbin.net/dpoo4fvpf5
Найс. Цвета другие потому что там отрисовка графиков два раза идет что-ли в таком случае. Сохранил символизм таким образом https://textbin.net/5ibjl027eu
> так что not exactly science, датасет х 3=лр х 3 + итераций х ~1.5-2.
Хм, кстати между выставляемым дадаптадамом лр и размером датасета и его консистентностью в случае стилей есть некоторая зависимость кажется. Надо бы чекнуть но потом.
А как тренировать Lycoris/Loha? Ни одного гайда не смог найти
Все то же самое, но задаются дополнительные параметры. В скрипте locon_dim locon_alpha раскомментируй и задай - будет реализация от кохи, замени нетворк модуль - альтернативный ликорис.
>Lycoris/Loha
А чем они круче LoRA?
> Я dummy батник просто сделал pause, оно всеравно пишет все.
Я просто путь до батника автоматика прописал и заработало.
> Этот тип почему-то закрыл свой пр.
Ну он изначально мутный был, вот и тебе и "I've implemented AITemplate for the community".
> Да там хардвейр анбоксед выпустили видос про то что 8 гигов в foolhd в ласт ААА уже всё! Спровоцировав тряску и беспокойный сон у восьмигиговых.
На радостях и ноувидео драйвер выпустили, теперь без оомов, но если вылезешь за пределы врам то нормально так по скорости просядешь.
> Ну вроде работает, попробуй так, если что-то другое надо, то опиши наверное конкретнее что именно, просто полностью независимые циклы это будет кошмар например, там и так некоторые места через жопу три раза пропущены сейчас.
Да, вроде работает, ценой шагов конечно, но можно циклы растягивать или сужать. Независимые наверное уже не так полезны будут, особенно если, чтобы их сделать, придётся знатно попердолиться, забей тогда лучше, такой шедулер уже очень достойный имхо, стили на нём делать самое то, по крайней мере для меня.
> Найс. Цвета другие потому что там отрисовка графиков два раза идет что-ли в таком случае.
Понял.
> Хм, кстати между выставляемым дадаптадамом лр и размером датасета и его консистентностью в случае стилей есть некоторая зависимость кажется. Надо бы чекнуть но потом.
Все последние разы что я с ним тренил, он прямо настоятельно пытается отделить стиль от персонажей в тренировке, хотя я видел более интересный способ это делать https://github.com/kohya-ss/sd-scripts/pull/542 , надеюсь к моменту когда ты это прочтёшь, наконец то появится чейнджлог уже у кохьи насчёт нововведений. Из-за этого стили на дадапте кстати получаются как то не очень по сравнению с адамом.
Алсо bitsandbytes новый, который нужен для лиона8, какое то говно на винде, существенно хуже качество в сетках и плавной тренировки просто нету, сам погляди на гриды.
Сейчас будет крайне дебильный вопрос, конечно, но связана ли ошибка по типу "Loss is NaN, the model is dead" с недостаточным количеством VRAM?
Каюсь, купился на фишку с общей памятью в последних драйверах Nvidia, вот и решил попробовать, мол, чем чёрт не шутит. А sd-dreambooth-ext, получается, так не обмануть.
Каюсь, купился на фишку с общей памятью в последних драйверах Nvidia, вот и решил попробовать, мол, чем чёрт не шутит. А sd-dreambooth-ext, получается, так не обмануть.
Это в чем именно пишет? При обучении?
Нет, при недостатке памяти пишет cuda out of memory, а это проблема со скоростью обучения и\или дата сетом.
>При обучении?
Да, при попытке обучения лоры. Датасет из ~60 картинок разного размера (не превышающего 560p), оба LR как только не выставлял, и разные оптимизаторы пробовал.
Вообще, было странно, что при 4-то ГБ VRAM выдало что-то отличное от "out of memory".
Скинь скриншот, что именно пишет, интересно стало.
мне кажется следующим шагом в SD станет увеличение моделей, так как это произошло с LLM моделями. лоры лишь позволяют тянуть в одну или другую сторону, а надо бы увеличить объем памяти.
Вот, например.
За корректность настроек не ручаюсь, мне чисто было интересно, взлетит или нет.
Да. Только ХЗ, на чём крутить 20B модель, если текущая на менее чем 1B уже не всякий раз влезает в мои 12 гиг врамы.
обрезанные, 16бит (pruned) сейчас 2Гб весят, раза в два хотя бы не помешало. да, тренировка будет требовать 13+Гб, но что поделать. потом придумают как сразу тренировать 16бит как QLoRA сделали для LLM
Такое ощущение, что у тебя нолик в числе ядер куда потерялся.
>обрезанные, 16бит (pruned) сейчас 2Гб весят
И что? При работе занимают несколько больше. Я иногда OOM ловлю при попытке сделать пикчи чуть больше или если контролнетов накручиваю. Ещё раз, у меня 12GB видеопамяти, выше только Бог всякие 3090 и 4090 (вроде ещё 4080, но 16 тоже не сильно выше 12).
Так что рост в 20 раз это будет полный разгром для потребительских железок.
А в 2 раза не даст практически ничего. Притом что новые сетки с нуля могут натрейнить только большие организации, а разрабы SD только сою впиливают, так что надежды на них нет.
для LLM 2 раза дает очень хороший прирост в связности предложений
у меня тоже 12, если использовать маленькие модели, и половины vram не жрет
у меня тоже 12, если использовать маленькие модели, и половины vram не жрет
я имею в виду разницу между 6B и 13B LLM моделями
Очень давно не крутил дримбух. Но попробуй Lora UNET и Lora Text поставить по 0.0001. А еще лучше забей на дримбух и ставь чисто под лору sd-scripts от Кохи.
> QLoRA сделали для LLM
Есть где то аналогичные sd-scripts для этой херни чтобы её потренить попробовать?
>Но попробуй Lora UNET и Lora Text поставить по 0.0001.
Это также пробовал, результат тот же - "поздравляю, у вас loss = NaN, ваша модель сдохла". Но спасибо.
>А еще лучше забей на дримбух и ставь чисто под лору sd-scripts от Кохи.
Была идея провести эксперимент и с этим, да.
Всё на месте вроде.
пока нет, всем хватает 12Гб
(ну и 24 для полных моделей хватает тоже)
Просто для LLM это один из порогов, который даёт новые возможности. Следующие х2 к примеру дают уже меньше.
Для картиночных нейронок, как видно из скрина выше, порог для связных надписей значительно выше.
Да я кекнул. Просто забавна 10 кратная разница.
чистая SD1.5 выглядит как 350M с того скрина
??
Я говорю про тренировку квантизированной модели, чтобы её и можно было всунуть в 12-24 гб врама, вот это вообще сработает для любой модели? https://github.com/artidoro/qlora
> порог для связных надписей
Не стоит оно того, увеличивать во столько раз сетку чтобы просто писать тексты на табличках. Для этого можно было как то контролнет настроить вроде.
QLoRA - для тренировки своих лор для больших текстовых моделей
Ну так это наоборот в минус SD, нэ? То есть этот факт добавляет ещё один множик х2 к объёму добавляемых весов.
>чтобы просто писать тексты на табличках
Думаю связные надписи это просто один из признаков нового порога.
ну так если бы раза в 2 увеличить модель для SD, возможно это решило бы всякие глюки
> текстовых
Именно это я и хочу попробовать сделать, подсунув, например, текст из архивных тредов по приколу.
> Думаю связные надписи это просто один из признаков нового порога.
Да, но откуда же столько врама. Это уже не станет такой популярной сеткой, которую даже на пожилых паскалях запускают.
Мей би. Но вряд ли.
>Да, но откуда же столько врама. Это уже не станет такой популярной сеткой
Именно. Так что сидеть нам до конца веков на перетрейненной вдоль и поперёк 1.5.
есть у меня сейчас пара старых паскалей P40 на 24Гб, Они сейчас дешевые. только cuda старая и проблемы с дровами, взял на пробу.
будут большие запросы - появится и предложение, типа qlora и квантификации для sd
>Они сейчас дешевые
Дороже чем хотелось бы, с учётом их проблем.
ну с дровами проблема лишь в том, что они не работают с потребительскими картами и 3060 не работает вместе с ними - либо дрова ставятся для них либо для 3060. надо будет встройку заюзать
Да я бы 2-3 штуки в сервак воткнул бы, благо сейчас там вовсе пусто. Но для эксперимента всё равно дороговато.
2х24Гб за цену 3060, но это все фигня, главное будут они полезны в итоге или нет.
с охлаждением решил вопрос в виде майнинг рака, видел еще в стойку корпуса высокие
> Именно. Так что сидеть нам до конца веков на перетрейненной вдоль и поперёк 1.5.
Изначально и сд выглядела не очень, а вот дотренированная версия, хоть и с маленьким количеством параметров уже тащит. Есть смысл их увеличивать, но не до абсурдного уровня, да и откуда ты возьмёшь такой огромный энтузиазм для файнтюна чекпоинтов от комюнити сейчас. Проблема в том что даже если сейчас сд выпустит или сольёт нормальную модель, скорее всего мало кто ринется её дотренировать из-за пиздец какого оседания на 1.5, вызванного ну ты сам скорее всего помнишь какими охуенными принятиями решений.
Не то чтобы это плохо кстати, 1024 файнтюн 1.5 имеет место быть, даже на старом чекпоинте наи не так ужасно выходит, вообщем есть куда ещё ползти.
> есть у меня сейчас пара старых паскалей P40 на 24Гб, Они сейчас дешевые. только cuda старая и проблемы с дровами, взял на пробу.
И что ты с ними собираешься сделать, ллм чтоли запустить? Там же даже тензорных ядер нету.
в любом случае дешевле A100 в стоимость дешевой квартиры
>И что ты с ними собираешься сделать
>взял на пробу.
Небыл полгода в треде. Объясните, что именно значит 7B, 30B, 70B и т.д.? Это чисто размер? Я помню от NAI была модель первоначальная на 13гб, но она спокойно жалась до 4гб без потерь.
если не зайдет, попробую несколько 3060 воткнуть в тот же рак
B - billion (миллиард) ("параметров")
>главное будут они полезны в итоге или нет
Скажешь потом, тут или ещё где.
>Проблема в том что даже если сейчас сд выпустит или сольёт нормальную модель
>какими охуенными принятиями решений
Именно. Даже если они сделают SD 3.0 например на 3B параметров (в 4 раза больше чем сейчас), то она выйдет говном, ибо сою и цензуру входных изображений мало что может победить.
Ну так то да. Но архитекрута уже не торт.
Что именно пробовать то будешь?
В контексте сд - ничего. Это более применимо к ЛЛМ. Нейропост...
большие LLM запустить / файнтюн текстовых / SD
да все подряд, что запустится
Тебе их разве не надо для общей памяти в sli объединить или что у них там за интерфейс? Ну да, отпишись по результатам потом, тоже интересно. Несколько 3060 кстати тоже, если ты их в итоге будешь тоже подключать.
Sli не дает увеличения памяти, только скорость вычислений\обучений, и то когда сам софт под это оптимизирован. Увеличить память можно лишь меняя сами чипы памяти на плате, что пиздец.
до квантификации они вроде как поддерживают шардинг
В угабуге же есть какое то разделение памяти по гпу девайсам, или оно не работает?
должно работать, мне для начала нужно встройку сделать, у этих карт нет видеовыхода, а маяться с удаленным доступом не хочу
Итак, теперь же, в рамках эксперимента из ряда "заведётся или нет" решил попробовать и скрипт от kohya, с тем же датасетом.
Пока вроде как идёт, но КАК ЖЕ ЭТО ДОЛГО. К тому же, есть неиллюзорный риск сжечь оборудование (хотя, в тех же играх греется посильнее).
поставь вентиляторы дешевые от dexp на 2к+ оборотов на вдув, шумно но поток воздуха
Анон, я уже в рот ебал эт все, третьи сутки пытаюсь закрепить персонажа через лору и все идет в какую-то пизду, либо персонаж не закрепляется либо плывет я хуею, в чем нахуй проблема?
Параметры Kohya
Cosine With Restarts
Batch Size 3
AdamW
TLR 0.0001
ULR 0.0003
Epoch 14(такая хуйня на последних эпохах, на начальных даже куски чара отсутствуют)
SNR Gamma 5
Dim Alpha 32:16
Сам датасет 15 пиков 5 репов, до этого тренировал на парамах выше и все заебато работало
Параметры Kohya
Cosine With Restarts
Batch Size 3
AdamW
TLR 0.0001
ULR 0.0003
Epoch 14(такая хуйня на последних эпохах, на начальных даже куски чара отсутствуют)
SNR Gamma 5
Dim Alpha 32:16
Сам датасет 15 пиков 5 репов, до этого тренировал на парамах выше и все заебато работало
Вырежи с фона, долбень.
ULR 0.0003 - слишком много, попробуй 4e-4
батч сайз 1 или 2 на крайняк
> 0.0003
> слишком много, попробуй 4e-4
Как же я ору с местных додиков, уже не умеют цифры читать.
Фон в описательной части присутствует, до этого никаких проблем с ним не было, даже более, сука фон сохраняется, а персонаж нет
Эмм, шта?
3e-4<4e-4
0.0003<0.0004
А что ты там тренишь вообще? 3e-4 для таких дим-альфы немного многовато, но делать вырвиглазной пиздец что на пикче не должно. Батч сайз какой? Да и не совсем похоже на перетрен, у тебя там генерация нормально работает?
А фон тут при чем?
Господа хорошие, кто-нибудь пробовал тренить на нескольких гпу?
В итоге, лора всё-таки была кое-как "обучена". Заняло это примерно 1,75-2 часа, если не считать остановки и перезапуска для сравнения скорости при использовании разных оптимизаторов (в данном случае, AdamW8bit оказался несколько побыстрее, чем DAdaptAdam).
Результат оказался, мягко говоря, говном, но это и не удивительно, если учесть, какие параметры были подобраны для обучения, и насколько некачественным был датасет. Но то, что результат всё-таки есть, уже приятно удивило.
Что можно сказать в качестве вывода...
Да, видеокарты с менее, чем 6-12Gb VRAM, непригодны либо ограниченно пригодны для обучения LoRA (а в Dreambooth так и вообще им путь заказан). Однако, есть, куда стремиться, как говорится, надежда есть.
Батч сайз как и описал в троечку стоит, тренирую персонажа, сам персонаж они девка с татухами на лице, генерация работает на отличненько. Пикрелейтед свежие гены на лоре что я тренировал до этого, на двух назных моделях, алсо можно ли использовать сгенерированные изображения для тренировки персонажа если я их обтравлю, мб недостаточно датасета?
Погоды, ты, выходит, первый четырехгиговый что смог натренить лору?
> генерация работает на отличненько
Хз, напоминает беду с VAE и лезет мыло с jpeg артефактами, но это может быть из-за промта, по крайней мере того пиздеца нет.
15 пикч маловато, но всеравно работать должно, там уже другие проблемы будут. Скинь датасет если не стесняешься, попробую запустить.
Вообще, это стало возможным благодаря последним драйверам от Nvidia (на момент "обучения" и поныне стоит версия 536.23), которые позволяют использовать не только VRAM, но и просто RAM, хотя и в этом случае заметно снижается производительность.
Не могу скинуть сет, ибо приватный реквест, я уж пробовал и с вае и без, и на модели на которой тренировал(NAI обычный спижженный) прогнать, и сэмплеры за соски подергал, и покрутил анус лернинг рейтам, и scheduler'ы поласкал(пробовал констант, косинусовый с рестартами и без, и DAdapt) эт вообще ахуй дичайший, впервые у меня такая хуйня что вообще нихуя не закрепляется, шесть дюжин лор нахуй оттренировал, а это прям вообще нихуяшеньки ебаный свет
> ибо приватный реквест
Что-то проиграл, ладно бы там фотосет еот, а тут анимушный перс. А ты версию случаем не обновлял?
Если ничего не менялось значит или какая-то мелочь в параметрах что не замечаешь, или проблемы с датасетом. Использовать генерации можно но приведет к ухудшению качества.
Удваиваю этого анона. Что самое страшное может случиться если ты датасет анимеперса скинешь сюда, кто то его натренит и выложит на цивитай? Если конкретно на том датасете нихера не получается, как минимум в целях исследования интересно что с ним не так.
Поебался с этой хуйней, датасет говно короче, нужно оптимизировать
Ты показывай, не должно настолько ломать
додзя чб штоле?
как сделать чтобы лора игнорировала отсутствие одежды в датасете и не пыталась всегда в nsfw?
Пропиши в тегах отсутствие одежды а при вызове подробно опиши какой костюм хочешь, при необходимости нсфв в теги. Если протегано норм и не пережарено все хорошо работать будет.
Кстати говоря, на последних драйверах Nvidia (тех самых, с поддержкой общей памяти), становится невозможно нормально использовать SD, особенно с ControlNet. Процесс может остановиться так, что прервать его невозможно, приходится полностью перезапускать webui. Обидно, конечно, но будем ждать развития событий. А пока можно откатиться на версию 531 или ниже.
Подскажите пожалуйста как работает планировщик "cosine_with_restarts". Я думал что график скоростей должен иметь вид как на пик 1. Но у меня он имеет вид обычного косинуса, без рестартов (пик. 2 и 3).
Параметры пик. 2:
$learning_rate = 1e-3
$unet_lr = $learning_rate/4
$text_encoder_lr = $learning_rate/2
Параметры пик. 3:
$learning_rate = 1e-3
$unet_lr = $learning_rate*4
$text_encoder_lr = $learning_rate/2
Нужно в отдельную переменную (которой нет в скрипте от анона по дефолту) записывать когда рестартать или как?
Параметры пик. 2:
$learning_rate = 1e-3
$unet_lr = $learning_rate/4
$text_encoder_lr = $learning_rate/2
Параметры пик. 3:
$learning_rate = 1e-3
$unet_lr = $learning_rate*4
$text_encoder_lr = $learning_rate/2
Нужно в отдельную переменную (которой нет в скрипте от анона по дефолту) записывать когда рестартать или как?
--lr_scheduler_num_cycles=1 без рестартов, 2 - один рестарт по середине и так далее https://github.com/kohya-ss/sd-scripts/releases/tag/v0.4.1
Спасибо, заработало.
И отдельно напишу подробнее на всякий как именно для тех, кто в прогинге ещё хуже меня:
В скрипт от анона добавляем в раздел # Настройки обучения
$lr_scheduler_num_cycles = x
Затем в # advanced вписываем строку:
$run_parameters += " --lr_scheduler_num_cycles=$lr_scheduler_num_cycles"
Готово. Возможно, следует делать перед этим проверку
if scheduler = cosine with restart do ...
Но разбираться с этим буду если только что-то поломается
>$learning_rate = 1e-3
>$unet_lr = $learning_rate*4
>$text_encoder_lr = $learning_rate/2
Нифига себе, а что, так можно было?
>$unet_lr = $learning_rate*4
>$text_encoder_lr = $learning_rate/2
Нифига себе, а что, так можно было?
Планирую сохранять картинки в .webp для экономии места, какие подводные?
те же что и в соседнем треде
> 2д23й год
> сгонять пикчи в лоззи формат для экономии места
Вот такие, в остальном похуй. Если оно совсем плохо ужимает то могут быть проблемы при дальнейшем апскейле из-за артефактов.
Я к вам из треда с порнокартинками, сам слабо (примерно никак) разбираюсь в технических аспектах, но есть один вопрос, который меня волнует, может вы сможете ответить.
Есть ли какая-то хотя бы теоретическая возможность, что в будущем 2.1, а особенно SDXL модели будут адаптированы под создание качественной обнаженки или любители погенерировать нейровайфу навсегда застряли на модификациях 1.5 и стоит отбросить всякие надежды? Можно эти модели как-то дотренировать или избавить от фильтров (если они там есть)
Есть ли какая-то хотя бы теоретическая возможность, что в будущем 2.1, а особенно SDXL модели будут адаптированы под создание качественной обнаженки или любители погенерировать нейровайфу навсегда застряли на модификациях 1.5 и стоит отбросить всякие надежды? Можно эти модели как-то дотренировать или избавить от фильтров (если они там есть)
Кстати, я тут подумал о том, как можно было бы (возможно) решить проблему с руками в моделях основанных на 1.5.
Вот смотрите, что мы можем сделать сейчас? Ну не считаю negative embedding'ов - но это хуевое решение, они лишь слегка помогают.
- У нас есть ControlNet, с помощью образцов - через depth или openpose мы можем обойти неумение нейросетки генерировать нормальные руки.
- У нас есть вот это расширение:
https://github.com/jexom/sd-webui-depth-lib
И вот эта база:
https://civitai.com/models/67174/900-hands-library-for-depth-library-or-controlnet
С ними можно просто выбрать одну из готовых рук и даже самому не готовить образцы.
НО есть несколько проблем - если мы используем txt2img - не факт что конкретная рука хорошо подойдет под нашу композицию, плюс генерировать кучу картинок с одним и тем же положением руки - хуевый вариант, так что просто оставтиь пеку на генерацию тоже не варик. Если же мы используем img2img - не всегда всё это хорошо вписывается опять же, может заруинить картинку.
А что если сделать расширение, которое рандомно выбирает одно из положений рук из базы (отдельно случайно выбирает для каждой новой картинки) и через контролнет его добавляет к генерации? Таким образом мы могли бы например установить batch size в сотку - и нагенерировать 100 изображений с руками в разных положениях, но при этом большАя или даже бОльшая часть которых всё ещё выглядит нормально. Жаль я не умею кодить.
при этом еще через adetailer выбрать отдельную модель заточенную исключительно на рисовании рук
еще идея заворачивать первые шаги в контролнет на опенпозу, а там чтобы работал автофикс положения конечностей / пальцев, чтобы их не выворачивало, а затем срабатывал этот контролнет
> batch size в сотку - и нагенерировать 100 изображений с руками в разных положениях
> плюс генерировать кучу картинок с одним и тем же положением руки - хуевый вариант, так что просто оставтиь пеку на генерацию тоже не варик
Это то же самое. Реально хорошие и качественные картинки получаются только после допила руками.
> 2.1
Его анимушный файнтюн WD1.5 уже вполне сносно может в NSFW, значительный прогресс можно проследить по выходящим эпохам, с текстовыми моделями дообучение также убирает цензуру, так что при желании все можно.
По SDXL намекнули что сможет в нсфв, но какое количество сои в ней точно будет не узнаем до релиза. Если будет опенсорц и действительно хороша как обещают, а не просто двойка с накинутыми жиджорни-синематик фильтрами, то файнтюны подъедут. Главное чтобы сильно размер не увеличился, иначе требования к железу также скажутся на популярности и развитии.
Любую генерацию можно починить описанным тобой методом, или даже более простыми.
Это понятно, что в 90% случаев даже в целом удачная генерация требует или обработку фотошопом или инпэинт, а очень часто и то и другое.
Но это не отменяет того факта, что например с включенным на лица Adetailer - лица как правила уже не нуждаются в инпэинте и лишь иногда нужно немного подправить мелкие детали в фотошопе. А вот с руками adetailer работает ужасно, часто делая только хуже.
>значительный прогресс можно проследить по выходящим эпохам
Эпохи - это версии модели?
>По SDXL намекнули что сможет в нсфв
А кто и как намекнул? Хорошо если так! Только не понятно почему... Во второй версии они вроде четко взяли курс на сою, что изменилось? Поняли что они без NSFW просто проигрывают по большинству позиций MJ?
>Главное чтобы сильно размер не увеличился, иначе требования к железу также скажутся на популярности и развитии.
А есть какая-то инфа на этот счет? Или пока ничего не известно?
> Только не понятно почему
Есть модели для проверки на NSFW, поверх модели накладываются. Но маловероятно что сои не будет.
> Эпохи - это версии модели?
Да, писали что совпадает, хотя возможно они раз в несколько выкладывают, и саму процедуру файнтюна между ними корректировали для улучшения и багфиксов.
> А кто и как намекнул?
https://www.reddit.com/r/StableDiffusion/comments/14e9tk1// и соседние дискуссии
Инфы не много.
Будет неоче если они интегрируют ее в основную. Но с другой стороны подобные конструкции живут только в случае анальной огороженности и постоянного допила, если будет в опенсорсе - взлом жопы произойдет быстро.
Так ребятки, там cmp 40hx 8 кеков - майнинговая ртх 2070 - на авите от 6к, с бубнами и без перепайки работает в 4 линиях псие.
Будет работать со SD как думаете?
https://www.youtube.com/watch?v=twRIYq2p-38
Будет работать со SD как думаете?
https://www.youtube.com/watch?v=twRIYq2p-38
еще вариант запилить специальную inpaint-модель специально для рук
Как зачем? 2070 за 6к дядя
>Инфы не много.
И та печальная.
А паять и шить есть кому?
кароче погуглил, вроде работают с сд майнинговые карты
наверно возьму и буду пердолиться
Здравствуйте. У меня несколько вопросов:
1. Есть смазанные фото (кое-где смазана только часть, объект в движении), фото хуевого качества, и тому подобное. Можно ли починить с помощью SD?
2. Хочу раздевать одноклассниц знакомых тянучек.
3. Исходя из двух предыдущих вопросов: возможно ли из фото по пояс дорисовать фото в полный рост?
3. Есть ли подробный гайд в стиле "вот эта крутилка отвечает за эту хуйню, а вот эта за ту хуйню, если покрутить сюда будет то, а если туда - это"? Я помню что у вас где-то гайд на гугл.диске был, но не помню насколько он подробный. А метод тыка - ну такое себе.
К первым трем вопросам реквестируются модели, пайплайны и примеры настроек.
1. Есть смазанные фото (кое-где смазана только часть, объект в движении), фото хуевого качества, и тому подобное. Можно ли починить с помощью SD?
2. Хочу раздевать одноклассниц знакомых тянучек.
3. Исходя из двух предыдущих вопросов: возможно ли из фото по пояс дорисовать фото в полный рост?
3. Есть ли подробный гайд в стиле "вот эта крутилка отвечает за эту хуйню, а вот эта за ту хуйню, если покрутить сюда будет то, а если туда - это"? Я помню что у вас где-то гайд на гугл.диске был, но не помню насколько он подробный. А метод тыка - ну такое себе.
К первым трем вопросам реквестируются модели, пайплайны и примеры настроек.
> Можно ли починить с помощью SD?
Нет, лучше возьми модель для деблюра.
> Хочу раздевать одноклассниц знакомых тянучек.
Сначала напаивай, потом раздевай.
> возможно ли из фото по пояс дорисовать фото в полный рост?
Делай просто фото ниже пояса.
> Есть ли подробный гайд в стиле
Начни с букваря, заканчивай словарём.
Спасибо, ты мне очень помог. за первый совет с моделью для деблюра рили спасибо, поищу
>Я помню что у вас где-то гайд на гугл.диске был
Этот про для раздевательства и в целом про сд?
https://docs.google.com/document/d/1NBBr5pSGW3P8Uq4SOhQEmb8cnKkfrQwzeVZYBpuysdQ
По вопросам - все есть, можешь раздевать, дополнять, улучшать, етц
> Этот про для раздевательства
Ну да ясен хуй, как будто что-то еще на двачах выстрелит сильнее. Спасибо за линк, отправлюсь читать.
>По вопросам - все есть, можешь раздевать, дополнять, улучшать, етц
Ну так в какую сторону копать? Сейчас смотрю это например https://www.youtube.com/watch?v=reeyin06YRw
Сап. Хочу генерировать непристойные пикчи со своей еот, что для этого нужно?
нюфаг
нюфаг
Получить справку от психиатора.
Можешь подробно по пунктам расписать, пожалуйста?
Не только от психиатра, полную надо.
Ищешь где возле тебя можно пройти соответствующую комиссию, если дс и регистрация постоянная то можно все в одном месте. Если нет - сначала топаешь в психушку, где заказываешь справку, беседуешь с врачом, рассказываешь о своих похотливых желаниях и молишься чтобы тот не отправил тебя на доп обследование. Далее твой путь в наркологию - оплачиваешь, ждешь очередь, ссышь в банку, беседуешь. Ну а после легко - опять в кассу, окулист, терапевт и готово.
С оп поста чтение начни
Почему при попытке запустить Лору cmd просто закрывается вот с таким окном? скрин было очень тяжело сделать, т.к. закрывается он за долю секунды после открытия. Сам stable diffusion запускается без проблем и все работает, а вот с лорой проблемы.
написано же нужен торч 2.0.1
обнови через upgrade.bat или вручную
Кликаю на upgrade и ничего не происходит, командная строка так же закрывается спустя секунду. Вручную как это сделать?
есть вопрос, кто-нибудь знает где можно удобно скачать все картины какого-либо художника, например Петрова-Водкина, давно люблю его стиль, хотел бы лору, да и на стиль Франсиско Гойя тожу б обучил
вон видишь внизу строку pip install четотам. а выше требуемая версия торч. вот и сделай то же самое, только вместо последнего pip впиши торч указанной версии. Надеюсь про абсолютные и относительные пути к файлам ты в курсе? Выполнять нужно там где лежит пердон.ехе
Не в курсе(
Т.е. я запускаю пердон.ехе и пишу в нем "python.exe -m pip install --upgrade torch==2.0.1+cu118"?
Соре, я не программист нихуя..
Кто работал с roop , как отключать nsfw блокировку ? Там внутри insightface
нужны спрайты чтоб сделать простенькую графику для простенькой 2д игры. Например персонажа. Стейбл диффужн сможет в такое?
Да.
Если ты запускаешь пердон.ехе - ты в нем пишешь pip install --upgrade torch
А если cmd то /путь/до/python.exe -m pip install --upgrade torch
Возможно что и версию torch указывать не нужно, он прост обновится на самую свежую которая доступна.
Спасибо тебе.
Анон в b в пригожин тредах постит сгенерированную скабееву, в какой сетке он ее генерит?
В SD и генерит, на цивитаи есть лоры для неё. Но с такими знаниями с нуля тебе вкатываться недели две минимум до первой вменяемой голой скабеевой.
Ля какая же охуенная штука. Можно срать не снимая свитер устраивать себе фотосет не вставая с дивана. Максимально годно для какого-нибудь тиндера, просто охуенно.
Он ее не генерит, а срет чужими картинками.
>в b в пригожин тредах
Говноед.
Алсо, нагенерил кто-нибудь файт продюсера с тувинским шаманом?
Пидорги, признавайтесь, кто запостил похотливую аргонианскую деву под моей лорой?
Может кому надо
https://pastebin.com/mWLHduYb
Скрипт отправляет каждое jpeg изображение из рабочей папки в deepdanbooru спейс и сохраняет теги в txt с тем же названием.
https://pastebin.com/mWLHduYb
Скрипт отправляет каждое jpeg изображение из рабочей папки в deepdanbooru спейс и сохраняет теги в txt с тем же названием.
Поясните в двух словах, пожалуйста.
Есть настроенная по гайдам с релевантного треда на аниме SD 1.5 с моделями и прочей лабудой, но у меня вдруг возникло жуткое желание погенерировать копродедов. Что мне для этого нужно сделать? Просто скачать дедовскую модель? Или у вас тут всё по-другому? По шапке не очень понятно.
И где лучше брать эти "обычные" модели? А то у вас тут много всего.
Есть настроенная по гайдам с релевантного треда на аниме SD 1.5 с моделями и прочей лабудой, но у меня вдруг возникло жуткое желание погенерировать копродедов. Что мне для этого нужно сделать? Просто скачать дедовскую модель? Или у вас тут всё по-другому? По шапке не очень понятно.
И где лучше брать эти "обычные" модели? А то у вас тут много всего.
Аноны, есть разница в качестве лоры от батч сайза? Сделал для теста две лоры с одним датасетом на 1 и на 5 и разницы не заметил, но может у меня датасет шакальный.
В целом разницы нет, но большой батч сайз сохраняет от пережарки
Зачем? StyleGAN в другом месте обитает.
>StyleGAN
А так чтобы в коллабе пуньк/среньк можно?
Я думал там любую картинку так можно (
Между тем беру некоторые части тела своей еотовой (голова как минимум), криво-косо леплю в гимпе сверху на интересующую меня позу и прогоняю через SD с инвертированной маской на лице. Любая поза, бесшовный результат на стандартных настройках, просто охуенно, словно эксклюзивный фотосет.
Есть какие-то новости по поддержке GPU от AMD/Intel под виндой и без пердолинга?
Сколько нужно в среднем разметить фото, чтобы обучить нормальную лору?
50-100. Можно и на 25, если фото качественные.
Не слушай долбоеба. 5-10, если ебло.
https://github.com/civitai/sd_civitai_extension
Я просто оставлю это здесь без намека, что надо бы это в шапку, потому что нюфани качающие с цивитаи не всегда в курсе, что есть этот плагин, который догружает превьюхи всем моделям и лорам и им не надо плакать ночами, что бы делать самому их ручками.
Я просто оставлю это здесь без намека, что надо бы это в шапку, потому что нюфани качающие с цивитаи не всегда в курсе, что есть этот плагин, который догружает превьюхи всем моделям и лорам и им не надо плакать ночами, что бы делать самому их ручками.
https://github.com/victorca25/traiNNer
https://github.com/styler00dollar/Colab-traiNNer
Кто-нибудь пробовал тренировать свои апскейлеры или дотренировывать уже существующие? Есть идея собрать пак картинок с anatomically correct five gingers и попробовать условный валар дообучить на них, в надежде, что это поможет чаще нормальные пальцы роллить при апскейле. В идеале, для обучения вообще собрать какой-то свой пайплайн, не просто "давнскейл -> апскейл -> сравнение с оригиналом", а портить пальцы между давнскейлом и апскейлом, чтобы нейронка училась восстанавливать кривые пальцы из низкого разрешения.
Вопрос в том, как портить только пальцы, а не всю картинку. Есть готовые тулзы для поиска пальцев - https://www.section.io/engineering-education/creating-a-finger-counter/ В теории, можно написать скрипт, который найдёт все квадраты на картинке с пальцами и прогонит их через Inpaint с высоким денойзом, что гарантированно поломать их. Не уверен только, будут ли работать подобные тулзы для детекта пальцев с нереалистик аниме картинками.
Либо попробовать сделать то же самое, но не на уровне апскейлера, а на уровне VAE, чтобы он из говна в латентном пространстве пытался пальцы собрать.
Или я хрен его знает, может просто лору/ликорис обучить на кистях рук крупным планом и потом проходиться ей в Inpaint? Я хочу себе кнопку "зделоть заебись", а не дрочить эти колбаски в крите или искать подходящий жест и накладывать его вручную в Depth Library.
Есть такой ликорис - https://civitai.com/models/47085/envybetterhands-locon но у меня с него толк на уровне погрешности. Да и сам автор пишет:
> Example images are cherry-picked. Please don't expect this model to make all of your hand generations better. It may even make some of them worse, so you should evaluate its usefulness on a large number of images and not just one. If it works for you like it does for me, the a lot of your results should be the same or better quality (some will just be bad in different ways).
https://github.com/styler00dollar/Colab-traiNNer
Кто-нибудь пробовал тренировать свои апскейлеры или дотренировывать уже существующие? Есть идея собрать пак картинок с anatomically correct five gingers и попробовать условный валар дообучить на них, в надежде, что это поможет чаще нормальные пальцы роллить при апскейле. В идеале, для обучения вообще собрать какой-то свой пайплайн, не просто "давнскейл -> апскейл -> сравнение с оригиналом", а портить пальцы между давнскейлом и апскейлом, чтобы нейронка училась восстанавливать кривые пальцы из низкого разрешения.
Вопрос в том, как портить только пальцы, а не всю картинку. Есть готовые тулзы для поиска пальцев - https://www.section.io/engineering-education/creating-a-finger-counter/ В теории, можно написать скрипт, который найдёт все квадраты на картинке с пальцами и прогонит их через Inpaint с высоким денойзом, что гарантированно поломать их. Не уверен только, будут ли работать подобные тулзы для детекта пальцев с нереалистик аниме картинками.
Либо попробовать сделать то же самое, но не на уровне апскейлера, а на уровне VAE, чтобы он из говна в латентном пространстве пытался пальцы собрать.
Или я хрен его знает, может просто лору/ликорис обучить на кистях рук крупным планом и потом проходиться ей в Inpaint? Я хочу себе кнопку "зделоть заебись", а не дрочить эти колбаски в крите или искать подходящий жест и накладывать его вручную в Depth Library.
Есть такой ликорис - https://civitai.com/models/47085/envybetterhands-locon но у меня с него толк на уровне погрешности. Да и сам автор пишет:
> Example images are cherry-picked. Please don't expect this model to make all of your hand generations better. It may even make some of them worse, so you should evaluate its usefulness on a large number of images and not just one. If it works for you like it does for me, the a lot of your results should be the same or better quality (some will just be bad in different ways).
Апскейлер слепой и пальцев не восстановит, это так не работает, а если не слепой это тот же самый сд с теми же самыми ограничениями. С лорой пробуй хуле, может получится, это дело непредсказуемое. Вае, по моим впечтлениям, капризная хуита, обучать не пробовал, но не прокатит чую.
мимо олдфаг апскейлеров
Идея использован ган-модель достаточно хороша.
Не на правах абсолютной истины но предположу что чистое обучение на пальцах до уровня проявления эффекта приведет к деградации основных свойств, он перестанет нормально делать остальное. Поэтому использовать его стоит не в качестве основного апскейлера, а применяя локально к выделенным областям, по аналогии с адетейлером или напрямую в нем.
> не просто "давнскейл -> апскейл -> сравнение с оригиналом", а портить пальцы между давнскейлом и апскейлом
Предложу следующий вариант попортить: даунскейл сильнее и апскейл/обработка нейронкой чтобы артефакты сами себя проявили. Или же просто обработка img2img, или генерация с использованием контролнета, будет воспроизведен чистый процесс поломки пальцев. Это можно автоматизировать как через вебуи во вкладках батч, или же с использованием api (да, он есть и довольно простой, контролнет обещали что поддерживает).
> может просто лору/ликорис обучить на кистях рук крупным планом и потом проходиться ей в Inpaint?
А вот это кстати самый простой вариант, можно не стесняться ммаксимально ломать и пережаривать при условии ее применения в инпеинте только рук с only masked. Получится ли качественно обучить на широкое множество ракурсов - хз, надо пробовать, можно для начала сосредоточиться на нескольких группах самых типичных и сделать набор пиздец костыльное убожество но зато будет работать. Это же, кстати, можно применить в комбинации с пальцечинящим ганом, выбрав его как апскейлер для img2img, оно будет применятся при инпеинте.
Блин, почему при обучении лоры нельзя указать, что относится к лоре? А нужно только то, что не относится. А если модель плохо понимает? Тупо как-то.
Что ты сам собрался качать? Ордобоярин только вставляет ID лоры в пейлоад.
Можно и нужно, если только ты не хочешь запихнуть все и вся относящееся к персонажу в одну его фразу, а потом страдать от последствий.
> нужно только то, что не относится
Это про эмбед, а не про лору
А теперь переведи на русский. А то ты какую-то хуйню невнятную спизданул.
Если делать лору с close up кистями рук, то можно её использовать в паре с adetailer, там есть возможность автоматического поиска кистей рук и инпейнта по этой области, лоры в ней работают. К примеру, тут я просто ёбнул денойз 1 на кистях рук и микролиса явно с применением лоры нарисовалась. Так что, в теории, можно получить 1-click solution даже без какого-либо ручного инпейнта - детект пальцев и их правка будет происходить автоматически после завершения основной генерации. Из минусов данного подхода - не выйдет применять разные промпты к рукам - так что, если делать концепты на отдельные жесты, то не выйдет их по отдельности указывать.
В adetailer модель для детекта рук была обучена на двух датасетах картинок с кистями в кадре:
https://universe.roboflow.com/1-yshhi/anhdet (аниме, 5705 картинок)
https://universe.roboflow.com/catwithawand/hand-detection-fuao9 (реализм, 5247 картинок)
При этом координаты для пальцев рук уже прописаны в JSON-файле, который идёт в комплекте к датасету. Можно скриптами кропнуть картинки, оставив только пальцы в кадре (+ мб ганом каким-нибудь апскейл сделать, я хз как там кохя шакалов меньше 512x512 пикселей обрабатывает), и попробовать обучить лору на этом всём. Ну, ещё ревью кропнутых картинок надо будет сделать, там явно есть картинки с слишком мелкими или просто неудачными кистями рук.
в общем, это анон, который хотел взять вторую 3060.
взял, в SD automatic применения пока нет, да ему и хватало одной всегда. kohya вроде тоже не видел настроек.
в текстовых моделях - может использовать вторую карту, пока не понял принцип - слишком много вариантов загрузки развелось, но половину памяти забирало у второй карты на каких-то моделях.
взял, в SD automatic применения пока нет, да ему и хватало одной всегда. kohya вроде тоже не видел настроек.
в текстовых моделях - может использовать вторую карту, пока не понял принцип - слишком много вариантов загрузки развелось, но половину памяти забирало у второй карты на каких-то моделях.
Зачем?
Хочу придумать что-нибудь на тему фикса кривых пальцев.
В чем проблема инпейнтить?
Я вручную их дорисовываю и опционально прогоняю в инпеинте с низким денойзом. Но вопрос в том, зачем это делать, если есть гипотетическая возможность делать их сразу нормальными?
Можно как-то сделать чтобы SD брал только лицо человека и от него уже дорисовывал все остальное? Тело, позу, фон и т.д.? Сколько не пытался через Лору прогонять, всегда какая-то однотипная хуета получалась..
"Сразу нормальными" - это тебе надо заранее сцену ставить, через контролнет. Перед стартом генерации.
С позой и с depth/canny для рук.
Только так.
Согласен. Но вопрос в том, возможно ли изобрести другой, более простой подход.
Врядли. Я, по крайней мере, ничего такого придумать не могу.
Только разве что тот самый контролнет как-то автоматизировать, чтоб он в процессе генерации где-то подключался, детектил позу и руки, и их автоматом инпэинтил.
Есть где-нибудь гайд как раздевать тянок?
Если ты чухан, то никак. В качалку там сходи, например.
> не выйдет применять разные промпты к рукам
Если оно будет работать, да еще и автоматом - сделать 2 прогона это ерундовая цена.
> (аниме, 5705 картинок)
Полистал пикчи с превью. Ну чтож, при обучении модели на таком неудивительно что она не может в пальцы, лол, такое бы постесняться выкладывать. Но ладно, суть не в этом, у датасета конкретная задача для поиска рук и чтобы сеть в итоге справлялась с всратыми или поломанными такие пикчи тоже нужны. Если его и использовать для обучения "как надо" то потребуется серьезная сортировка. Может накачать хайрезов с бур с высоким рейтингом и/или от определенных авторов что делают хорошо детализированные пальцы, и уже на них с помощью сетки найти координаты и потом кропать? Также готовые датасеты были на обнимайлице, но что там по их качеству - хз.
> мб ганом каким-нибудь апскейл сделать
С большой осторожностью такое, обучится ган-артефактам.
> как там кохя шакалов меньше 512x512 пикселей обрабатывает
Апскейлит, но там есть команда чтобы не делала, на практике врядли кто-то юзал. Если что можно и обучение с меньшим разрешением запускать.
Тут ган может быть перспективнее, на счет него не изучал?
Еще такой момент, если на все это посмотреть, получается планирование не из того что нужно делать а из того что делать можем. Это не к тому что нужно от такой реализации отказываться, наоборот, но более эффективным вариантом может быть доп сеть, что распознает потенциальное положение рук на кадре, и уже на основе этого строит или выбирает из библиотеки openpose референс, после чего с ним прогоняется контролнет.
> есть гипотетическая возможность делать их сразу нормальными
> гипотетическая
Суть. Пальцы - не определяющая вещь в пикче, но когда все остальное хорошо их поломка сильно вредит.
Тебе в чатбот тред, там выберешь которая понравится и у нее спросишь.
Затем, что из под аи и так выходит хуета без души, а так хоть руку приложишь. Ну будет у тебя вместо тысячи картинок, из которых 990 с кривыми руками, сто с нормальными - их все равно придется перебирать и выбирать десять нормальных.
Рибята чо есть уже кто опробовал Drag Gan? Я еле запустил эту хуету
А больше ничего не хочешь? Вообще не заходи в раздел, на хуй это вон туда -------->
Не могу, там тобой занято.
Что нынче по faceswap? Есть вот это https://github.com/Em1tSan/sd-webui-roop-unlock но с ебучей зависимостью в виде MSVS. Есть для SD что-нибудь годное в виде расширения без ебучих зависимостей?
Работает на самом деле хуево, свап лица спорный, не обязательно ставить весь msvs достаточно visual-cpp-build-tools
Но опять же, если тебе нужен крутой свап, ты готов потратить на него время то это только deepfacelab
>свап лица спорный
Свап лица там охуенный. У дипфейслаба хуже и лицо еще более фанерное, ты пизди короче да не запездывайся.
ЗЫ вот если что https://github.com/s0md3v/sd-webui-roop
у меня в системе уже был builder tools от ms и поэтому все встало без каких либо лишних телодвижений, просто вставил ссылку на плагин в экстейшены и все
из недостатков, не детектит лица для замены на аниме и рисованных картинках специфичных персонажей гуманойдных
>из недостатков, не детектит лица для замены на аниме и рисованных картинках специфичных персонажей гуманойдных
Через маску в инпейнте. Сильный промпт на лицо. Тогда он тебе его хоть на жопе сделает.
Интересно, есть какие-то альтернативы латентным апскелерам?
Чтоб оно похоже работало (т.е. добавляло детали, перерисовывая картинку), но не настолько сильно, как в хайрез-фиксе автоматика.
А то загоняешь в него картинку на 0.55 денойза - а на выходе порой такая ересь выходит...
Чтоб оно похоже работало (т.е. добавляло детали, перерисовывая картинку), но не настолько сильно, как в хайрез-фиксе автоматика.
А то загоняешь в него картинку на 0.55 денойза - а на выходе порой такая ересь выходит...
> на 0.55 денойза
Ты бы еще до 1 выкрутил.
Контрол нет с тайлами же, хоть 0,9 ставь.
Так на 0,3 деталей тонет, а мыло я могу и билейным методом наделать.
По итогу у нас есть такие стулья:
1. Накропать close up картинок с хорошими пальцами (+ опционально протегать их в соответствии с жестами) и обучить лору. Дальше применять её по области к кистями рук, автоматически выделив их через adetailer
2. Дообучить уже существующий апскейлер/VAE, изменив типичный для них процесс обучения так, чтобы на вход подавалась картинка с поломанными пальцами, а лосс-функция сравнивала результат с оригиналом, где с пальцами всё в порядке
3. Либо самому шаманить GAN, изначально предназначенный для восстановления поломанных кистей рук. Я вот думаю, а возможно ли провернуть финт выноса всего этого добра в латентное пространство, взяв любой готовый VAE? Тогда размерность входных данных можно сократить сильно. В SD 1.X сжимали картинки 512x512x3 до размерности 64x64x4, что меньше оригинала в 48 раз.
Делать лору/ликорис - это самый простой вариант, поскольку все инструменты для этого у нас есть и кто угодно итт может это сделать, при наличии готового датасета.
Вариант с дообучением апскейлера/VAE более сложный, поскольку пайплайн обучения должен включать в себя поломку пальцев в датасете и сравнение с оригиналом в процессе обучения. Что меня больше смущает, так это то, что мы попытаемся запихнуть на VAE (сжатие/распаковка картинки в латентное пространство) и апскейлер (расшакаливание картинки) не предназначенные на них изначально функции. Я боюсь, это может привести к деградации основных функций данных систем, пока мы пытаемся возложить на них дополнительную задачу фикса пальцев.
Вариант со своим GANом самый запарный, поскольку надо будет придумывать архитектуру этого костыля с нуля (пихать ли всё в латентное пространство, указывать ли в input то, левая или правая рука, номер жеста из списка, сколько слоёв, как эту срань интегрировать в автоматик и т.п.).
Думаю, в первую очередь стоит пойти самым простым путём - обучить лору/ликорис на качественных картинках с пальцами. А там будет ясно, имеет ли смысл пытаться что-то более хитрое придумать.
> Может накачать хайрезов с бур с высоким рейтингом и/или от определенных авторов что делают хорошо детализированные пальцы, и уже на них с помощью сетки найти координаты и потом кропать? Также готовые датасеты были на обнимайлице, но что там по их качеству - хз.
Хорошая идея, да.
> Тут ган может быть перспективнее, на счет него не изучал?
Не изучал подробнее. Всю инфу, что нарыл, выложил в первом сообщении этой ветки.
> более эффективным вариантом может быть доп сеть, что распознает потенциальное положение рук на кадре, и уже на основе этого строит или выбирает из библиотеки openpose референс, после чего с ним прогоняется контролнет.
В adetailer уже встроены чекпоинты для поиска кистей рук в кадре. Вопрос в том, как подготовить датасет, который будет обучать сетку на основании картинки с поломанными пальцами выбирать нужный openpose референс, его размер и угол поворота. Полагаю, можно как-то автоматически нагенерировать под каждый жест в условном depth library кучу картинок и поломать их, а затем подавать на вход. В этом случае, для каждой поломанной руки в датасете мы будем знать изначальное расположение/угол/размер/жест референса для кисти, так что из ручной работы здесь будет только подготовка скриптов для этого всего. Как самому подготовить датасет с построением референса с нуля я не понимаю.
0.55 на латенте - это ж прям самый минимум. И то уже замыливание идет, лучше на 0.6 ставить.
Но тогда картинка засирается.
А что, помогает? Я как-то не пробовал его в таком режиме.
Сохраняет основную концепцию, но добавляет детализации именно по типу латент-апскейлеров?
>А что, помогает?
Да.
Главное что все три стула имеют одно общее - для них нужен датасет хороших рук умерено (или сильно) кропнутых. Так что его поиск или подготовка - заведомо выигрышная и приоритетная операция, которая не пропадет.
По поводу перегонки в латент и того даст ли это нужный эффект - надо поизучать, может кто скиловый-знающий подскажет.
> боюсь, это может привести к деградации основных функций данных систем, пока мы пытаемся возложить на них дополнительную задачу
То что задача не типичная для них - абсолютно верно, но по поводу деградации - предлагаю избежать ее эффекта ограничением использования только локально на одном из этапов, и не применять больше нигде. По крайней мере попробовать.
> надо будет придумывать архитектуру этого костыля с нуля
Начать можно с чего-то простого в виде аналога adetailer, но с прогоном участка в пиксельном пространстве через этот самый ган. Тут дописать имеющиеся костыли или можно в comfy-ui базовую схему для тестов и отработки собрать для начала. Самая простая реализация - подмена ган апскейлера img2img при инпеинте рук с only masked.
> в первую очередь стоит пойти самым простым путём - обучить лору/ликорис
Ну да, костыльно забивать гвозди гидравлическим прессом - но если это работает то почему бы и нет, не те расходы мощностей чтобы печалиться об оптимизации.
> автоматически нагенерировать под каждый жест в условном depth library кучу картинок и поломать их, а затем подавать на вход
Во, годнота.
Параметризовать опенпоз руки под популярные позиции (оно то в принципе уже сделано, только нужно выставить границы разумного чтобы изначально нарандомить много нормальных вариантов с разного ракурса и позицией а не несколько сделанных в ручную) и наделать набор жестов/простых рук в опенпоуз, и уже с ними пачками генерировать пикчи. Только картинки должны быть умеренной клозапности, а потом кропать участки, а то руки вблизи модели иначе отрабатывают и будет не то.
Полученный датасет подать на что-то clip-о подобное и обучать в соответствии со значением параметров исходной руки. Или может что-то более простое - изящное, но по такому принципу.
Реееебят...
Умоляю на коленях
Умоляю на коленях
Пробовал на коллабе из шапки обучить?
Я бы попробовал но пока нету времени разбираться. Если никто не поможет, сам заебусь
Можешь уже начинать разбираться.
Что-то у меня кохя-скрипты поломались, давно их не запускал. Не смогу пока помочь.
Чет я колабу не осилил. В одной просто не дает, а во второй ошибка хотя все по инструкциям
Короче починил кохю.
Хоть немного вышло похоже? По моему, нифига. При этом, оружейная тематика проскакивает, даже если не запрашивать её, слишком много её в датасете... 30 повторов на 43 картинки, 20 эпох. Обучал на nai, т.к. обученные на ней модели у меня лучше всего получались. На гриде пример с каунтефейт3. Могу попробовать на нём обучить, если хочешь, или поменять какие-либо параметры обучения. Я стили на художников не обучал никогда, так что не знаю, есть ли тут какие-то нюансы.
Либо могу скинуть что вышло, сам попробуешь поиграться ещё.
>При этом, оружейная тематика проскакивает, даже если не запрашивать её, слишком много её в датасете...
Звучит правдиво. Даже не знаю что с этим можно было бы сделать
Можешь скинь последние три эпохи, попробую посмотрю
https://anonfiles.com/I2J9md01z1/zapnik_zip
> Звучит правдиво. Даже не знаю что с этим можно было бы сделать
Сделать больше повторов на картинки без оружия, но их там всего 10 штук...
Я тут скинул версию без ватермарки кстати, мало ли упустил
Упустил. Я не тот анон, который тебе про ватермарку писал.
Д-адаптация с дефолтными параметрами неоче срабатывает, оно не пережарено и управляется, но ухватило явно недостаточно. Надо параметры шатать или вручную выпекать как другой анон делал, пикрел с его лорой сравнение.
Может потом пошатаю как очередь обучения пройдет.
Со второй датасет еще меньше, хз что там даже, сам потести https://pixeldrain.com/u/ZvyaB91p
Что-то у меня фигня какая-то. Картинку пережигает прям ужасно.
Пробовал и через т2и, и через и2и.
Настройки может какие специальные?
В любом случае, мои днище-потребности удовлетворены, я доволен. Спасибо большое, желаю что у тебя все хорошо было
Держи ту, если вдруг немного подмешивать или с базовой моделью может пригодится, или попробовать замешать.
https://pixeldrain.com/u/pDE32Yei
Репортнул порнуху.
Крути все, авось найдёшь нужные.
Аноны, почему эта настройка не влияет на клип скип, как её не выставляй? Что я делаю не так?
Проверь внизу пере запись.
А это что вообще за интерфейс, автоматик так обновился или костыли?
Обычный дарк автоматик, просто цвета немного изменены, в остальном тот же самый интерфейс. Вы что кнопок не видите и расположение элементов. ЕПРСТ.
Вопрос не к цветам, в имеющемся коммите при галочке экстра нет таких опций.
это встроенное в автоматик по-умолчанию расширение extra-options-section
Оно у всех есть но не используется.
Немного инфы по системным требованиям SDXL от разраба comfy:
Вам нужно не менее 8 ГБ видеопамяти на графическом процессоре NVIDIA ( подтверждена работа не только на RTX но и на 1080), чтобы запускать Base и Refiner модели вместе в ComfyUI.
Или любом графическом процессоре AMD с 16 ГБ видеопамяти. Системная оперативная память так же является большим пределом, о котором люди не говорят - вам нужно не менее 24 ГБ оперативной памяти , предпочтительно 32 ГБ. Для базовой модели достаточно 16 ГБ.
Базовая модель генерирует начальную картинку и композицию,Refiner модель добавляет детали (типо Detail Tweaker LoRA).На gtx 1080 Sdxl при генерации 1024х1024 работала чуть медленнее чем 1.5 модель.
Вам нужно не менее 8 ГБ видеопамяти на графическом процессоре NVIDIA ( подтверждена работа не только на RTX но и на 1080), чтобы запускать Base и Refiner модели вместе в ComfyUI.
Или любом графическом процессоре AMD с 16 ГБ видеопамяти. Системная оперативная память так же является большим пределом, о котором люди не говорят - вам нужно не менее 24 ГБ оперативной памяти , предпочтительно 32 ГБ. Для базовой модели достаточно 16 ГБ.
Базовая модель генерирует начальную картинку и композицию,Refiner модель добавляет детали (типо Detail Tweaker LoRA).На gtx 1080 Sdxl при генерации 1024х1024 работала чуть медленнее чем 1.5 модель.
Покрутил-повертел - одна фигня.
Т.е. оно работает, детализацию улучшает по типу латента, но как-то неравномерно и чрезмерно.
Пик1 - обычный латент в и2и, пик2 - латент с тайлом от К-Нет. Денойз 0.6, одинаковый сид.
Кастом хайрезфикс от анона поставь. Композицию сохраняет лучше чем обычный хайрезфикс, но можно деталей накрутить много.
Стоит. Не нравится.
Особых преимуществ по сравнению с одиночными не-латентным апскейлерами не заметил, а работает значительно дольше.
С латентным апскейлом у тебя всегда будет пидорасить пикчу, никуда от этого не денешься. Чистый пик с ним не получишь, сиди на хайрезфиксе, это лучшее что будет от латента.
Помогите узнать верный ворк-флоу над обычной вот хорошей картинкой.
Ну и он меня интересует в общих чертах, таких как выбор инструментов.
1. Промтируем и генерим с батчем в 8.
2. Получаем хорошую картинку которую нужно доработать.
3. Кидаем ее в img2img. Там с тайлед вае берем апскейлер по вкусу и с денойзом по вкусу апскейлим.
4. Фиксим глаза или руки ленивым инпеинтом или если нужно запариться то в фотошопе делаем контуры.
5. Готово, можно вешать на стену.
Но! Я бы хотел знать, есть ли важная разница между хайрез-фиксом, sd апскейлером и другими темами?
На сколько у меня васянский алгоритм действий?
Есть ли более удобные и быстрые/эффективные методы?
Простите если этот высер не для технотреда. Мне будет очень стыдно если это так
Ну и он меня интересует в общих чертах, таких как выбор инструментов.
1. Промтируем и генерим с батчем в 8.
2. Получаем хорошую картинку которую нужно доработать.
3. Кидаем ее в img2img. Там с тайлед вае берем апскейлер по вкусу и с денойзом по вкусу апскейлим.
4. Фиксим глаза или руки ленивым инпеинтом или если нужно запариться то в фотошопе делаем контуры.
5. Готово, можно вешать на стену.
Но! Я бы хотел знать, есть ли важная разница между хайрез-фиксом, sd апскейлером и другими темами?
На сколько у меня васянский алгоритм действий?
Есть ли более удобные и быстрые/эффективные методы?
Простите если этот высер не для технотреда. Мне будет очень стыдно если это так
>Ну и он меня интересует в общих чертах
А меня всегда интересовал вопрос почему онимэшники со своими картиночками и подобными вопросами лезут абсолютно в каждый тред, но только не в свой онимэшный загон? Это у вас у всех такая массовая шиза?
Аноны, вопрос немного периферийный.
Вот у меня (и у тебя) скопилось ровно двести пятьдесят миллиардов триста восемьдесят тысяч картинок.
Встал вопрос об их хоть каком-то учете. Разумеется лучший вариант как-то их тегами пометить, чтобы потом по клику смотреть, так вот эти картинки этой модели, вот эти картинки помечены этим персонаже, эти с тэгом такого-то стиля.
Кто какой софт использует? Как вы эту задачу для себя решили?
Вот у меня (и у тебя) скопилось ровно двести пятьдесят миллиардов триста восемьдесят тысяч картинок.
Встал вопрос об их хоть каком-то учете. Разумеется лучший вариант как-то их тегами пометить, чтобы потом по клику смотреть, так вот эти картинки этой модели, вот эти картинки помечены этим персонаже, эти с тэгом такого-то стиля.
Кто какой софт использует? Как вы эту задачу для себя решили?
>Как вы эту задачу для себя решили?
А зачем хранить их все? Я удалю нах всё после того как выложил в тред, дс или ещё куда, ну кроме пары прям шедевров или с важным промтом, остальное в мусорку.
Я тоже треш удаляю, но основную массу сохраняю. Сам промпт может пригодиться в будущем, да и вообще я генерю с определенной целью, мне все картинки могут понадобиться для текстур в будущем.
Вопрос не в "зачем", а в менеджменте, дажае если ты самые лучшие только сохраняешь со временем и у тебя может возникнуть необходимость как то это всё учитывать и разгребать.
В целом все верно. Хайрезфикс - однотайловый img2img с выбранным тобой апскейлером, используется тот же промт и тот же сид, так что если скинешь в img2img, выставишь все все то получится то же самое. sd - режет на куски, апскейля их по одиночке и потом склеивает, md - работает в латентном пространстве.
> Есть ли более удобные и быстрые/эффективные методы?
Выбери что-то одно.
Да, в идеале хотело бы чего-то этакого.
Чтоб тулза читала метаданные из картинок, и на их основе составляла какое-то хранилище. Или группировку делала.
Типа, жмешь на тэг - вот тебе список картинок с ним. Выбрал пару тэгов - лишнее отсеялось.
Я пока себе только скрипт-экстрактор метаданных в текстовый файл с тем же названием сделать сподобился. Чтоб можно было уже в них искать через тот же Notepad++
Ну, как я... ГПТ-4 мне его написал, кек.
Чел. Автоматик может сразу тебе текстовый файл сохранять вместе с картинкой, галочку в настройках поставь.
Это если мои генерации.
А если с сети - то что делать? Повторить то не всегда возможно.
Для этого и писал.
> Разумеется лучший вариант как-то их тегами пометить, чтобы потом по клику смотреть, так вот эти картинки этой модели, вот эти картинки помечены этим персонаже, эти с тэгом такого-то стиля.
ACDSee Studio
https://rutracker.org/forum/tracker.php?nm=ACDSee%20Studio
Причем даже узнает "персонажа". Не знаю, сможет ли вытащить информацию из PNG.
Палю годноту, лучшие параметры и лайфхаки для генерации в automatic1111 из моего собственного опыта
1. Используй hires.fix с 3x апскейлом из 512x512, алгоритм swinir4x, denoising 0.35, hires steps оставь 0. Получается сбалансированная генерация с тонкими деталями и цельной композицией - не хуже чем Imagen и анклип. CFG Scale 9, для DPM++ 2M Karras достаточно 25 шагов, но говорят что DPM adaptive тоже норм.
2. Как ни странно, для манга 2D манямэ стиля лучше всего использовать полу-реалистичную модель, такую, как Meina Unreal, ради баланса деталей со стилем. Detail Tweaker говно, делает всё бледным и с копипастными деталями. Чтобы избавиться от реалистичного 3д носа и губ, помести эмбеддинг Asian-Less-Toon в negative. https://civitai.com/models/50755?modelVersionId=55272
3. При использовании множества негативных эмбеддингов, главное - избегать чернения сэмплов. Когда слишком много TI эмбеддингов, то портят стиль и делают будто черная тушь. Ослабляй каждый тег квадратными скобками и добавляй "in black clothes, wearing black dark, monochrome, dirty, deep-black ink #000000". А в конце основного промпта "delicate gentle soft pastel subtle colors". Негативные эмбединги также любят красные диваны-честеры в интерьерах, хз почему.
4. Слово iridescent великолепно работает вместе с черным цветом и иногда с белым, чтобы делать подкрашенные блики.
1. Используй hires.fix с 3x апскейлом из 512x512, алгоритм swinir4x, denoising 0.35, hires steps оставь 0. Получается сбалансированная генерация с тонкими деталями и цельной композицией - не хуже чем Imagen и анклип. CFG Scale 9, для DPM++ 2M Karras достаточно 25 шагов, но говорят что DPM adaptive тоже норм.
2. Как ни странно, для манга 2D манямэ стиля лучше всего использовать полу-реалистичную модель, такую, как Meina Unreal, ради баланса деталей со стилем. Detail Tweaker говно, делает всё бледным и с копипастными деталями. Чтобы избавиться от реалистичного 3д носа и губ, помести эмбеддинг Asian-Less-Toon в negative. https://civitai.com/models/50755?modelVersionId=55272
3. При использовании множества негативных эмбеддингов, главное - избегать чернения сэмплов. Когда слишком много TI эмбеддингов, то портят стиль и делают будто черная тушь. Ослабляй каждый тег квадратными скобками и добавляй "in black clothes, wearing black dark, monochrome, dirty, deep-black ink #000000". А в конце основного промпта "delicate gentle soft pastel subtle colors". Негативные эмбединги также любят красные диваны-честеры в интерьерах, хз почему.
4. Слово iridescent великолепно работает вместе с черным цветом и иногда с белым, чтобы делать подкрашенные блики.
Подскажите пожалуйста как задать конкретного персонажа на генерацию в случае когда оно совпадает с именем художника? Например персонаж "кот" и есть такой же художник "кот"
Базово - никак. Для ИИ это всё один концепт.
Но можно натренить лору конкретно на персонажа, такая тренировка перебьет стиль художника (но скорее всего не целиком, что-то все равно останется).
> hires.fix с 3x
> denoising 0.35
Свин он аккуратно делает, но всеже в большинстве кейсом маловато, особенно для такой кратности. Разумное значение ~ 0.5, если модель не совсем ужасна и в промте нет противоречий - все ок будет, а иначе ган будет неприятно лезть. Офк от стиля зависит.
> Asian-Less-Toon в negative
Годно, а как справляешься с уберреализмом и шумом на фонах в мейнеанреал?
> При использовании множества негативных эмбеддингов
Лучше вообще отказаться от них или свести к минимуму, дают специфичное смещение и ограничивают/ломают некоторые промты.
Лора, но желательно при тренировке двусмысленные теги менять на что-то не занятое.
С чем связана данная ошибка? Пытаюсь на коллабе тренировать лору. На СД все гладко прошло, а на модели RealisticVision выдает вот это.
Приведу немного примеров
https://i.ibb.co/C5jXkqF/00031-782971462.jpg
https://i.ibb.co/8drVYRv/00070-2830453894.jpg
https://i.ibb.co/Gt3Y7V7/00038-1486117589.jpg
https://i.ibb.co/C0RqWvp/00055-3476412544.jpg
https://i.ibb.co/FJY5C5p/00041-4250099110.jpg
https://i.ibb.co/tPd2RbL/00044-2973006207.jpg
Как раз с этими настройками и с квадратным форматом выходят лучшие формы и анатомия. Если оставить denoising около 0.5, то композиция рассыпается. Вместо доработки сэмплер будет "гулять" по холсту и заполнять его рандомными деталями, типа оторвавшихся и летающих волос. как здесь https://i.ibb.co/GHDJ5hn/00031-2058509198.jpg
и если посмотреть на Imagen и его unet-ы, они работают по такому же принципу.
>с уберреализмом и шумом на фонах в мейнеанреал?
В "3d" чекпойнтах, выходят фоны типа таких
https://i.ibb.co/1ZSCgp9/00029-75188756.jpg
https://i.ibb.co/dQCWQKM/00032-2157490511.jpg
https://i.ibb.co/7gmqp8d/00056-2033313165.jpg Но это ландшафты, а интерьеры выглядят более "нарисованными". Это зависит также и от чекпойнта.
перепост без той пикчи чтобы не было обидно. правила есть правила.
> Приведу немного примеров
> выходят лучшие формы и анатомия
Это на https://i.ibb.co/C0RqWvp/00055-3476412544.jpg то хорошая анатомия?
Тут везде анатомия говна, кроме, может,
> https://i.ibb.co/FJY5C5p/00041-4250099110.jpg
Это специфика значительной части маняме, увы.
мимо
>кроме, может
Это был сарказм?
Свин немного сглаживает ситуацию, особенно на каноничном 2д, но всеравно на некоторых элементах недостаток денойза сказывается.
> будет "гулять" по холсту и заполнять его рандомными деталями, типа оторвавшихся и летающих волос
Гулять и заполнять он будет, но лишние сущности не порождает. Если изначально там были волосы или что-то не то - тут и малый денойз не спасет, просто будет мыльные ошметки вместо прорисованных волос, а для подмены объектов нужно больше задирать. Держи примеры, там часть с ультрашарп, часть со свином. Обрати внимание на глаза, руки и прочие мелкие детали, ну и оцени что там с волосами случилось. Промт суперпростой с оче длинными волосами, вариации мейны, которые склонны летающие объекты плодить.
Баг в автоматике нашел, с гридом на денойз оно засирает врам и вылетает в оом если батч больше 3 с такими настройками, хотя без грида может больше.
> фоны типа таких
Тут знатно в реализм пошло, . Мейнаанриал сама по себе довольно прилично отрисовывает персонажей, особенно со стилелорами, но вот ее фон сильный диссонанс вызывает. Иногда лорами и промтом это можно починить, но начинает проявляться склонность к нейрошуму и лезет пиздец уровня пикрел.
Девочка уже не может туфельку на ручку надеть?
Да я скорее про общую анатомию, но это не заметил. Хотя с руками-то что реализм, что аниме — всё одно проблемы. А "фансервис-анатомия" — специфика рисованного, особенно аниме.
Блин, хреново. Я нуб в этом деле - только ищу-смотрю что да как. Запустил стейблд деф и какую-то модель с е621 но она видать не в курсе про такого персонажа и выдаёт мне всякий рандом.
А тренировка это долго и геморно, да? Я как я подозреваю, нужно дофига VRAM?
> Я как я подозреваю, нужно дофига VRAM?
На 6GB VRAM не должно быть проблем обучить лору.
> А тренировка это долго
Типичная тренировка лор идёт минут 20.
> и геморно, да?
Геморно может быть датасет подготавливать, особенно в первый раз.
> она видать не в курсе про такого персонажа и выдаёт мне всякий рандом
На цивите можешь попробовать найти готовую лору на твоего перса: https://civitai.com
"Хорошая" анатомия в смысле - хорошо читаемая благодаря светотени, граням и переходам поверхностей, складкам ткани. С низким денойзом по-прежнему получаются тонкие складки для тега skintight. Есть много годных сэмплов с хорошей анатомией, но там юные голенькие
Проработка глаз зависит от того, насколько крупный план, а мелкие детали искажены артефактами в любом случае.
Волосы и ресницы здесь выглядят лучше, потому что реалистичный 2.5d стиль. Если модели и промпты с большей стилизацией (toon) - то разницы нет. Здесь глаза тоже норм получились
https://i.ibb.co/bdvfMJS/00050-1413749465.jpg
https://i.ibb.co/qnnK3RH/00035-3846597331.jpg
>Мейнаанриал сама по себе довольно прилично отрисовывает персонажей, особенно со стилелорами, но вот ее фон сильный диссонанс вызывает.
Вот несколько фонов с Meina Unreal (denoising 0.5), выглядит будто чекпойнт обучался по реальным фото и пытается воспроизвести со стилизацией.
А ты не пробовал изначально генерировать в разрешении чуть больше а апскейл делать х2 - х2.5? Чем меньше кратность тем лучше оно проходит. Плюс 1.5к х 1.5к тайл это почти предел адекватной работы в img2img для sd1.5, и уже проблемы с когерентностью, а так лучше потом еще раз х1.5 тайловым апскейлом или мультидифуззией прогнать. Это справедливо и для низкого денойза офк.
Кстати, на пик2, с некоторыми моделями, дейнойз выше может поломать ребра и добавить лишних складок (они и так есть), но это в том числе проблема высокой кратности и большого тайла.
По размерам - да, и стиллизация та хороша. Однако зрачки мутные и пальцы - резкие прорисованные сосиски, увы. Как всегда балансирование между двумя стульями и необходимость ориентироваться в соответствии с задачей. На 2д и так хорошо, а пальцы можно починить, а с мейнаанрил прямо просит задрать, возможно влияет то что ган хуже отрабатывает.
Ты, кстати, дальнейший апскейл практикуешь?
> пик3
Еее, нейрошумовой штефенплатз!
>Типичная тренировка лор идёт минут 20.
На 4090, ага.
Я бы сказал от 35 минут до полутора часов. В зависимости от разрешения и числа шагов.
Да, согласен. В любом случае, речь менее чем про пару часов на обучение.
анон
ОП, можешь обновить шаблон шапки, dylora больше не поломана и относительно "нормально" тренируется
Кто нибудь уже пробует тренить XL? Полтора часа ебать, на 4090, обычная лора.
> ОП, можешь обновить шаблон шапки, dylora больше не поломана и относительно "нормально" тренируется →
Убрал инфу о поломанности DyLoRA из шаблона шапки.
> Кто нибудь уже пробует тренить XL? Полтора часа ебать, на 4090, обычная лора.
О, отпишись потом по результатам, интересно, что из этого выйдет.
> На 4090, ага.
Обычнолора - 3 минуты, ликорис заморочный - 10-15. Больше - редкость, не нужно лишний раз плодить шаги, это не дает преимуществ.
Ого, кохя уже готов понимать ее архитектуру, или пришлось пердолиться? Сколько врам требует, какой батчсайз?
> О, отпишись потом по результатам, интересно, что из этого выйдет.
Мне и самому интересно, надо только будет ноды правильно подключить.
> Сколько врам требует, какой батчсайз?
Файнтюн не влез. Лоре выставил 1024 разрешение, градиент чекпоинтинг и бс 3. Без чекпоинтинга и лора не влезала, лол. Но вообще там написано что 12гб хватит всем для лор, а 24 для файнтюна.
> Ого, кохя уже готов понимать ее архитектуру, или пришлось пердолиться?
Ветка отдельная с двумя отдельными скриптами для xl sdxl_train_network.py и sdxl_train.py https://github.com/kohya-ss/sd-scripts/tree/sdxl
Ох уж этот дефолтный вае в модельке на пик1, хорошо хоть от 1.5 подходят. Ну вроде что то тренирует, выглядит ужасно конечно, по сравнению с 1.5, позарез нужен прямо аниме чекпоинт. Ну хоть базовая модель и работает с этой лорой, рефайнер уже нет, сыпет еррорами с лорой, а если без лоры применить получается дерьмо. Воркфлоу спёр с наи треда, может можно сделать и лучше как то, хз пока, очень сырое и непонятное дело.
К хл подходит вае от 1.5? Там же вроде формат другой не?
>градиент чекпоинтинг
А это что такое? может мне надо для моей днище видяхи.
> К хл подходит вае от 1.5? Там же вроде формат другой не?
По всей видимости да. Как только сменил на 840к сразу картинки начали из себя хотя бы что то представлять.
> А это что такое? может мне надо для моей днище видяхи.
Настройка для уменьшения потребления врам, нужна походу теперь будет всем, если xl хоть как то развиваться будет. https://github.com/kohya-ss/sd-scripts/releases/tag/v0.3.0#:~:text=Now-,%2D%2Dgradient_checkpointing,-is%20effective%20for
Привет, технотрдж. Можно ли сменить триггерворд лоры без переобучения? Хочу понять, превратится ли мой приемлемый результат в конфетку, если прекратит накладываться на уродливый концепт из модели.
Скорее всего невозможно.
А что мешает переобучить, если это твоя лора?
Методов объединения (или конверсии) локон/ликорис/лора не придумали до сих пор, никто не в курсе?
Я колабоблядок без видеввокарты, модели скачивать дольше, чем обучать, лол. Печально, но спасибо! Будем посмотреть, может, это сама модель мне столько времени в штаны срёт, а не я сам.
Ну если там не запрещёнка и не тысячи картинок - кидай датасет, натренирую.
>Настройка для уменьшения потребления врам, нужна походу теперь будет всем, если xl хоть как то развиваться будет.
Куда тыкать чтоб включить?
В кохае же есть или это не то?
Спасибо за ответы. У меня ноут с 3 или 4 гб видео памяти, он 512х512 то еле-еле генерит, лол. А есть недорогие вк где много памяти которые хорошо работают с обучением и генерацией, не знаешь? Может собрать пк какой-нибудь недорогой с такой видюхой...хотя ради одного-пары персонажей такое делать это верх глупости, конешна
Ах да, искал готовую лору но не нашел. Спасибо энивей
Есть сервисы где за несколько баксов можешь арендовать видяху для обучения. Правда учитывая что у тебя опыта нет возможно уйдет не одна попытка.
Из видях на уровне "недорого но достаточно круто" - 3060 на 12гб, любая нвидиа на 8гб достаточна для обучения лоры на 768 размере, 6гб должно хватать для 512.
>В кохае же есть или это не то?
Я там только мердж лоры с лорой помню.
Еще SuperMerger есть, но там та же фигня.
Лору с Ликорисом не замерджишь.
>любая нвидиа на 8гб достаточна для обучения лоры на 768 размере
На моей 2070 даже с батчем 1 не прокатывало.
Только в 512.
>Лору с Ликорисом не замерджишь.
У них же формат и структура разная, не думаю что такое вообще возможно.
Разве что обе влепить в модель а потом экстракт лоры сделать? Вообще хз сработает ли.
Хм, я на своей 3070 фигачу лоры в 768
А есть ли где-то 200% корректная инфа как заполнять теги и запросы к модели? В одном месте пишут "много тегов хорошо", в другом "чем меньше, тем лучше"...кому верить то блять? И как избегать все эти кривые руки анатомию и сломанные или недорисованные и кривые конечности, если чем меньше тегов тем лучше?
> "много тегов хорошо"
Бред, хорошо - подробное но лаконичное описание. И то, сильно увлекаться не стоит, а то, например, при оче детальном описании фона он может сгенерироваться вообще без персонажа, если отсутствуют and/break. На многих моделях хорошо заходят описание типа a beautiful girl with blue eyes wearing white gothic dress параллельно с буровскими тегам. Просто так плодить и повторить не стоит, это рассеивает внимание от нужных и создает всратый рандомайзер.
> как избегать все эти кривые руки анатомию и сломанные или недорисованные и кривые конечности
Использовать современные модели, для поз, которые плохо получаются применять лоры, поставить рекомендованный к модели негатив, а не шизоконструкцию на 450 токенов.
> ем меньше тегов тем лучше
Нужно стремиться не делать лишних, просто делать меньше любой ценой не стоит. Вообще 150 токенов хватит для любой сцены, если не применять шизопромты на странный стиль и подобное.
>Разве что обе влепить в модель а потом экстракт лоры сделать? Вообще хз сработает ли.
Лору можно, а вот ликорисы - нельзя. Ну, как мне тут говорили раньше.
>У них же формат и структура разная, не думаю что такое вообще возможно.
Но делают то они по сути одно и то же? Значит какой-то способ должен быть, скорее всего.
Спасибо, попробую покопаться.
Еще вопрос - можно как-то найти "лучшую" модель или какая модель считается лучшей? Не для создания аниме а для реалистичных текстур и фото, плюс одну для лиц/людей. Хотя лучше если это будет комбо конечно, чтобы обойтись бы без доп-гемора
> а для реалистичных текстур и фото
Это лучше в sd треде спроси, может офк и здесь посоветуют, но там ответят сразу и соберешь несколько мнений. инб4 sdxl лол
Какой Sampling method лучше использовать?
Зависит от задач, но в основном это ойлер а, дпм карас 2м плюс, ддим. Ддим быстрый, хуйдожественный (в смысле фантазер дохуя), но нестабильный. Ойлер а и 2м++ стабильные, у первого получаются физически корректные изображения (допустим анатомия редко ломается), второй является самым оптимизированным алгоритмом для малого количества шагов. Ну и лимиты шагов у алго разные, но я точно не помню сколько у кого.
> Еще вопрос - можно как-то найти "лучшую" модель или какая модель считается лучшей?
Лучшей модели нет, хороших моделей в целом дохуя (именно трейнед, а не мерджи бесконечные). К тому же в супермерджере реализовали быстрое дообученик концептам из одной модели или лоры в любую модель, называется трейндмфренс, то есть можно подсадить в любую модель любой концепт и он будет работать нативно и без артефактов, что бывает например при использовании лор обычным подключением.
>а для реалистичных текстур и фото
Ну это простые вещи, с таким любой реалистик справится, плюс не забывай про метод имг2имг/скетч, который нагенерит тебе максимально корректо то что надо на основе референса.
>плюс одну для лиц/людей.
Опять же любой реалистик, заточенный под это. Мне из последних моделей нравится https://civitai.com/models/57319/a-zovya-photoreal , часто использую как базу для смешивания.
>Хотя лучше если это будет комбо конечно, чтобы обойтись бы без доп-гемора
Я уже более полугода смешиваю модели, могу точно сказать что универсальных моделей нет. Если надо что-то эксклюзивное, то только искать нормальную базу, подмешивать туда возможной найденную качественную лору по теме (а лоры генерятся какими то тоннами, копаться в этой мусорке можно вечно), либо тренить самому.
> Куда тыкать чтоб включить?
Я же скинул ссылку прямо с параметром. Впиши его в скрипт или в гуе найди, которым тренишь.
В гуе не нашел, по ссылке нифига инфы нет как использовать. Было бы так просто я бы не спрашивал.
SDE же, топ топов только медленный дохуя.
Спасибо, робятки. Помойка еще та, как я понимаю. Придется не один месяц потратить на изучение для хороших результатов...
>ойлер а
Это ты про euler a?
И еще вопрос, совсем забыл:
Можно ли указать OR/или чтобы например выбирал рандомно погоду? Или перечислить локации, но чтобы не генерировал постоянно одно и тоже. Или вместо кота в руках была собака или другой персонаж.
И 2: можно ли как-то настраивать толщину или размеры предметов? Увеличивать, уменьшать. На бору есть всякие теги big_breasts big_penis - можно ли как-то множить их, для достижения еще большего эффекта? И применять как-то на другие предметы, если на бору таких тегов нет? Вангую что нет, тк модель не знает какой размер чайника например большой, а какой маленький - верно?
> выбирал рандомно погоду? Или перечислить локации, но чтобы не генерировал постоянно одно и тоже. Или вместо кота в руках была собака или другой персонаж.
Ты только что вайлдкарты, https://github.com/adieyal/sd-dynamic-prompts
> можно ли как-то множить их, для достижения еще большего эффекта
(большие:1.3), для совсем дичи уже лоры. Применимость на остальные предметы тоже работает, алсо просто увеличение веса тега часто приводит к увеличению размеров.
Множитель вроде работает, но почему-то не всегда. Видимо у меня много было множителей для остальных тэгов поэтому размер игнорировал тк в конце и значение меньшее. Попробую сократить их количество.
А еще почему-то при генерации появляются фиолетовые круги и ореолы на границах объектов. Но это не происходит всегда, какой-то рандом. Даже когда тег не меняешь все равно может произойти
Если все и так работает - не нужно вес задирать, лучше его вообще не трогать. Убавлять если какая-то деталь сильно доминирует - смело.
> фиолетовые круги и ореолы на границах объектов
Выбери vae блеать.png
>Если все и так работает - не нужно вес задирать, лучше его вообще не трогать.
Теперь понятно что её колбасило так. Убрал с десятки тегов и иксы стали результаты лучше.
>Выбери vae блеать.png
Спасибо, подключил, продолжаю тестировать.
Может что-то еще нужно поставить? Или достаточно свежую модель+вае?
Есть тут владельцы с 24 гб памяти типа квадры или 3090? Есть ли смысл брать её в сравнении с обычными вк, в чем плюсы? Разрешение можно фуллхд генерить и всё?
>Это ты про euler a?
Да
>Можно ли указать OR
такого оператора в автоматике нет, про вилдкарты тебе уже написали
>Может что-то еще нужно поставить? Или достаточно свежую модель+вае?
Ну из плогенсов у меня вот че стоит. Можешь еще напердолить контролнет и расширения к нему для позинга.
>Есть ли смысл брать её в сравнении с обычными вк, в чем плюсы?
Плюсы что можно на 24 гигагх полновесные модели тренить, в остальном излишество.
>Разрешение можно фуллхд генерить и всё?
Вообще фулхд с наскока не нужно генерить, модели не тренятся на датасете выше 768 пикселей по стороне, поэтому не приспособлены к изначальной генерации больших изображений. Если надо хайрез делать: генеришь 768 по стороне и затем юзай хайрезфикс или сдапскейл/ультимейтапйскейл.
> модели не тренятся на датасете выше 768 пикселей по стороне
Ну и? Знаешь выражение - "The whole is more than a sum of its parts"? Какая разница, какое максимальное разрешение фрагмента, если конечный результат собирается из многих фрагментов?
> Есть ли смысл брать её в сравнении с обычными вк, в чем плюсы?
Размер батча можешь выставить больше, генерация может быть быстрее за счёт кэширования. Может быть не придётся выключать SD на время использования другой нейросети. Тренировка опять же.
>>Можно ли указать OR
>такого оператора в автоматике нет
Вот сейчас пиздец обидна. Как так? Может я генерю православно расового чернокожего туземца путешествующего по миру за 80 дней и хочу запечатлить его голый папуасный зад в каждом климате и при разных погодных условиях и в разных видах одежды, включая костюм горничной или средневековые доспехи викингов.
Это что мне теперь, брать и генерить всё по отдельности собирая вручную теги и меняя их ручками каждый раз, когда хочу получить что-то рандомное? Ниудобна...особенно если "собрал" обстановку тегами и хочешь поменять например день дня-ночи, дождик там добавить-убрать, снег.
Много у тебя плюшек стоит сверху. Они все нужны и улучшают качество, или же это так, баловство и просто "шобу было"? Вот вижу апскейлер там - ок. Мерджер - ок. Проверка - моделей видимо? Какие-то тег авто-комплиты и прочее. Насколько они сами нужны по твоему, есть разница и смысл ставить? Как я понимаю 99% это хорошая модель и её настройка + эта ВЕА или ВАЕ, как её там? Ну и плюс апскейл сверху. И теги по уму уже составлять.
У меня 768 и стоит, тоже где-то читал что оптимальное значение а затем апскейл.
>Они все нужны и улучшают качество, или же это так, баловство и просто "шобу было"?
тегкомплит - база, чтобы как раз укоротить время вбивания промтов
апскейлер мультидиффужн эт мокрописька для лоу врам карт необязательная
динамик трешолдинг полезная штука для высоких цфг (чем выше цфг тем более точно учитывается промт, если ты не в курсе, но без этого плогенса на всех моделях начинаются артефакты и гарь), юзать можно с разными алго, я лично предпочитаю "козин ап - линир даун"
адишнл нетворкс это мокропися для подключения лор
чектенсорс чекает тензоры модели, местного анона олд скрипт, если в модели всрались тензоры то их можно поправить через блокмерджер или тулкит
супермерджер ясно
блокмерджер ясно
тулкитом можно урезать размер моделей до двух гигов и менять составные компоненты, конкретно можно вырезать/вставлять клипы от одной модели в другую
промтген аишный генератор промтов с моделями генерации
сонар улучшайзер картинки, ищет по латент спейсу лучшую комбинацию и выдает качество, не работает с ддим
ультимейт апскейлер ясно
контролнет которого у меня нет - упрощалка жизни для генерации по рефернсу
>Как я понимаю 99% это хорошая модель и её настройка + эта ВЕА или ВАЕ, как её там?
вае особо только на насыщенность цвета влияет и на отсутствие артефактов в виде синих кругов, можно оригинальную вае стабилити юзать, есть другие
>Это что мне теперь, брать и генерить всё по отдельности собирая вручную теги и меняя их ручками каждый раз
вилдкарты делаешь и юзаешь
Нашел следующее, может кому пригодиться.
Вроде как ФИКС ДЛЯ РУК И ПАЛЬЦЕВ
Правда почему-то руки исчезают совсем либо растворяются в воздухе и тд если закинуть их все вместе разом.
https://civitai.com/models/47085/envybetterhands-locon%20https://civitai.com/models/56519/negativehand-negative-embedding%20https://civitai.com/models/16993/badhandv4-animeillustdiffusion
Вроде как ФИКС ДЛЯ РУК И ПАЛЬЦЕВ
Правда почему-то руки исчезают совсем либо растворяются в воздухе и тд если закинуть их все вместе разом.
https://civitai.com/models/47085/envybetterhands-locon%20https://civitai.com/models/56519/negativehand-negative-embedding%20https://civitai.com/models/16993/badhandv4-animeillustdiffusion
>динамик трешолдинг
а еще он позволяет снижать количество шагов ахуительно вниз, что убыстряет рендер в разы очевидно
Итить-колотить, 512 мегабайт ЛоКон.
Ему не стыдно такое делать вообще?
Что посоветуешь на замену этому тогда?
Инпэинт хороших генераций вручную.
Контролнет с canny и depth.
Как обычно, короче.
500+ мегов локон только заради рук... Который еще и не всегда срабатывает... Ну это я не знаю даже.
Но попробовать то можно, ясен перец, это никто не запретит.
> ФИКС ДЛЯ РУК И ПАЛЬЦЕВ
> почему-то руки исчезают совсем либо растворяются в воздухе
Нет рук, нет и проблем, справедливо.
Так пальцы же, тут никаких размерностей не жалко.
> 500+ мегов локон только заради рук...
В смысле - места на диске жалко?
Кохуй обновил гуй. SDXL тренится, 1024 BS4 чуть меньше 12 гб рам при тренировке занимает. По скорости примерно в два раза дольше чем 512, думал раза в четыре, а то больше времени займёт.
Получается так себе, общее качество картинки конечно повыше, чем на SD2.1, но один хуй лицо деформируется, радужки дублируются, всё как было на ваниле 1.5.
После рефайнера лицо вообще не узнать. Эту же лору к рефанейнеру подсунуть не удалось, натренировать тот же датасет на чекпоинте от рефайнера тоже не получилось.
Получается так себе, общее качество картинки конечно повыше, чем на SD2.1, но один хуй лицо деформируется, радужки дублируются, всё как было на ваниле 1.5.
После рефайнера лицо вообще не узнать. Эту же лору к рефанейнеру подсунуть не удалось, натренировать тот же датасет на чекпоинте от рефайнера тоже не получилось.
Всмысле у нас модель на миллиарды параметров в 2.5 гига укладывается, с сотнями стилей, персонажей и концептов - а тут он только ручки с пальчиками в 512 делает.
есть кто разбирается? посоветуйте лучшую сеть где генерить картинки)00 модель, точнее, что дает лучшие результаты?
Конфиг полный скинешь?
Свой напердолить не смог. Там теперь пресеты есть - этот завёлся с первого раза.
Это этот гуй? https://github.com/bmaltais/kohya_ss
Анонсы, вопрос
Можно ли как-то на automatic1111 накинуть что-то что позволит с телефона нормально его использовать?
У меня дома стоит пека, сам сд с флагом --listen запущен и могу спокойно подключаться напрямую. Но сука, как же неудобно пользоваться этим интерфейсом.
Можно ли как-то на automatic1111 накинуть что-то что позволит с телефона нормально его использовать?
У меня дома стоит пека, сам сд с флагом --listen запущен и могу спокойно подключаться напрямую. Но сука, как же неудобно пользоваться этим интерфейсом.
Ага
Тот велосипед с ручной порчей картинок и потом обучением нейронки на их восстановление называется Denoising Autoencoder (DAE). По идее, надо в этом направлении рыть, если прям с нуля не придумывать. Рабочим решением для этой архитектуры будет портить одну и ту же картинку несколько раз, таким образом, можно подготовить N картинок с нормальными пальцами, и испортить каждую из них, скажем, 5 раз, что даст нам датасет на Nx5 картинок. Но читал, что, если слишком много дублей с порчей на одну картинку делать, то будет гроб-гроб-кладбище-оверфит.
Не совсем понял про что речь. Для восстановления вполне можно использовать сеть - автоэнкодер вместо гана с небольшим отличием пайплайна, тут уже надо оценивать что будет эффективнее, или чтобы кто-то умный посоветовал. Или ты про сам метод обучения добавляя доп слои?
А с порчей - тут желательно делать также как косячит сама сеть, не факт что несколько слоев энкодера это правильно воспроизведут. Подготовить поломанные из хороших не сложно стабильной дифузиией по твоему методу.
Судя по результатам sdxl, актуальность, кстати, не теряется, да и вгзлянув на датасеты местами хочется прогнать некоторые рисунки через пальцечинилку, так что это с нами на долго.
Хочу персонажа в такой маске. Как это вообще называется? Карнавальная маска?
kitsune mask же.
Не хочет лепить прямо на лицо(
(wearing fox mask, wearing kitsune mask), при необходимости поднять вес а в негативы covid mask, лол. Если хочешь чтобы маску надела именно на лицо - убирай из промта то что связано в ним (глаза, нос, губы и т.д.), еще поможет covered face. Для 100% стабильного результата уже лора потребуется, ибо на большей части картинок эта маска сбоку как на пикче выше.
Спасибо, анон, я до всего этого вот только что сам допер. Тоже называю ее covid mask, лал
Есть предложения по правкам для шаблона шапки? Про поломанность dylora инфу исправил.
Про тренировку xl может упомянуть как нибудь? Сырое пока конечно и бывают некоторые конфликты совместимостей, но хотя бы как новость?
После гайдов по обучению думаю новую секцию в один пункт добавить, чтобы отдельно выделить. Что скажешь?
Кстати, нет какой-либо конкретной инфы по системным требованиям? Файнтьюн по картинкам 1024x1024 должен быть более затратным, но без конкретных цифр хз что писать.
➤ Обучение SDXL
Для гуя https://github.com/bmaltais/kohya_ss вышло обновление, позволяющее делать файнтьюны для SDXL. Всё пока сырое и имеет проблемы с совместимостью, только для самых нетерпеливых.
> Кстати, нет какой-либо конкретной инфы по системным требованиям?
Ну конкретно по своим тренировкам могу сказать про такие цифры, обычная лора классическим методом так сказать:
resolution: 1024,1024
network_dim: 128
gradient_checkpointing: True
train_batch_size: 4
save_precision: bf16
mixed_precision: bf16
Занимает 22гб врам во время тренировки и запекается примерно полтора часа. На выходе файл весом ~660мб для 128 ранга, тренирует стиль неплохо, несмотря на дедовский стартовый чекпоинт для тренинга , но всё равно полноценного "наи" не хватает, ужимается впринципе без проблем как и раньше до низких рангов со сдутием размера. Сразу после слива чекпоинтов весили кстати ещё больше, скорее всего из-за того что я пытался тренить с ТЕ, 660 юнет онли, как в рекомендации. Видел тут у кого то меньше съедало, но я и гуем не пользовался, а просто перешёл на ветку sdxl и тренил, скорее всего из-за неоправданно огромного дима такой жор. Ну и ещё будет большой ошибкой тренить не с дефолтным вае из модели, насколько вся эта инфа полезна для шапки я хз.
> Для гуя https://github.com/bmaltais/kohya_ss вышло обновление, позволяющее делать файнтьюны для SDXL. Всё пока сырое и имеет проблемы с совместимостью, только для самых нетерпеливых.
Может стоит упомянуть что достаточно будет и просто сменить ветку на https://github.com/kohya-ss/sd-scripts/tree/sdxl , обновить рекваерменты (это кстати и может вызывать проблемы с совместимостью, в идеале вообще отдельную установку для сдхл тренинга делать со своим венвом), и вызывать другой скрипт sdxl_train_network.py, для тех кто скриптами, хотя они и так наверное вкурсе.
➤ Обучение SDXL
Если вы используете скрипты https://github.com/kohya-ss/sd-scripts напрямую, то, для обучения SDXL, вам необходимо переключиться на ветку "sdxl" и обновить зависимости. Эта операция может привести к проблемам совместимости, так что, желательно, делать отдельную установку для обучения SDXL и используовать отдельную venv-среду. Запуск обучения осуществляется через скрипт sdxl_train_network.py
Для гуя https://github.com/bmaltais/kohya_ss так же вышло обновление, позволяющее делать файнтьюны для SDXL.
Всё пока сырое и имеет проблемы с совместимостью, только для самых нетерпеливых. Требования к системе для обучения SDXL выше, чем для обучения SD 1.x.
Добавьте, что в Кохуе гуе теперь есть сомнительные пресеты для Lora/LoHa/LoKr под SD XL для владельцев много VRAM. Ну и для 1.5 тоже есть, может кому поможет.
> Запуск обучения осуществляется через скрипт sdxl_train_network.py
Скорее скрипты для тренировки xl имеют просто такой префикс sdxl_ , который выше для лор. Для полноценного файнтюна просто sdxl_train.py
> Для гуя https://github.com/bmaltais/kohya_ss так же вышло обновление, позволяющее делать файнтьюны для SDXL.
Не в одном гуе это реализовано уже бтв https://github.com/derrian-distro/LoRA_Easy_Training_Scripts/tree/SDXL
> Всё пока сырое и имеет проблемы с совместимостью, только для самых нетерпеливых. Требования к системе для обучения SDXL выше, чем для обучения SD 1.x.
Всё пока сырое и имеет проблемы с совместимостью, только для самых нетерпеливых. Требования к системе для обучения SDXL выше, чем для обучения SD 1.x, рекомендации по тренировке можно найти в самой ветке sdxl репозитория sd-scripts.
Может так?
Обучение LyCORIS можно осуществлять через готовые GUI:
https://github.com/bmaltais/kohya_ss
https://github.com/derrian-distro/LoRA_Easy_Training_Scripts
B]➤ Обучение SDXL
Если вы используете скрипты https://github.com/kohya-ss/sd-scripts напрямую, то, для обучения SDXL, вам необходимо переключиться на ветку "sdxl" и обновить зависимости. Эта операция может привести к проблемам совместимости, так что, желательно, делать отдельную установку для обучения SDXL и используовать отдельную venv-среду. Скрипты для тренировки SDXL имеют в имени файла префикс sdxl_.
Подробнее про обучение SDXL через kohya-ss можно почитать тут: https://github.com/kohya-ss/sd-scripts/tree/sdxl#about-sdxl-training
Для GUI https://github.com/bmaltais/kohya_ss и https://github.com/derrian-distro/LoRA_Easy_Training_Scripts/tree/SDXL так же вышли обновления, позволяющее делать файнтьюны для SDXL. Кроме полноценного файнтьюна и обучения лор, для bmaltais/kohya_ss так же доступны пресеты для обучения LoRA/LoHa/LoKr под SDXL, потребуется много VRAM.
Всё пока сырое и имеет проблемы с совместимостью, только для самых нетерпеливых. Требования к системе для обучения SDXL выше, чем для обучения SD 1.x, рекомендации по тренировке можно найти в самой ветке sdxl репозитория sd-scripts.
Обучение LyCORIS можно осуществлять через готовые GUI:
https://github.com/bmaltais/kohya_ss
https://github.com/derrian-distro/LoRA_Easy_Training_Scripts
https://github.com/anon-1337/LoRA-train-GUI
Ликорис лишнее, это же просто гуи для тренировки. Ну и строку с 1337 гуем тогда убрать нужно будет в текущей версии шапки, а это просто в полезное определить.
> Для GUI https://github.com/bmaltais/kohya_ss и https://github.com/derrian-distro/LoRA_Easy_Training_Scripts/tree/SDXL так же вышли обновления, позволяющее делать файнтьюны для SDXL. Кроме полноценного файнтьюна и обучения лор, для bmaltais/kohya_ss так же доступны пресеты для обучения LoRA/LoHa/LoKr под SDXL
Для GUI https://github.com/bmaltais/kohya_ss и https://github.com/derrian-distro/LoRA_Easy_Training_Scripts/tree/SDXL так же вышли обновления, позволяющее делать файнтьюны для SDXL. Кроме полноценного файнтьюна и обучения лор, для bmaltais/kohya_ss так же доступны пресеты для обучения LoRA/LoHa/LoKr, в том числе и для SDXL, требующие больше VRAM.
Всё пока сырое и имеет проблемы с совместимостью, только для самых нетерпеливых. Требования к системе для обучения SDXL выше, чем для обучения SD 1.x, рекомендации по тренировке можно найти в самой ветке sdxl репозитория sd-scripts.
Убери повтор, раз сверху уточнил уже
> Подробнее про обучение SDXL через kohya-ss можно почитать тут: https://github.com/kohya-ss/sd-scripts/tree/sdxl#about-sdxl-training
https://rentry.org/catb8
Думаю ещё сразу добавить новые статьи по апскейлу и убрать неактуальный гайд по перфомансу.
> Думаю ещё сразу добавить новые статьи по апскейлу
Да, годно.
> убрать неактуальный гайд по перфомансу
Как по мне он никогда не перестанет быть актуальным, представь ситуацию когда в конце 2024 выйдет какая нибудь 5090, а автоматик опять через полгода перейдёт на новую версию торча для неё. Или просто торч с повышением производительности выходит, но это будет бетой долгое время, а поставить можно без проблем по гайду. Это бы рефакторнуть во что то типо:
Оптимизации для современных ПК:
https://rentry.org/sd_performance - мастхев для владельцев 40XX поколения; для 20XX-30XX прирост производительности менее существенен
Ручная сборка и установка последней версии xformers и torch в venv автоматика: Windows - https://rentry.org/sd_performance, Linux - https://rentry.org/SD_torch2_linux_guide
Было бы ещё неплохо накидать кстати про ручное восстановление венва на винде после перемещения папки с автоматиком, но походу уже не успеется, или вообще идея не очень?
> Как по мне он никогда не перестанет быть актуальным, представь ситуацию когда в конце 2024 выйдет какая нибудь 5090, а автоматик опять через полгода перейдёт на новую версию торча для неё. Или просто торч с повышением производительности выходит, но это будет бетой долгое время, а поставить можно без проблем по гайду.
Согласен, изменил в соответствии с твоим предложением.
> Было бы ещё неплохо накидать кстати про ручное восстановление венва на винде после перемещения папки с автоматиком, но походу уже не успеется, или вообще идея не очень?
Сценарий нетиповой - не уверен, что это имеет смысл как-то отдельно расписывать, да и сам я не знаю, как это делать. Я лично просто пакеты поновой поставил, когда была необходимость автоматик переместить.
> Сценарий нетиповой - не уверен, что это имеет смысл как-то отдельно расписывать, да и сам я не знаю, как это делать. Я лично просто пакеты поновой поставил, когда была необходимость автоматик переместить.
Ну это действительно не что-то необходимое, но убережёт от полной переустановки точно. Я видел как у некоторых бывали с этим проблемы, гайда никакого нету, но себе я оставил вот такую заметку, можешь проверить на каком нибудь рэгдолл венве, если хочешь:
После переноса/переименования директории нужно пройти по пути venv\Scripts и в файлах activate и activate.bat заменить переменную VIRTUAL_ENV= на новый путь. Далее открыть pip.exe как тхт файл и найти старый путь, например по слову venv и поменять его тоже на новый.
Бтв в шапку просится прямо новая пикча с объяснением на папиче пальцах нового конвеера сдхл, хотя наверное рано, ещё даже не релиз и воркфлоу может измениться.
Может тогда в отдельный rentry твою инструкцию оформить и тогда добавим её в секцию с полезностями? Либо ты сделаешь rentry, либо я могу завтра уже, перед тем, как тред перекатим.
Хотя она совсем короткая, не уверен, имеет ли смысл её отдельно выносить. Может, прям текстом её в шаблон добавить?
> Далее открыть pip.exe как тхт файл и найти старый путь, например по слову venv и поменять его тоже на новый.
Редактировать exe файлы в блокноте это жёстко...
> Бтв в шапку просится прямо новая пикча с объяснением на папиче пальцах нового конвеера сдхл, хотя наверное рано, ещё даже не релиз и воркфлоу может измениться.
Да можно добавить пятым пиком, пускай будет что есть пока. Хотя, желательно больше четырёх пиков не использовать, чтобы аноны без пасскода тоже могли катнуть в теории. Ну, не буду просто её в шаблон добавлять. А там, как релизнут, будет понятно.
> Может тогда в отдельный rentry твою инструкцию оформить и тогда добавим её в секцию с полезностями? Либо ты сделаешь rentry, либо я могу завтра уже, перед тем, как тред перекатим.
Ну наверное что то типо: Перемещение папки с автоматиком в другое местоположение с исправлением путей, без переустановки содержимого venv: и тут ссылку подойдёт, если уж добавлять. Ты уже всё равно картинок наделал, как я понял, ну закинь на рентри тогда завтра.
> Редактировать exe файлы в блокноте это жёстко...
А что поделать, если оно там захардкодено.
> Да можно добавить пятым пиком
Это скорее продолжение второго, в base у sdxl на этой схеме вообщем то весь второй пик, без этапа декодирования и происходит, с отличием в размерах и в клипе, там их два: CLIP ViT-L & OpenCLIP ViT-bigG. А вот рефайнер я пока хз как работает.
Анончики, получалось ли Лору на рефайнере тренировать под SDXL? Есть какие мысли/идеи? Я из нетерпеливых.
> Анончики, получалось ли Лору на рефайнере тренировать под SDXL?
Я пробовал, у меня не получилось, тоже интересно узнать возможно ли это.
В чем прикол XL и чем оно лучше 2.1?
На вид не дотягивает до анклипа
На вид не дотягивает до анклипа
Результат генерации ближе к MidJourney.
> Ну наверное что то типо: Перемещение папки с автоматиком в другое местоположение с исправлением путей, без переустановки содержимого venv: и тут ссылку подойдёт, если уж добавлять. Ты уже всё равно картинок наделал, как я понял, ну закинь на рентри тогда завтра.
У меня сейчас просто при перемещении автоматика всё продолжает работать, хотя раньше это 100% ломало инстанс, пока в venv пути не исправишь. Как так оно работает то без изменения путей сейчас...
> Это скорее продолжение второго, в base у sdxl на этой схеме вообщем то весь второй пик, без этапа декодирования и происходит, с отличием в размерах и в клипе, там их два: CLIP ViT-L & OpenCLIP ViT-bigG. А вот рефайнер я пока хз как работает.
Может пока забить на редактирование второго пика, пока в прод не вышло?
> У меня сейчас просто при перемещении автоматика всё продолжает работать, хотя раньше это 100% ломало инстанс, пока в venv пути не исправишь. Как так оно работает то без изменения путей сейчас...
У меня тоже работает сам автоматик, просто проблемы начинаются когда захочешь что нибудь поправить в венве. Мне тоже не совсем понятно, почему автоматик при запуске нормально подхватывает путь, скорее всего в скриптах запуска где то он прописан.
> Может пока забить на редактирование второго пика, пока в прод не вышло?
Я тоже так думаю, релиза 1.0 ведь ещё нету, ну перекатывай тогда так, раз других предложений нету.
Моё ебало сгенерировали?
Товарищ мочератор, что тут из выделенного жёлтым текстом в спам-лист попало? https://rentry.org/catb8
Товарищ мочератор, что тут из выделенного жёлтым текстом в спам-лист попало? https://rentry.org/catb8
Во, раз такое дело
> Бонус. ✱ Text-to-image fine-tuning для 24 Гб VRAM:
> https://rentry.org/informal-training-guide (англ.)
Глянь что там, пора бы заменить или выпилить.
В архиве бтв осталось https://web.archive.org/web/20230125080113/https://rentry.org/informal-training-guide
Кто нибудь вообще сейчас тренирует диффузеры, а не лору или будку?
>Товарищ мочератор, что тут из выделенного жёлтым текстом в спам-лист попало?
после упоминания "2ch" идут ссылки, содержащие "rip" ("scripts"). можно либо всё, содержащее "scripts" засунуть в отдельную ссылку
>либо всё, содержащее "scripts" засунуть в отдельную ссылку
либо перекинуть это вверх, но это нарушит структуру шапки
Вроде как должно сработать, если список готовых GUI вынести вверх и секцию про обучение SDXL вынести выше основной секции про обучение. На пике все красные ссылки должны оказаться выше синих ссылок.
Делаем форк из архива или выпиливаем?
Делаем форк из архива или выпиливаем?
Да, можно просто GUI и SDXL выше вынести: https://2ch.hk/test/res/197487.html#201900
Надо только решить, что с битой ссылкой делать.
Можно ещё кстати секцию про GUI переименовать в что-то рода "Софт для обучения" и упомянуть в нём первой ссылкой самый базированный способ обучать через кохю напрямую.
➤ Софт для обучения
https://github.com/kohya-ss/sd-scripts
https://github.com/bmaltais/kohya_ss
https://github.com/derrian-distro/LoRA_Easy_Training_Scripts
https://github.com/anon-1337/LoRA-train-GUI
➤ Софт для обучения
https://github.com/kohya-ss/sd-scripts
https://github.com/bmaltais/kohya_ss
https://github.com/derrian-distro/LoRA_Easy_Training_Scripts
https://github.com/anon-1337/LoRA-train-GUI
> Делаем форк из архива или выпиливаем?
Да там гайд тухлый, скриптов уже нету в репозитории, ну кроме самого трейнящего.
Пиздец конечно пердолинга из-за того что кто-то регэксп не дописал. Уточнить бы тогда, что сд скриптс это основной набор скриптов для тренировки, изначально использовавшийся для старых помершеллных скриптов, которыми до сих пор кстати некоторые пользуются, а остальное в основном просто обёртки для этого набора.
А нет, convert скрипт вроде тоже остался, хз короче насчёт актуальности этого, если даже сам автор удалил гайд. Всё равно там придётся самому додумывать, даже следуя по гайду.
Ценности сейчас не имеет, можно смело убрать.
Все совсем на гуи пересели? Сюда бы минимальный скрипт что можно быстро поправить и из сонсоли пускать.
Алсо где-то проскакивал краткий текст про вызов tensorboard и базовый анализ что как, его бы тоже не мешало.
> Сюда бы минимальный скрипт что можно быстро поправить и из сонсоли пускать.
Могу такой скрипт предложить: https://rentry.org/simple_kohya_ss
> А нет, convert скрипт вроде тоже остался, хз короче насчёт актуальности этого, если даже сам автор удалил гайд. Всё равно там придётся самому додумывать, даже следуя по гайду.
> Ценности сейчас не имеет, можно смело убрать.
Ладно, уберу перед катом.
> Алсо где-то проскакивал краткий текст про вызов tensorboard и базовый анализ что как, его бы тоже не мешало.
Давай может в начале некст треда уже обсудим? Иначе пока все правки согласуем я так чую ещё долго перекат не сделаем.
-----
Что насчёт такого варианта?
➤ Софт для обучения
https://github.com/kohya-ss/sd-scripts
Набор скриптов для тренировки, используется под капотом в большей части готовых GUI и прочих скриптах.
Для удобства запуска можно использовать дополнительные скрипты в целях передачи параметров, например https://rentry.org/simple_kohya_ss
➤ GUI-обёртки для kohya-ss
https://github.com/bmaltais/kohya_ss
https://github.com/derrian-distro/LoRA_Easy_Training_Scripts
https://github.com/anon-1337/LoRA-train-GUI
> такой скрипт
Норм для начала и легко нужное дописать
> в начале некст треда уже обсудим
Да, плюс будут релейтед вопросы
Google обвинили в краже вообще всего в интернете — на прокормку ИИ
Против Google подали коллективный иск, в котором компанию обвинили в «тайном сборе всего опубликованного или созданного в интернете». Авторы иска считают, что данные используются для обучения генеративного искусственного интеллекта Google и подобных продуктов. Юридическая фирма, оформившая иск, ранее подала аналогичный, но уже против компании OpenAI, известной по ChatGPT.
В документах отмечается, что сбор информации американцев ведется компанией Alphabet без уведомления пользователей, которые даже и не подозревают о происходящем с их данными.
«Google прибирает к рукам всю нашу личную и профессиональную информацию, предметы творчества и авторские работы, наши фотографии и даже письма в электронной почте — буквально весь наш цифровой „отпечаток“», — утверждают авторы иска. По их словам, все это происходит годами и бесконтрольно.
В качестве доказательства приводятся изменения в пользовательское соглашение от 1 июля, в котором появилась отметка о том, что Google может собирать всю публично доступную информацию о пользователе для тренировки ИИ и совершенствования Google Translate, Bard и Cloud AI.
«Google должна понять раз и навсегда: она не владеет интернетом», — говорится в иске и отмечается, что публично доступное не означает бесплатное.
Против Google подали коллективный иск, в котором компанию обвинили в «тайном сборе всего опубликованного или созданного в интернете». Авторы иска считают, что данные используются для обучения генеративного искусственного интеллекта Google и подобных продуктов. Юридическая фирма, оформившая иск, ранее подала аналогичный, но уже против компании OpenAI, известной по ChatGPT.
В документах отмечается, что сбор информации американцев ведется компанией Alphabet без уведомления пользователей, которые даже и не подозревают о происходящем с их данными.
«Google прибирает к рукам всю нашу личную и профессиональную информацию, предметы творчества и авторские работы, наши фотографии и даже письма в электронной почте — буквально весь наш цифровой „отпечаток“», — утверждают авторы иска. По их словам, все это происходит годами и бесконтрольно.
В качестве доказательства приводятся изменения в пользовательское соглашение от 1 июля, в котором появилась отметка о том, что Google может собирать всю публично доступную информацию о пользователе для тренировки ИИ и совершенствования Google Translate, Bard и Cloud AI.
«Google должна понять раз и навсегда: она не владеет интернетом», — говорится в иске и отмечается, что публично доступное не означает бесплатное.
> «Google должна понять раз и навсегда: она не владеет интернетом», — говорится в иске и отмечается, что публично доступное не означает бесплатное.
не пользуйтесь его сервисами
все, что публичное - может использоваться как средство вдохновения, нельзя только прямое копирование
> Против Google подали коллективный иск
Гугл заплатит 5 баксов в свой же фонд. Инцидент будет считаться исчерпанным.
Тред общенаправленныей, тренировка дедов, лупоглазых и фуррей приветствуются
Предыдущий тред:
➤ Гайды по обучению
Существующую модель можно обучить симулировать определенный стиль или рисовать конкретного персонажа.
✱ Текстуальная инверсия (Textual inversion) может подойти, если сеть уже умеет рисовать что-то похожее:
https://rentry.org/textard (англ.)
✱ Гиперсеть (Hypernetwork) может подойти, если она этого делать не умеет; позволяет добавить более существенные изменения в существующую модель, но тренируется медленнее:
https://rentry.org/hypernetwork4dumdums (англ.)
✱ Dreambooth – выбор 24 Гб VRAM-бояр. Выдаёт отличные результаты. Генерирует полноразмерные модели:
https://github.com/nitrosocke/dreambooth-training-guide (англ.)
✱ LoRA – "легковесный Dreambooth" – подойдет для любых задач. Отличается малыми требованиями к VRAM (6 Гб+) и быстрым обучением:
https://rentry.org/2chAI_easy_LORA_guide - гайд по подготовке датасета и обучению LoRA для неофитов
https://rentry.org/2chAI_LoRA_Dreambooth_guide - ещё один гайд по использованию и обучению LoRA
https://rentry.org/59xed3 - более углубленный гайд по лорам, содержит много инфы для уже разбирающихся (англ.)
✱ LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) - это проект по созданию алгоритма для более эффективного дообучения SD. Ранее носил название LoCon. В настоящий момент включает в себя алгоритмы LoCon, LoHa, LoKr и DyLoRA:
https://github.com/KohakuBlueleaf/LyCORIS
✱ LoCon (LoRA for Convolution layer) - тренирует дополнительные слои в UNet. Теоретически должен давать лучший результат тренировки по сравнению с LoRA, меньше вероятность перетренировки и большая вариативность при генерации. Тренируется примерно в два раза медленнее чистой LoRA, требует меньший параметр network_dim, поэтому размер выходного файла меньше.
✱ LoHa (LoRA with Hadamard Product representation) - тренировка с использованием алгоритма произведения Адамара. Теоретически должен давать лучший результат при тренировках с датасетом в котором будет и персонаж и стилистика одновременно.
✱ LoKr (LoRA with Kronecker product representation) - тренировка с использованием алгоритма произведения Кронекера. Алгоритм довольно чувствителен к learning_rate, так что требуется его тонкая подгонка. Из плюсов - очень маленький размер выходного файла (auto factor: 900~2500KB), из минусов - слабая переносимость между моделями.
✱ DyLoRA (Dynamic Search-Free LoRA) - по сути та же LoRA, только теперь в выходном файле размер ранга (network_dim) не фиксирован максимальным, а может принимать кратные промежуточные значения. После обучения на выходе будет один многоранговый файл модели, который можно разбить на отдельные одноранговые. Количество рангов указывается параметром --network_args "unit=x", т.е. допустим если network_dim=128, network_args "unit=4", то в выходном файле будут ранги 32,64,96,128. По заявлению разработчиков алгоритма, обучение одного многорангового файла в 4-7 раз быстрее, чем учить их по отдельности. По состоянию на 22.05.2023 реализация от kohya является неверной, что приводит к получению поломанных моделей, даже если использованы рекомендуемые параметры.
✱ Text-to-image fine-tuning для Nvidia A100/Tesla V100-бояр:
https://keras.io/examples/generative/finetune_stable_diffusion (англ.)
Бонус. ✱ Text-to-image fine-tuning для 24 Гб VRAM:
https://rentry.org/informal-training-guide (англ.)
Не забываем про золотое правило GIGO ("Garbage in, garbage out"): какой датасет, такой и результат.
➤ Гугл колабы
﹡Текстуальная инверсия: https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/sd_textual_inversion_training.ipynb
﹡Dreambooth: https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb
﹡LoRA [1] https://colab.research.google.com/github/Linaqruf/kohya-trainer/blob/main/kohya-trainer.ipynb
﹡LoRA [2] https://colab.research.google.com/drive/1bFX0pZczeApeFadrz1AdOb5TDdet2U0Z
➤ Полезное
Гайд по фиксу сломанных моделей: https://rentry.org/clipfix (англ.)
Расширение WebUI для проверки "сломаных" тензоров модели: https://github.com/iiiytn1k/sd-webui-check-tensors
Гайд по блок мерджингу: https://rentry.org/BlockMergeExplained (англ.)
Гайд по ControlNet: https://stable-diffusion-art.com/controlnet (англ.)
Гайды по апскейлу от анонов:
https://rentry.org/SD_upscale
https://rentry.org/sd__upscale
Оптимизации для современных ПК:
https://rentry.org/sd_performance - мастхев для владельцев 40XX поколения; для 20XX-30XX прирост производительности менее существенен
GUI для тренировки лор от анона: https://github.com/anon-1337/LoRA-train-GUI
Подборка мокрописек от анона: https://rentry.org/te3oh
Группы тегов для бур: https://danbooru.donmai.us/wiki_pages/tag_groups (англ.)
Коллекция лор от анонов: https://rentry.org/2chAI_LoRA
Гайды, эмбеды, хайпернетворки, лоры с форча:
https://rentry.org/sdgoldmine
https://rentry.org/sdg-link
https://rentry.org/hdgfaq
https://rentry.org/hdglorarepo
https://gitgud.io/gayshit/makesomefuckingporn
Шапка: https://rentry.org/catb8
Прошлые треды:
№1 https://arhivach.top/thread/859827/
№2 https://arhivach.top/thread/860317/
№3 https://arhivach.top/thread/861387/
№4 https://arhivach.top/thread/863252/
№5 https://arhivach.top/thread/863834/
№6 https://arhivach.top/thread/864377/
№7 https://arhivach.top/thread/868143/
№8 https://arhivach.top/thread/873010/
№9 https://arhivach.top/thread/878287/