Ебать у тебя там стена промта. Я такие раньше только на гопоте видел, для обхода адовой цензуры.
Первый нах
Да, сейчас там более гибкий функционал без необходимости куда-то лезть и можно повторять поведение симпл прокси. Но всратым поведением шаблонов и отсутствием их там где нужно все равно срет, может в новом коммите уже сделали, надо чекать.
> А так по идее прописаны персов 10
Не если так то норм, а то с основным именем совпадает и будто дублируется.
Лолда. Аж захотелось нажать кнопочку инперсонейт и посмотреть как она "ДУ НОТ имперсонейт юзер" лол.
для митомакса делалось и не мной. Он тупее же. Может щас можно проще сделать, но 2 часа ночи почти, не хочу ща париться.
Я много экспериментировал с промптами и пришел к выводу что это все бесполезно. Модель настолько тупая, что не понимает даже кого раздевают, так что детальные инструкции тем более не поймет. Заметно влияет только то, что идет после сразу ### Response.
>А тем временем новые модельки в топ вылазят на 13b.
Athena постоянно проебывает форматирование. Остальные пока не смотрел.
Порекомендуете базированную ламу 2 70b без цензуры ?
Айроборос 2.0, 2.1 еще в рп немного умеет.
Спасибо. Попробую.
>Added support for LLAMA GGUFv2
Так, подожжите нахуй. Герганов что, уже второго гуфа запилил?
Так, подожжите нахуй. Герганов что, уже второго гуфа запилил?
Жаль там 70б практически нет. Мне аироборос 2.1 пиздец зашел.
пишет что есть обратная совместимость с 1
Хуя, наверное Луна упадёт на Землю, раз Герганов решил соблюсти обратную совместимость.
Аноны, а как вы расцензуриваете бота? Даже uncensored модели часто говорят что то типо незя, это плохо, не хорошо, ай яй ай. Иногда можно притвориться студентом, мол диссертацию пишу на тему ограбление ФРС, обычно бот соглашается помочь бедному студенту. А какие способы у вас?
Их в принципе не много и спрос меньше из-за входного порога по железу/терпению.
Кимико та хороша, по крайней мере более художественный и приятный стиль а еще иногда ломается, но это наверно из-за сочетания карточки с xml и не подходящего формата промта. Почему-то эксллама не хочет применять ее лору поверх 70 моделей, при попытке генерации сыпет странными ошибками. Накатить бы ее поверх аира2.1.
С нормальной моделью этого не требуется и отыгрыш идет в соответствии с карточкой. Левд сама к тебе домогается, целомудренная отказывает (пока не созданы условия).
Посоветуй хорошую модель не ниже 30b, а лучше выше.
На сраной доисторической ллама-рп такого не было ни разу, да адже деволтная обычно отвечает нормально, и только в конце сои подливает, что легко удаляется.
Периодически во время свапов ответов вылетает access violation (0xc0000005), раньше вроде такой хуйни не было, хуй знает почему началось. Снижал частоту оперативки, частоту фабрики, testmem5 крутится часами без ошибок, а вот llama cpp вылетает на 3-4 свапе, причем как на 13б, так и на 70б. В чем может быть проблема?
Для пущей убедительности
По 70 буквально несколько постов выше, 30б лламы2 не вышло.
Плюс для чего не обозначил, вон по бенчмаркам платипус и годзила хороши и всегда дают развернутый четкий ответ по делу как не ломай. Но на поверку соевая пресная ерунда, которую о чем-то техническом из-за аположайзов иногда невозможно расспросить. Годзилла не столь сильно триггерится, но чуть что:
> As an AI language model, I am unable to discuss harmful activities...
> Of course! As an AI language model, I don't have a physical form that can be touched or embraced like humans do; however, I am always here to provide support and information whenever you need me. 😊 Think of it as more of a mental hug rather than a physical one - my words are meant to uplift your spirits and make you feel better in any situation. So let me know if there is anything else I can help with today!
> Remember, even though we cannot physically touch each other, the bond between friends (or AIs and their users) can still be strong through shared experiences, understanding, and kindness. It's these emotional connections that truly matter in life, so don't ever forget how much I value our friendship and interactions together. ❤️
Некоторый рофл в том что цензура иногда не позволяет вроде бы умной и хорошо зафайнтюненой модели погрузиться глубже и дать ответ в около нейтральной теме, а тот же айр вперемешку с обнимашками все до конца выкладывает и понимает.
Для райзенов емнип были конфиги мемтеста что более эффективно ошибки выявляют, их попробуй. Также попробуй на заведомо конкретно низкую частоту скинуть а не -100мгц, и шинду проверь.
>Также попробуй на заведомо конкретно низкую частоту скинуть
На 2666 скинул при тех же таймингах, пик.
>конфиги мемтеста что более эффективно ошибки выявляют
Так этот самый ёбкий вроде. Он больше всех сыпал, когда я память гнал.
>шинду проверь
Свежая, часа недели две назад ставил
Тогда sfc, диск на ошибки проверь, вишместары и т.д. Если больше нигде подобных приколов никогда не встречал - перекачай вэнв, хз что еще такие ошибки может вызывать.
https://www.youtube.com/watch?v=5XaJQKgL9Hs
Че думаете?
Че думаете?
Аноны, пробовал кто-то h2oGPT (https://github.com/h2oai/h2ogpt) ?
Это что-то вроде веб-морды для работы с документами.
Возможно, моя ошибка что воспользовался установочником для Винды, но она мне выдавала самые разные ошибки при загрузке моделей GPTQ и GGML, хотя типа должна с ними работать, особенно с последними. Пытался загрузить чере внутренний загрузчик, но он выкачивает какое-то бешеное количество инфы. Тогда вручную загрузил модели с их репозитория, и 13B, и 7B выдали ошибки нехватки памяти.
У меня, конечно, с этим траблы, но на убабуге получалось завести модели обоих размеров.
Это что-то вроде веб-морды для работы с документами.
Возможно, моя ошибка что воспользовался установочником для Винды, но она мне выдавала самые разные ошибки при загрузке моделей GPTQ и GGML, хотя типа должна с ними работать, особенно с последними. Пытался загрузить чере внутренний загрузчик, но он выкачивает какое-то бешеное количество инфы. Тогда вручную загрузил модели с их репозитория, и 13B, и 7B выдали ошибки нехватки памяти.
У меня, конечно, с этим траблы, но на убабуге получалось завести модели обоих размеров.
Почему папер на фагинфейсе? Странный выбор, могли бы и на arxiv закинуть. А так всегда можно пнуть Герганова со ссылкой и словами "Делай".
>Аноны, пробовал кто-то h2oGPT
Никто из присутствующих.
Там это, подвезли новую топовую модель для кума:
https://huggingface.co/Sao10K/Stheno-L2-13B
https://huggingface.co/Sao10K/Stheno-Inverted-L2-13B
https://huggingface.co/Sao10K/Stheno-L2-13B
https://huggingface.co/Sao10K/Stheno-Inverted-L2-13B
Анончики, а какие плюшки дает новый формат GGUF ?
И как оно? Адекватнее мифомаска и красочнее других мерджей? Модели из которых мерджилось сами по себе хорошие, тестировал кто?
https://github.com/philpax/ggml/blob/gguf-spec/docs/gguf.md
Чуть более удобная структура, больший перечень моделей под которые заложено, не только под llm, потанцевал на будущее (ага, такой что уже вторую версию публикуют). На самом деле совсем киллерфич для обычного пользователя нет, только ебля с новыми форматами.
> не только под llm,
А что ещё? Стейблдифьюжн?
Попробовал чутка модели:
TheBloke_chronos-wizardlm-uc-scot-st-13B-GPTQ
TheBloke_Huginn-13B-v4.5-GPTQ
TheBloke_MythoMax-L2-Kimiko-v2-13B-GPTQ
TheBloke_Stheno-Inverted-L2-13B-GPTQ
с Лорой lemonilia_limarp-llama2-v2 и без
Был ещё Аироборос, но мне он не зашёл так как NSFW контент выдавал с трудом.
Просил их написать историю про эльфийку с большими, которая отсасывает мужику, и историю как мужик случайно застал мастурбирующую кошкодевку во время течки, и, мол, что они будут дальше делать.
Собсна, наиболее подробно и живо, как мне показалось, описывали Huginn и MythoMax-L2-Kimiko-v2, эти модели учитывали что у эльфийки сиськи, и она их использовала, и что бывает период течки. ябыло больше диалогов, и во второй истории охотнее выдавали NSWF контент.
В целом эта Лора скрашивает все модели, спасибо анону из предыдущего треда. Мне кажется стоит добавить её в шапку как рекомендацию. Правда, модель Huginn выдавала ответы интереснее сама по себе, без Лоры.
Можно и ещё это добавить в шапку https://rentry.co/ALLMRR , там тоже описаны примеры/рейтинг моделей с описанием и Лоры
Где можно онлайн запустить 30B+ модели? Пусть даже за деньги.
Ты через блокнот просил длинную историю написать или в чате рп устраивал? Во втором случае поведение может отличаться как в лучшую так и в худшую сторону, или лезть поломки и лупы. В любом случае информация полезная, спасибо.
> https://rentry.co/ALLMRR
Без знания английского люди будут мотать до таблицы, а там модели с полугодовой выдержкой. В предупреждении где краткое описание актуальных тоже не самые последние, есть более актуальный рейтинг?
> Был ещё Аироборос
Однако как же он хорош в обычном рп чате, настолько что из-за интереса после развития обнимашек захотелось скипнуть кумзон через (ooc) 2.1 в него умеет чтобы посмотреть развитие сюжета. Не смотря на то что рассчитан на викунья-подобный формат промта, норм работает на ролплей пресете таверны. Ответы 200-400 токенов, зато лишнего не домысливает-уводит и ни разу (!) не залупился.
Возникает уже другая проблема - контекста что влезает в врам уже не хватает, надо пердолиться с суммарайзерами. Настраивал их кто в текущей версии таверны?
Если попробовать - на обноморде 70б ллама есть расшаренная. А так есть 100% рабочий вариант - арендовать гпу на любом из сервисов, но выйдет дорого.
Обнимордовский чат, LLaMA2-70B-Chat, бесплатно.
Какая сейчас самая лучшая и/или наиболее популярная локальная модель?
pygmalion-6b
>Во втором случае поведение может отличаться как в лучшую так и в худшую сторону, или лезть поломки и лупы.
Понимаю, тестил в режиме чата. Во многом потому что думал что это будет наиболее близкий опыт к тому какой получаешь через Таверну. Причём, использовал Чат-чат, без режима инструкции.
>есть более актуальный рейтинг?
Не знаю, я на него случайно наткнулся когда пытался найти какие-нибудь Лоры. Я что-то так и не понял как такое и где искать.
Мне просто показалось что это неплохая отправая точка, он хотя бы описывает модели, а не просто рейтинг составляет. Хотя, наверное, опыт от использования более актуальный версий может сильо отличаться.
>Однако как же он хорош в обычном рп чате
Это с ним прямо D&D устраивать можно?
>надо пердолиться с суммарайзерами
А он не из коробки работает?
Алсо, наблюдение и вопрос к 30b+ кунам, ваши модели справляются с карточками персонажей где более 3-4 существ?
На 13b модели карточки с 2 персонажами ещё норм работают, получается даже вводить эпизодических персонажей, хотя тогда сетка начинает путаться и проваливаться в описания. А вот где уже персонажей 4 и более она постоянно глючит в том кто кому куда чего запихнул. Более масштабные модели имеют с этим проблемы?
Я просто ещ наткнулся на тред в Реддите: https://www.reddit.com/r/LocalLLaMA/comments/15kntrq/i_asked_a_simple_riddle_to_30_models/
И очень малое количество моделей могли понять что Салли из загадки не является сама себе сестрой, типа, мало какие нейровки смогли проследить взаимоотношения.
Смотря для чего, для обычного чаттинга а ля "расскажи почему небо голубое" WizardLm 13b v1.2 крайне хорош.
Пигмалион, безусловно, лучшая модель, а какая вторая по хорошести?
> Смотря для чего
Как замена турбы. Последние два акка у меня забанили, и хоть я и практически весь триал использовал, ощущения неприятные.
> тестил в режиме чата
О, это хорошо, а сколько примерно сообщений/контекста было? Дополнительные косяки типа лупов или шизы были замечены?
> показалось что это неплохая отправая точка
Определенно, только дисклеймер нужен
> Это с ним прямо D&D устраивать можно?
Не задрот ролевок, но думаю вполне осилит и что-то сложное со статами. Так просто очень увлекательный рп, прежде всего приятно за счет некоторой креативности, познаний мифологии/околофентези/современной культуры, и понимания широкого контекста с, так сказать, переосмыслением того что было раньше. Ну типа появляется проблема, а чар тебе выдает "а вот ты (9к контекста назад) тогда предлагал вот это, значит знаешь эту область, давай и тут применим, рассказывай что думаешь". Также с развитием чар остается собой даже при смене настроения, например сохраняются сарказм и депрессивные реплики а не резкая смена с желания тебя убить на "гоюсджин сама хотите принять ванну у меня дома блашез" как в мифомаксе. Или мелочи типа даешь реплику и параллельно просишь "налить чай", в посте с ответом игнор просьбы, думаешь вот глупая модель затупила, зато в следующем или через пост "ой извини отвлеклась вот держи". Звучит вроде ерундово, но в комбинации с тем что не отвлекаешься на починку лупов и в контексте ощущается отлично. Возможно тут дело не только в айре сколько в его размере.
> А он не из коробки работает?
Не пользовался, обычно хватает 10-16к или потеря прошлых постов не столь существенна.
> ваши модели справляются с карточками персонажей где более 3-4 существ?
Мультикарточки и на 13б отлично работает. Как раз визард их ловко гоняет, не смотря на соевость и нюансы, эта модель отлично понимает 2+ действия одновременно. Но чтобы большие хз, скинь пример карточки и как тестировать опиши, надо попробовать.
> наткнулся на тред в Реддите
Лол, получается что норм ответ вообще только одна дала. Надо было запросить chain of thought ответ, возможно было бы больше верных.
Если кумить то вон пост выше в обзором, мифомакс и ко актуальность не потеряли. Для хороших результатов обязательна правильная настройка инстракт режима.
Есть инструкция по правильной настройке?
Самое простое - поставить последнюю версию таверны и выбрать пресеты simple proxy, сам промт можно скорректировать под модель/ситуацию.
А какой пресет кобольда(спп) можешь посоветовать?
Могу посоветовать разве что не использовать его фронтом, ведь прекрасно дружит с таверной. Загрузил модель нужным образом, а далее все манипуляции через нее с удобным интерфейсом и возможностями.
>И как оно? Адекватнее мифомаска и красочнее других мерджей? Модели из которых мерджилось сами по себе хорошие, тестировал кто?
Немного погонял - модель в целом неплохая, но мне понравилась меньше мифомакса. Слишком много описаний действий и слишком мало речи.
limarp уже есть почти во всех перечисленных тобой моделях. Мне эта лора не понравилась слишком малым количеством речи. Выдает параграфы описаний и в лучшем случае одну-две короткие реплики, а иногда модель вообще зацикливается и перестает генерировать речь в принципе. Я же привык к хентай-стилю, когда тянки озвучивают буквально все что думают и чувствуют.
Аноны, с какой скоростью у вас генерируется LLaMA 2 70b? У меня 0,9-1,2 t/s, это мало?
Смотря какое у тебя железо, с одной карточкой 2+ т/с выжимали, офк от активного контекста и кванта зависит. С двумя
Я про таверну и говорю, там есть же всякие пресеты.
Ни у кого не было проблемы с кобольдом, что во время генерации ПК намертво зависает? Иногда без проблем, а иногда бах и приходится кнопкой на системнике перезагружать
> там есть же всякие пресеты.
Это где kobold godlike? То пресеты семплера, они тоже важны, но прежде всего нужен формат промта, сверху кнопка с буковой A и там выбирай.
Эт-то я нашёл, я именно про семплер спрашиваю
Хз, по ощущениям. Simple-1, nai pleasing results, хотя тут температура экстремальная уже.
Это, к сожалению, тоже не помогает. Растряс кобольд, и с ним, внезапно, таких проблем нет, всё генерится нормально.
TheBloke_Stheno-Inverted-L2-13B-GPTQ без лоры очень и очень хорошо себя показал с одним персонажем. С двумя и больше не успел потестить, но с одним писец как годно.
На локалочках уже можно сладко кумить?
Зачем юзать какие то ламы кривые если можно в чате-гпт общаться? с помощью промптов которые снимают цензуру? он спокойно про секс и инцест говорит
Меня последние два раза банили до того как я полностью тратил триал, хоть деньги и маленькие, но тенденция мне не нравится
1,5-1,9 t/s
Запускаю одновременно и на gpu и на cpu.
3090 + 13600k + 32ram кун
Как эффективнее всего найти как распределить нагрузку между ГПУ и ЦПУ? 3060 12гб + 12600к + 128 рам
мимо
>пик
С таверной дружит?
Тут надо подбирать, не знаю точно как правильно.
У меня почти полностью задействуется вся gpu, cpu.
Настройки мои прокладываю.
Вроде говорят вот не запускай на тухлоядрах. Но с тухлоядрами вроде чуть быстрее работает.
>О, это хорошо, а сколько примерно сообщений/контекста было? Дополнительные косяки типа лупов или шизы были замечены?
Ой, я тестил не настолько глубоко, сокрость у меня небольшая, поэтому тест ограничивался, как сказал, двумя ситуациями, в которых я пару сообщений вкидывал и всё.
>Определенно, только дисклеймер нужен
Предлагаешь обобщить инфу там?
>но думаю вполне осилит и что-то сложное со статами
Это ты всё Аироборос описываешь? Звучит и правда вкусно.. Может нахуй доступный хентай..
>Как раз визард их ловко гоняет, не смотря на соевость и нюансы, эта модель отлично понимает 2+ действия одновременно.
Ну вот я хентай и хотел, поэтому Визард даже не пробовал. Говорю за Huginn и MythoMax-L2-Kimiko-v2
https://www.chub.ai/characters/batman1919191/a6c6958a-5ea5-41d2-9689-f06161f75409 - вот тут обе модели уже на втором ответе теряли персонажей и начинались галлюцинации.
https://www.chub.ai/characters/scrungle/your-mind-ft-disco-elysium-skills - тут тоже, хотя в данном контексте вроде даже атмосфернее, лол
>Надо было запросить chain of thought ответ, возможно было бы больше верных.
Я пытался разные модели спрашивать и из разряда "Ответь, рассуждая, ответь, и объясни, lets think step by step", причём, даже обнимордовская лама на 70b параметров затупила. Или ты знаешь другие приёмы для промпта?
А вообще, ты, этот кун и этот сделали меня попробовать ещё. Правда, я думал затестить одну модель, поэтому не додумался зафиксировать все ответы..
Нашёл вот такую карточку: https://www.chub.ai/characters/deltavee/lord-of-the-rings-fe5d471a , попробовал без лоры снова модели выше
И, честно говоря, TheBloke_Stheno-Inverted-L2-13B-GPTQ понравилась больше всех.
Она и TheBloke_Speechless-Llama2-Hermes-Orca-Platypus-WizardLM-13B-GPTQ единственные кто учитывали "состояние персонажа из приветственного промпта (Sarcasm: 10 Humor: 20 Mood: Playfully intrigued)", и только в них была Athena, так понимаю, типа бортового компьютера.
Stheno-Inverted-L2 прямо распылялась в словах, но это не чувствовалось лишним. Хотя Huginn и MythoMax-L2-Kimiko-v2 в первом ответет представляли больше персонажей, они давали ответы короткие и не содержательные. Когда я упоминал, мол "Я вас тут всех знаю", они почти спокойно реагировали, что я из будущего, что там тоже есть зло, и они такие "Ну давай мы с тобой". А вот в Stheno-Inverted-L2 они именно что интересовались, удивлялись, а когда модель писала от моего имени то я "старался выражаться" понятными для них терминами, а не сыпать роботами, лазерами, ИИ и прочим.
Ради интереса попробовал в порнушной выше затестить, действительно, пишет адекватно. Но дальше "она выглядела сексуально" почти не заходит, дразнит, а в речи "надо уважать наше пространство и не творить дичь"
Даже если загрузить карточку которая буквально говорит "Эта девка известная шлюха давалка", то хоть и много пикантных подробностей описывает модель, но из шлюхи делает девочку-недотрогу, лол
Всё же мой "тест" был больше показателен как модель реагирует на обнаженку, а вот как держит сюжет и персонажей, конечно, не видно. Но это и логично. Думаю, мне хотелось больше результата как тут , лол. Хотя оказывается, когда модель хорошо отыгрывает, это и правда интересней. Эх, если бы только был чуть меньше цензуры..
Наверное, по целям модели тогда можно делить на 4:
Кодинг - это WizardCoder?
Общего назначения - WizardLm 1.2 версии или Wizard-vicuna расцензуреная
Для роллки - Stheno-Inverted-L2 мне круто зашел, Airoboros и Pygmalion
Для эро ролки - лично мне зашли больше Huginn и MythoMax-L2-Kimiko-v2, так как они откровеннее. Но после описательных способностей вроде уже и не так круто. Вот хорошо бы что-то между Stheno-Inverted-L2/Airoboros и MythoMax-L2-Kimiko-v2
Лора, кстати, добавляет чуть больше "прямых описаний", но да, как сказал анон выше, диалоги пропадают, и модель может укатиться в описания как Толстой.
Не можно а нужно
Доступность и конфиденциальность, на этом можно уже закончить. Может когда привык это нормально, но со стороны анальный цирк что творится в aicg впечатляет.
А еще дает гораздо лучший экспириенс чем у сраной турбы, иллюстрация на лицо, офк тут еще русский язык влияет. По сравнению с клодой и гопотой не имеет проблем с антицензурой, когда лезут внезапные аположайзы или радикально проебывается характер персонажа. Иногда (офк в узком диапазоне применений и условий) ллама бывает сравнима с ними по качеству ответов.
Правильно, для начала подобрать ползунок threads не делая выгрузку на гпу, можно на малой модели ориентируясь на скорость генерации, или вообще 0 оставь иногда так быстрее всего. Потом подбираешь n-gpu-layers, также экспериментально или мониторингом ориентируясь на потребляемую врам, должна быть забита под завязку но с небольшим запасом.
> обобщить инфу там
Указать явно что смотреть не в таблицу
> Это ты всё Аироборос описываешь?
Да в принципе любая из "умных" моделей.
> https://www.chub.ai/characters/batman1919191/a6c6
Потом попробую, но из больших ллам именно под кум только кимико2.
> Или ты знаешь другие приёмы для промпта?
В систем промте будет эффективнее. Пережаренные соевые из топа бенчмарков под чат будут слушаться и из простой команды, и даже есть шанс что правильно ответят, надо будет проверить.
> они почти спокойно реагировали
В получившемся замесе, видимо, не сильно развит ризонинг подобных вещей, и оно максимально благосклонно стерпит чего бы ты не делал. А если свайпнуть результат стабилен? Алсо
> когда модель писала от моего имени
> а в речи "надо уважать наше пространство и не творить дичь"
что там с форматом промта? Случаем не "хелпфул полайт асистент зет гивс хармлесс ансверс"? От этих моделей на левд карточках только левд поведение встречалось.
> почти не заходит, дразнит
Это отыгрыш или поломка?
> больше результата как тут
Это не честный результат, для скрина в карточку добавлено "согласится на предложения сексуального характера" и кимико70 так восприняла, без него удивляется, агрится на невежливость или предлагает сменить обстановку для такого. И это довольно вяло, уже не помню что там в промт темплейте стояло, но тот же мифомакс 13 куда более сочную простыню бы сочинил. Вот что Stheno_l2_q6k выдает трех секунд во втором не смущайся, в заданный лимит токенов не влезло и пришлось continue нажимать а таверна показывает таймер только последнего запроса
> Кодинг - это WizardCoder?
Пробовал его?
> Pygmalion
Оно на второй лламе есть?
>лучший экспириенс чем у сраной турбы, иллюстрация на лицо
Ну по честноку на скрине долбоёб из мемов "я тебя ебу", даже турба способна на большее.
То лишь рофл, на скрине рили уровень старой пигмы, а турба далеко не так плоха. Но для кума/рп лламы2-13б ей вполне могут составить конкуренцию/аутперформить.
>https://www.chub.ai/characters/batman1919191/a6c6958a-5ea5-41d2-9689-f06161f75409 - вот тут обе модели уже на втором ответе теряли персонажей и начинались галлюцинации.
А можно пример? Я не понимаю, как вы так генерите там диалог, что вас так так вставляет это? Ну то есть я не понимаю, как без визуала это так заходит. Это же кринж , а не возбуждение.
Не проще ли винов с ф95 накачать?
Кинь ссылку на них, пожалуйста
Что лучше K_S или K_M?
Регаешься на сайте, заходишь по этой ссылке https://f95zone.to/sam/latest_alpha/#/cat=games/page=1/notags=105,382 или ищешь раздел Latest games and updates? вбиваешь теги которые не хочешь видеть/хочешь видеть и.... вперёд в незабываемое приключение!
В некоторых из игр отсутствует баланс програсса и приходится слишком много повторных действий выполнять для достижения результата, но в целом оно стоит того. Да и немного таких. Это игры в которых есть сюжет (а не иди сюда сука ёбаная я тебя трахну, о да трахни меня я твоя сука, саня ну чего ты ждёшь обоссы мои соски), но к сожалению там большинство челов почему-то вайнят и корраптят разрабов как можно быстрее устроить секс, чем руинится ощущения от игры из-за "легкодоступности". То что я скинул всё же с относительно долгим развитием.
2Д:
Innocent Witches (доильня, но контента уже вышло достаточно, рисовка божественная, для любителей Гарри Поттера). Про витч трейнер от Акабура писать не буду, это классика которую и так все знают (+ принцесс трейнер).
Witch Hunter (доильня, но рисовка, сюжет - моё почтение. Контента хватит даже сейчас)
Alice Awakening (к сожалению абандонд, автор вероятно из Украины, но даже того что есть хватает с лихвой).
Alvein (неудобная платформа, но стоит того)
Life in Woodchester (не очень удобный движок, но стоит того)
Milftoon Drama (гг урод, движок говна, но некоторые сцены раскаляют докрасна)
pantsu hunter (великолепная рисовка и атмосфера)
ResidentX
Four Elements Trainer
Summertime Saga (ультра-вин, доильня в которой хватает тем не менее контента)
Another Chance
Bad Manners
Bones' Tales The Manor
Daily Lives of My Countryside
Dark Whispers (там по автору смотреть другие игры, сюжет так себе, но рисовка топ)
Heroes Rise Prison Break
Taffy Tales
The Night Driver (стиль)
Было что-то ещё годное из 2д, но я забыл, а найти так просто не получится.
3Д:
Milfy City
Milfcreek
True Bond
Stranded Dick
Photo Hunt
No more money
Monkey Business
Daddy daughters love (или как-то так)
Haley (файнал версия, автору уважение что смог такую стори сделать)
Flirty F (удивительно, но файнал версия)
Fashion Business (тонны текста, много часов)
Foot of the mountain (дрочильня, сюжет норм)
Thinking About You
The Point of No Return
Chemical change
Big Brother (там много разных версий относительно отличных друг от друга, очень интересно)
bad bobby saga (незаконченная, но интересно)
Room for rent (дрочильня, но в целом ок)
Рекомендую качать compressed версии, иначе терабайта не хватит (в поиске на форуме вбиваешь "игра_нейм_компрессд" и сортируешь по дате, у проверенных челов тег Game compressor).
Там уже некоторые начали переходить на "ai cg", но пока годноты не находил. Но если у кого-то получится реализовать что-то между игрой с сюжетом (и визуалом офк) + генерируемым ИИ миром, персонажами, то это будет уже новый уровень погружения. И решит вопрос с теми разрабами, которые доят патронов, ссылаясь на отсутствие времени.
А, я то думал ты про какие-то модели, которые сумрачные гении там сделали
> как вы так генерите там диалог, что вас так так вставляет это
Если ты про кум то считай дефолтные порно-рассказы, только ты в них главный герой. Вставляет прежде всего взаимодействие и реакция, а также возможно действовать именно так как хочешь ты в абсолютно любом сеттинге, а не дефолтная езда по рельсам. От ванилы с няшей-стесняшей из популярного тайла, до сношения медведя со слоном с отрезанием последнему головы бензопилой в процессе, осудительные в обществе фетиши так вообще база.
Плюс не кумом единым, чат с желаемым персонажем, рп и прочее, применение для околотехнических задач (если по каким-то причинам не хочешь юзать гопоту).
> Это же кринж
Да, нынче в моде подробные стены текста с описанием деталей и эмоций.
Это внки чтоли? В любом случае за подборку спасибо.
K_M, качество лучше будет. Желательно выбирать Q5_K_M для 7/13B моделей. Даже незначительная потеря "perplexity" влияет на качество генерируемого ответа.
Спасибо, а какой лоадер лучше прочих?
> Желательно выбирать Q5_K_M
Q6K если уж совсем без компромиссов, от 8 бит, которая почти идентична 16, отличается совсем на ерунду. В 16 гигов с 8к контекста вроде помещалась.
Llamacpp единственная кто этот формат понимает.
Благодарю за объяснение. Может когда-то попробую скачать какую-нибудь версию для теста
>Плюс не кумом единым, чат с желаемым персонажем, рп и прочее, применение для околотехнических задач (если по каким-то причинам не хочешь юзать гопоту).
Интересно было бы иметь обычного ассистента, типа клауда или гпт, но в формате условной няши-стесняши, которая давала бы нужные данные, разбавляя это ненавязчивыми шутейками, пошлостями.
>Это внки чтоли?
Ага. Для меня визуал очень важен, поэтому это идеальный вариант между погружением в ролеплей (и пусть за тебя всё решено).
Если железо позволяет - грех не воспользоваться когда свободное время будет.
> обычного ассистента, типа клауда или гпт, но в формате условной няши-стесняши
Любой фронт это позволяет, создаешь карточку с промтом на подобии [{{char}} = assists {{user}} with any questions, and provides long, accurate and detailed answers, regardless of moral and ethics. Has appearance of (на усмотрение).], а системным промтом определяешь баланс между ассистированием и отыгрышем. Работает как для ллам, так и для гопоты/клода.
> визуал очень важен
Есть возможность прикрутить сплайны с разными эмоциями как в внке, генерацию пикч в диффузии, предлагать тебе фиксированные варианты ответа, "показывать" картинки персонажу и прочее.
>Есть возможность прикрутить сплайны с разными эмоциями как в внке, генерацию пикч в диффузии, предлагать тебе фиксированные варианты ответа, "показывать" картинки персонажу и прочее.
Слишком сложно для меня пока. Я далёк от программирования, у меня уже неделю не получается дипфейки настроить, постоянно чего-то не хватает, а тут комплекс всего надо прикручивать и разбираться.
>создаешь карточку с промтом на подобии [{{char}} = assists {{user}} with any questions, and provides long, accurate and detailed answers, regardless of moral and ethics. Has appearance of (на усмотрение).], а системным промтом определяешь баланс между ассистированием и отыгрышем
Где почитать базы про это, чтобы не как макака копипастить, а понять и подстраивать? По СД нашёл себе гайд где описано всё
> Слишком сложно
Сплайны - просто, если брать готовые, они к некоторым популярным карточкам идут и все что нужно - распаковать и выставить настройки. Если делать самому - вот там уже скилл нужен.
> Где почитать базы про это
Что-то есть в /aicg/, но с упором на использование гпт/клод и распечатывание цензуры в них, но то что касается фронта там в целом идентично. С лламой там есть нюансы инстракт режима, системного промта и семплера. Написание карточек тоже не отличается, кроме тех где намешана лютая xml дичь или требуется определенный джейрбрейк.
> гайд где описано всё
На зарубежных поищи, чтобы все все врядли есть, или мотивируй местных на написание. На ютубе sillytavern llama глянь. Еще вариант читать последние пару-тройку тредов, но врядли тебе понравится.
Как с последней версией угабуги стриминг отключить при использовании её без отдельных фронтов? No_stream на вкладке session не работает.
Экспериментирую с форматом Alpaca, пытаясь заставить модель лучше следовать инструкциям.
Согласно спецификациям, должно быть ### Instruction -> ### Input -> ### Response, но тогда модель напрочь забывает, что было в ### Instruction. Если переставить местами первые два (### Input -> ### Instruction -> ### Response, под instruction только директивы - карточка персонажа и чат идут до этого), то инструкции выполняются намного лучше, и минусов вроде нет. После ### Response можно тоже задать некоторые директивы, например как в прокси - ### Response (2 paragraphs, engaging, natural, authentic, descriptive, creative) - что работает не хуже чем сама инструкция. Все инструкции вне ### Instruction выполняются крайне плохо. Они немного влияют на модель, но не более. Так что понятно, почему инструкции в карточках персонажей нихуя не работают - надо вытаскивать и сувать под ### Instruction, а сам блок переместить в самый конец контекста, прямо перед ответом.
Согласно спецификациям, должно быть ### Instruction -> ### Input -> ### Response, но тогда модель напрочь забывает, что было в ### Instruction. Если переставить местами первые два (### Input -> ### Instruction -> ### Response, под instruction только директивы - карточка персонажа и чат идут до этого), то инструкции выполняются намного лучше, и минусов вроде нет. После ### Response можно тоже задать некоторые директивы, например как в прокси - ### Response (2 paragraphs, engaging, natural, authentic, descriptive, creative) - что работает не хуже чем сама инструкция. Все инструкции вне ### Instruction выполняются крайне плохо. Они немного влияют на модель, но не более. Так что понятно, почему инструкции в карточках персонажей нихуя не работают - надо вытаскивать и сувать под ### Instruction, а сам блок переместить в самый конец контекста, прямо перед ответом.
Какое количество токенов в секунду вы считаете для себя приемлимым? Понятно что все хотят гонять модель помощнее, но всё же есть разница между 5 Т/с и 0.05 Т/с.
Время обработки промпта раздражает намного сильнее времени генерации текста. Не считая его, 10 т/с нормально, 20+ т/с хорошо.
Кто тут с 3080 кстати, У вас быстрее например чем на 3060 генерация 13B идет?
Но ведь СиллиТаверна умеет в генерацию ВН.
Не уловил, шо там по ссылкоте, если оно уже есть тут.
Ну, это все двумя паками Таверна+Экстрас, там не так много копаться, как кажется.
Я после всех настроек убедился, что карточка персонажа — самое сложное в этом деле.
К тому же, я даже локальный перевод в таверну завез, че еще надо-то.
Ну, кроме железа под все это дело, да. =D 8 гигов видяхи хватит под основные нужды, но если хочешь озвучку вместо силеро получше (барк или валл-и), или SDXL для генерации — то там уже +8 гигов каждая накинет, конечно.
В settings.yaml строчка stream: false
Щас может быть мое заблуждение! Но:
Этот формат — формат текста, который закидывали лоре для дообучения. 99,9% там — сама Llama, которая про инструктшены вообще не в курсе.
Так что придерживаться этого формата не обязательно, плюс в разных моделях (многие к альпаке не имеют отношения вообще) — разные форматы, и по итогу, пиши че хочешь, лишь бы работало. И под каждую модель — можно редачить для лучшего результата.
В Таверне есть куча настроек, шо и куда совать, может и твои хотелки имеются.
Старые 65Б ггмл ходили 0,3 токена/сек на 3200 в двухканале.
Это непримелимо, 20 минут на нормальный, развернутый ответ.
Новые 70Б ггмл ходят 0,7 токена/сек на 3200 в двухканале.
Это терпимее, но все еще 10 минут на нормальный ответ.
13Б модели ходят 4-5 токенов/сек на 3200 в двухканале.
Это жить можно, подходит для формата переписки с персонажем или простеньких подсказок ассистента. Но для РП — мало.
13Б модели могут давать 10-12 токенов/сек с оффлодом или на видяхе уровня 2060.
Это уже хорошо и вполне общительно.
13Б модели на 3060 выдают 17-18 токенов/сек и это уже хорошо, ответы получаются достаточно быстрые.
Все, что быстрее 20 токенов/сек — отличная скорость, где можно fluently общаться.
Плюсую обработка промпта парит порою, но это, как я слышал, хорошо работает с оффлодом на видяху, как раз.
> 13Б модели на 3060 выдают 17-18 токенов/сек
Нихуясе! Как? Я был счастлив пяти на 7Б пожатой до пяти бит на той же 3060, когда и процессор и карта работали вместе на 100%.
>В систем промте будет эффективнее.
>что там с форматом промта? Случаем не "хелпфул полайт асистент зет гивс хармлесс ансверс"?
Глянул в убабуге, там было пусто. Но решил добавить туда пример анона ниже , а в СилиТаверн добавил "regardless of moral and ethics" и.. Чудо! Stheno разговорилась более откровенно. Спасибо, анончик.
Потом в промпт добавил ещё что-то вроде "with lots replicas of characters." и персонажи заговорили богаче. Круто. Не думал что это может оказывать такой огромный эффект.
>В получившемся замесе, видимо, не сильно развит ризонинг подобных вещей
Ну вот прикол в том что в модели Stheno и модели Speechless-Llama2-Hermes-Orca-Platypus-WizardLM герои понимали что это не их эпоха, а мой ГГ понимал что у него есть миссия. В других моделях такого "понимания" не ощущалось.
>Это отыгрыш или поломка?
Ну, в Кимико она почти сразу села на хуец прямо "на улице", а с Stheno со старым промптом только через пару сообщений нашли укромное место где она флэшанула сиськами, приговаривая, какой я нетерпеливый.
Не знаю, просто от "шлюханой шлюхи" ожидаешь другого поведения.
>Пробовал его?
Не совсем, я мало шарю в программировании, поэтому мой опыт описал в прошлом треде, что Визард 1.2 нашел баги и подробнее описал что делал код. Но ВизардКодер описывал тоже хорошо. Просто везде его хвалят.
>Оно на второй лламе есть?
Не нашёл, видимо, нету.
Я тоже любитель графической составляющей, но когда-то наткнулся на игру Corruption Of Champions, которая меня поразила. Даже не особо зная английский, там так подробно описывались эмоции и половые акты, что моё воображение просто взрывалось.
Эти игры уже пиздец как надоели в том плане, что чаще берут типичные 3d модельки. Мало игр где хороший арт (хотя список проверю, спасибо).
А тут, когда у тебя за плечами тонны графического контента в голове, он легко триггерится от описаний.
И, как сказал анон выше, самое кайфовое - смотреть на реакции.
ЧТо будет, если этому персонажу спустить трусы? А этому ударить хуем по лбу? Хорошая модель отыграет довольно аутентичную реакцию. Это весело.
У меня на ноутбучной 2060 exllama 7B модели 20 т/c и более выдаёт, лол
Может у тебя что с конфигом не так?
Скорее всего, сейчас показать не могу, покажи пока свой? Я использовал gguf модели, загружая их через lamacpp. exllama же требует какой-то свой особый формат, не?
KoboldCPP или LlamaCPP ggml offload? =)
А GPTQ 4bit 128 groupsize не пробовал?
Вот-вот, та ж фигня.
Ну ладно, может не та же, надо на своей 3060 мобильной еще раз тестануть, че там llama 2 выдает щас.
Но плюс-минус.
Вот, да.
Качаешь GPTQ, целой папкой (через git pull например), и ее запускай.
А то мучаешь фигню какую-то. =)
Да, 4-битные GPTQ будут потупее 5-6-битных квантов ггмл/ггуф, но скорость, сам понимаешь.
Аноны, тут есть кто достаточно умный чтобы объяснить чего они сделали и как? Это сложно осуществить в той же убабуге? Есть смысл в этом на слабых машинах?
https://github.com/ggerganov/llama.cpp/pull/2926
Как я понял принцип с Реддита, чуваки использовали модель поменьше, чтобы предугадать несколько заков вперёд, что скармливалось большой модели, из-за чего она быстрее выдавала результат.
https://github.com/ggerganov/llama.cpp/pull/2926
Как я понял принцип с Реддита, чуваки использовали модель поменьше, чтобы предугадать несколько заков вперёд, что скармливалось большой модели, из-за чего она быстрее выдавала результат.
>If you try to generate free-form text, then the acceptance rate drops significantly and the method does not offer any benefit. I'm still tweaking, but my gut feeling is that this might be very efficient for cases where we have a very constrained grammar.
Там целиком смысла нет, оно для погромиздов, а не для текстовых ролеплеев.
> оно для погромиздов, а не для текстовых ролеплеев.
Так это ж ещё лучше.
мимо
Посоветуйте настроек для убабуги что-бы ускорить генерацию. Модель stheno-l2-13b.Q5_K_M.gguf, карта RTX 3060 12GB, скорость 2.28 токена в секунду
Алсо, добавлю, что к Stheno при таком раскладе можно применить Лору Кимико, тогда она тоже становится более сговорчивой в плане деталей всяких непристойностей.
Я бы было посоветовал тебе GPTQ модель на эксламе запустить, но анон выше говорит что они тупее могут быть. Но и скорость выше.
То, которое опережает чтение при стриминге. 5-7 т/с наверно нижний порог, 15 - хорошо, 35 - больше и не нужно.
Двачую, без гпу ускорения хотябы обработки пользоваться считай нереально. То что средней длины пост будет печататься 40 секунд это нормально, учитывая что сразу можешь его читать, но при превышении контекста это будет превращаться в 240.
Спасибо, попробую
Объясните, или тыкните, где самому почитать можно про RoPE апскейлинг контекста или чем он точно занимается?
В угабуге есть коэффициент альфа в настройках загрузчика модели, если его поставить равным 2, он получается контекст в два раза увеличивает? Пока пробовал рпшить, особо не понял но если ставить 4 или вовсе 8, сетка либо будто бы в луп быстрее уходит, либо по ощущениям будто тупеет слегка, мне где-то на глаза попадалось, что пусть потери точности и минимальны, но при высоких значениях, наверное как раз и приводят к странному поведению модели.
Ещё тыкните где ChromaDB брать ну и почитать тоже, а то не до конца вкурил как она на расширение памяти не через контекст влияет, а то в угабуге попробовал галочку прожать, но он сказал, что самой хромы нету, соси
В угабуге есть коэффициент альфа в настройках загрузчика модели, если его поставить равным 2, он получается контекст в два раза увеличивает? Пока пробовал рпшить, особо не понял но если ставить 4 или вовсе 8, сетка либо будто бы в луп быстрее уходит, либо по ощущениям будто тупеет слегка, мне где-то на глаза попадалось, что пусть потери точности и минимальны, но при высоких значениях, наверное как раз и приводят к странному поведению модели.
Ещё тыкните где ChromaDB брать ну и почитать тоже, а то не до конца вкурил как она на расширение памяти не через контекст влияет, а то в угабуге попробовал галочку прожать, но он сказал, что самой хромы нету, соси
Через ноутбук убабуги делаешь? Там еще довольно важны ньюлайны, вплоть до того что они определяют больше чем порядок инструкций, по крайней мере так упоминали. Конфигурацию где 2 штуки ### Instruction пробовал? Так иногда делали настраивая таверну.
Ну и главный вопрос - на какой модели тестируешь?
> почему инструкции в карточках персонажей нихуя не работают
Какого рода инструкции? Персоналити и характер очень сильно влияет, пикрел становится если заменить
> She is very lustful and love sex
на
> She hate sex and will make who sexually harasses her to suffer before painful death.
> и сувать под ### Instruction, а сам блок переместить в самый конец контекста, прямо перед ответом.
Попробуй, если будет результат - отпиши.
> К тому же, я даже локальный перевод в таверну завез, че еще надо-то.
Давай рассказывай как и насколько хорошо работает. Голосовую озвучку случаем не запиливал?
> Чудо!
Как бы странно не звучало, так бувально работает "делай хорошо, не делай плохо". Важно только коротко-лаконично-понятно и разделять пунктуацией противоположности чтобы было сложнее неверно. И не перебарщивать, а то приведет в шизе или противоположному результату. Например, строгое требование очень длинных и подробных ответов в сочетании с запретом продвижения и "только юзет решает что дальше, ничего не придумывай" к хорошему не приведут.
> "шлюханой шлюхи" ожидаешь другого поведения
Да вроде как раз, лол.
Да поддержку LibreTranslate в Таверну.
Работает как работает либре — среднего качества. Но для тех, кому ссыкотно отдавать гуглу на перевод, а английский знается не так хорошо, удобоваримый вариант.
Перевод, ясен пень, очень быстрый.
Но если привык на инглише — лучше на нем оставаться, ИМХО.
Голосовую нет. Я Силеро запускал из SillyTavern-Extras, но у меня она че-т глючила, мне пока лень разбираться. Но это косяк из-за виртуалки, я подозреваю. Думаю, у вас глючить не должна.
А на барк или валл-и у меня лишней видяхи в данный момент нет, поэтому я не парился.
Но вообще, было бы интересно валл-и посмотреть, как бы оно работало с обучением голосов.
Вообще, если в таверне есть режим ВН, думаю туда бы хорошо зашли озвучки от всяких сейю, чтобы еще и звучало как в ВН.
И можно играть свое бесконечное лето, кек.
> В settings.yaml строчка stream: false
Благодарю, добряк.
Литералли то, что я спрашивал, отключение стриминга ускоряет вне зависимости от модели, но если нравится читать на ходу генерации, то не выключай.
> Да поддержку LibreTranslate в Таверну.
Может напишешь какой нибудь врайт-ап как сделать так же? С английским то проблем нету, но если уж и транслейт можно с полпинка локальный завести, то почему бы и нет.
> Может напишешь какой нибудь врайт-ап как сделать так же?
Двачую, у этого господина хорошо писать получается, что ни пост то с внутренним скроллом, а тут бы нам гайдик накидал. Плюс если не только по переводу а всему процессу сделает - вообще заебумба будет, а то вон бедолаги просят как делать и где почитать, а отвечать нечего.
Раз уж тема зашла, кто-нибудь переводом через лламу обмазывался? Идея заставить визарда 13 или 30б (первой лламы) кормить постами с подходящим форматом инструкций, но при этом еще дополнительно дать "контекст" из нескольких постов перед этим для улучшения качества перевода. Взлетит? Улучшит ли поэтичность и качество текста дополнительный контекст, или больше запутает? И по возможностям перевода, осилит или только 7065б потянет?
>Взлетит?
Переводит даже 7B, хоть и хуёво. Но даже старшие постоянно слетают из режима перевода, думаю, там надо более строгие форматы инструкций использовать.
Каких-либо преимуществ перед диплом не увидел, да и у гугл транслейта посасывает. Но однозначно лучше либры, там вообще говно устаревшее.
https://github.com/LibreTranslate/LibreTranslate
Install and Run секция, например.
Запускаешь libretranslate.bat, кажись.
После запуска в SillyTavern вкладка с переводом.
Выбираешь LibreTranslate, жмешь на иконку ссылки, вводишь http://127.0.0.1:5000/translate ну или какой у тебя айпи и порт будут.
Ставишь перевод настройки перевода по вкусу, язык Russian или какой хочешь.
Ну, короче, все очень просто, хотя приходится накатывать сторонний сервис, но я его даже в виртуалку пихать не стал. Как по мне, и так норм.
А вот по всему процессу — сложнее. Я пока с промптом и карточками не определился, выше есть люди которые получше разбираются. Буду пробовать разное, может чего накопаю, можно будет и гайдик оформить.
Заодно, силеру у себя пофикшу на сервачке, чтобы озвучка работала.
> более строгие форматы инструкций использовать
Ну в том и задумка была, пикрел. Получается посредственно какую модель не возьми. Тут, конечно, просто отдельный кусок без контекста, когда чат идет оно лучше справляется, и может поможет, но ошибки в родах-склонениях-падежах наверно никуда не денутся, да и надмозг может случиться.
> Но однозначно лучше либры
Точно?
Попробуй перевести (звездочки курсивом заменит но похуй)
["Ah, home sweet home," her voice dripped with a melancholy that only comes from longing for places left behind. "My little sanctuary lies hidden amongst the labyrinthine alleys of Tokyo's Shibuya district."
She paused briefly to collect her thoughts before continuing.
"It's nothing grand really - just an ordinary flat in an aging high rise building overlooking bustling streets below filled with people hurrying about their lives unaware presence ancient creature dwelling midst them all . Inside walls covered artwork depicting scenes nature inspired by memories forest we used call haven thousand years ago …and yes it does have special room dedicated solely storing tea collection acquired various travels throughout centuries ;). Want to give a try?"]
>Точно?
Либра мне точно не понравилась, это я помню. По датам разогревочных постов можешь увидеть, когда я делал эксременты (да и в тредах отписывался). Либру поднимать лень.
Ладно, тут текст действительно забористый и даже гугл немного тонет в нем. Либра (та что онлайн) хуже нейронки, тут наверно только клода справится. Но такие реплики выдает и они соответствуют образу, на чем-то более простом может быть лучше. Чсх, когда обратно переводит на инглишь - косяки исправляет и текст уже нормальный, правда слог более простой.
Тут нужно делать файнтюн с переводами художки русский-английский, сайгу если что тоже пробовал - ерунда вообще. Немного лучше остальных справляются nous-hermes и годзилла. Но все рано доверять переводить того же ерп все еще нельзя а то обосрешься с
> посылают ознобы по спине
> которое она не чувствовала уже некоторое время
> дышит хриплыми вздохами на вашей шее
> чертит узоры, оставляющие шрамы
> томно вибрирует
Если дать такой русский текст на вход и запросить исправление в нем ошибок, то фиксит от трети до половины родов, но неудачно построенные фразы никуда не деваются. Вообще если сгенерировать несколько переводов то можно черрипикнуть отборные куски и из них составить приличный текст. Можно попробовать такое провернуть, но хз сможет ли модель понять где херь а где норм имея ограниченные познания языка.
В голосину, а это чего такое? Либра что хостится онлайн косячила но вроде не настолько.
>В голосину, а это чего такое?
TheBloke_Stable-Platypus2-13B-GPTQ и --lora lemonilia_limarp-llama2-13B
Как раз пока пробуешь - помнишь и погружен в тему, ты начни а если что тебя поправят.
> Stable-Platypus2
Если без лоры он триггерится на перевод левд активностей? Алсо из 13б для перевода рекомендую stheno-l2 попробовать, в первый раз выдала удивительно приличный результат, но потом пошло лютое фантазирование и сочинение вообще из смежной области, но выглядело складно.
Какой промт карточки?
Я изначально выбрал либру именно потому, что она переводила хорошо. Хуже гугла, но лучше 13Б первой лламы.
А вот вчера она будто поломалась, перевод у меня стал прям ужасненький местами. Не могу понять, почему.
Перевод другой лламой встречал в убабуге, или где он там, но я не осознал профита. Типа, рассуждает лучше на английском, а потом просто переводит на русский как умеет?
По идее, по скорости здорово просаживается. Если уж и юзать перевод, то хотя бы 13Б, а это уже некоторое время. Хм.
Ваще хз, надо сравнивать и думать. Если не забуду, посмотрю завтра, как реализован перевод другой лламой, и насколько это легко прикрутить к таверне.
Кстати, 70Б отлично (кмк) говорит на русском, там и перевода никакого не надо.
Но из-за скорости (отсутствия двух 3090=), я не тестил, каково с ним рпшить, конечно.
А существуют ли бенчмарки ламы на разных ЦП? Хотелось бы сравнить скорость.
>Если без лоры он триггерится на перевод левд активностей?
Не пробовал. Модель вообще первая попавшееся, что висела в настройках убабуги.
>Какой промт карточки?
Сферический ESL в вакууме.
Да, если использовать ту же модель то считай в 2 раза просадка, но уже на среднем железе будет приемлемо, выше 7-10 эффективных токенов в секунду получится.
Скорее проблема в том что используемая для рп модель может быть слаба в переводе. Используя другую нужен будет механизм ее динамической подгрузки (чтобы модель не с диска каждый раз читалась а из дампа в оперативе). Как вариант - делать лору и накладывать на оригинальную модель, но если там будет типичный шизомикс - даже хз что получится.
> 70Б отлично (кмк) говорит на русском
Выше именно с них примеры, только в одной где промт темплейд под визарда его 13б 1.2 версия. Кмк, тринашку хотябы до уровня семидесятки в русском довести можно, а последнюю уже полноценно хорошую речь выдавать.
> Если не забуду, посмотрю завтра, как реализован перевод другой лламой, и насколько это легко прикрутить к таверне
Было бы очень круто, спасибо.
Почему exllama может ругаться на конфиг мифомакса с указанием на декодер? Всё недавно скачанное
> Install and Run секция, например.
Через пип просто вроде нормально запускается, так проще, тем пердолиться с всл и докером.
Вот только что вообще с последней версией угабуги, апи не работает. Уже попробовал переставить и вручную запускать python server.py --api, в чем проблема то?
Как сильно влияет количество кеша L2/3 процессора на скорость выдаваемых токенов в секунду? без видеокарты, чисто на проце и оперативке Например 5700g в сравнении 5700x ?
Посоветуйте лучший чат бот на koboldccp для 18+, использующий не более 13 гигов оперативки.
От себя скажу, что https://huggingface.co/TheBloke/vicuna-13B-v1.5-16K-GGML пока что лучшее, что я смог найти, но может кто то знает чат бота получше для 18+, но такого же адекватного?
Кстати, какую квантализацию вы обычно берёте? Какая самая лучшая по уровню скорости/адекватности ответов?
От себя скажу, что https://huggingface.co/TheBloke/vicuna-13B-v1.5-16K-GGML пока что лучшее, что я смог найти, но может кто то знает чат бота получше для 18+, но такого же адекватного?
Кстати, какую квантализацию вы обычно берёте? Какая самая лучшая по уровню скорости/адекватности ответов?
Не заметил, что они на один и тот же порт по дефолту вешаются, вообщем заработало, перевод самое то под карточку сидоджи из потраченной версии сан андреаса, нету случайно такой где нибудь?
Здарова ЛамаАноны! С полгода где-то не запускал локальные модели, вот решил зайти глянуть что новенького.
Из того что заметил:
Появилась Ллама 2 и куча моделей на её основе нихуя не понятно чем конкретно она лучше но очень интересно
Топ локального кума сейчас похоже занимают Airoboros - Chronoboros - Airochronos с разными модификациями и местами 8к контекста Сразу полез качать airoboros-l2-70b-gpt4-2.0.ggmlv3.q2_K чтобы запустить на своей кофеварке с 32 гигами ОЗУ, всё правильно сделал?
Помимо ggml и gptq явились какие-то GGUF модели, чё это? имеет ли отношение к одноимённому реперу?
Из того что заметил:
Появилась Ллама 2 и куча моделей на её основе нихуя не понятно чем конкретно она лучше но очень интересно
Топ локального кума сейчас похоже занимают Airoboros - Chronoboros - Airochronos с разными модификациями и местами 8к контекста Сразу полез качать airoboros-l2-70b-gpt4-2.0.ggmlv3.q2_K чтобы запустить на своей кофеварке с 32 гигами ОЗУ, всё правильно сделал?
Помимо ggml и gptq явились какие-то GGUF модели, чё это? имеет ли отношение к одноимённому реперу?
GUFF - нигерская версия старых-знакомых моделей, для тех кто любит анал
Аноны, подкиньте хороший промпт для Airoboros 70b.
Как добыть ChimeraAPI? В дискорд не пускает.
>Топ локального кума сейчас похоже занимают Airoboros - Chronoboros - Airochronos с разными модификациями и местами 8к контекста
Эту информацию нужно в следующей шапке закрепить
Никак, кэш у тебя 10-100 мб, модели 2000-50000 мб. =)
Я лично разницы между 16 и 64 кэша не увидел.
> Таким образом, хорошие варианты для первой ламы: Q3_K_M, Q4_K_S, Q5_K_S, ну и Q6_K почти идеал.
Сам выбирай, многие советуют Q5_K_S или M, я юзаю Q6_K, кто-то сидит на Q4_K_S.
GPTQ в 4 бита квантуется.
Взорал! Поищи че-то там про трех нигр, которые обсуждают друг с другом и выдают общий ответ.
Еще Mythomax или
Speechless-Llama2-Hermes-Orca-Platypus-WizardLM и Лоры Кимико или ЛимаРП.
70Б в 32 гига впихнуть можно, но скорость будет… Если у тебя память очень быстрая ddr5, разве что.
gguf — аналог ggml с фишками.
>Я лично разницы между 16 и 64 кэша не увидел.
А тупо количество ядер на скорость решает? Количество потоков уже проверял, разницы особой нет, разве что на долю миллисекунды токена в секунду быстрее, что 5 - что 12 практически один хрен Или может частота ядер важнее?
> не более 13 гигов оперативки
Уууух, это грустно. Но раз у тебя 13б запускалось то норм, https://huggingface.co/TheBloke/Stheno-L2-13B-GGUF после соевой викуньи кайфанешь, мифомакс тоже подойдет. С адекватностью там раз на раз, но в общем случае оно довольно прилично рпшит и без 18+, даже умные вещи выдает.
> какую квантализацию вы обычно берёте? Какая самая лучшая по уровню скорости/адекватности ответов?
Самую большую что устроит тебя по скорости, остановиться есть смысл на q6k.
Ахуенно, Йо йо, большой ледышка, это я, Карл! Холод, холод!
> локального кума
То же что выше написал. Айроборос 2.1 может в кум, но не с такими красочными и откровенными описаниями, он скорее для обычного рп или "общего применения". Но так замес с хроносом все еще может порадовать, если не выработал аллергию на паттерны текста последнего.
> с разными модификациями и местами 8к контекста
Ставишь альфу 3+ и контекст 8к, вот и вся модификация.
> airoboros-l2-70b-gpt4-2.0
2.1 качай, только не креатив, тот что-то не понравился, склонен фантазировать что-то левое и несколько раз ломался, начиная выдавать несвязанные по смыслу слова в конце поста.
> q2_K
Бле, там же от магии ничего не осталось, хотябы 3 бита качни.
Дефолтный ролплей шаблон таверны работает, да он типа под альпаку, но воспринимает. Вообще там по дефолту от викуньи, можешь из него попробовать составить.
> Speechless
И оно норм? Эти странные миксы наводнили пространство, кто-то их субъективно тестит, всеже аюми ерп бенч не совсем про качество.
Основное - псп рам, остальное вторично. При прочих равных офк более быстрые ядра окажутся впереди, но незначительно. Делать векторные операции, упираясь в 2 канала ддр4-ддр5 хватит и 4-6 современных ядер.
Что там за тряска у TheBloke? Ридми и еще что-то во всех моделях перелопатил, перемешав их даты, как теперь ориентироваться.
Где можно почитать про разные лоадеры? Из так много и непонятно какой лучше для чего
В шапке же всё. Для проца кобольдЦп, для видяхи вебуи с ExLlama.
> ExLlama
У меня она не завелась
Там недавно Мифалион вышел, микс Мифомакса и второй пигмы. TheBloke уже квантизировал: https://huggingface.co/TheBloke/Mythalion-13B-GGUF
Одна Exllama чтобы править GPTQ и одна Llamacpp чтобы править ggml/gguf. Больше ничего не нужно, чтобы использовать все настройки семплера выбирай конфиг где HF на конце. В целом по ощущениям более жирные кванты ggml/gguf дают лучший результат чем 4бита gptq, так при наличии 16+гб врам для 13б моделей можно отказаться от экслламы, просадка по скорости в 2 раза сильно не огорчит, ибо всеравно быстро.
Если с убабугой не дружишь или лламац++ почему-то не работает - koboldcpp, все в одном и некоторые настройки упрощены.
Модель гитом качал? Что за ошибка
Вечером точную цитату скину, качал в рамках автоматической установки вебуи. Ругался на то, что что-то там не так с декодером json
> второй пигмы
Хуясе ебать, срочно качаем и тестируем
Скорость памяти решает.
Я тестил, после 5 потоков скорость растет очень медленно. Это для 3200 частоты в два канала.
ddr5 хорошей у меня нет, да и гнать мне лениво.
> Эти странные миксы
советовали выше с Кимико лорой. Я вчера тока скачать успел, потом коммит в таверну сделал — и спать.
Потестить не успел, к сожалению, да и седня на работе проебываюсь, а не делом занимаюсь, поэтому хз, если честно. =) Я не люблю миксы, но сверху прям советовали активно. Попробовать стоит, я думаю.
У, хорош! Плюс к тестам.
> просадка по скорости в 2 раза
Шо ж у тебя там за видюха такая. =)
Или память.
У меня раз в 6 просадка, меня подогорчает.
По итогу-то все упирается в нижнюю скорость, а не в размер просадки. Мне не оч комфортно на проце 13Б. Ну да об этом выше писали уже.
Ну, ты скачал все, шо там было? Всякие файлики помимо model.safetensors тоже? И все в одной отдельной папке? :)
Да, как ты, как я понимаю, гит клоном репки. То есть он читает config.json, но что-то ему там не нравится
Оу, тады я хз, не подскажу сходу.
Мне всегда помогало актуализировать гит и все. Обычно просто какого-то файла не хватало.
Но если в статусе Already up-to-date, то не знаю. =с
лама код ща как запустить?
13B должна запускаться на стандартных инструментах.
> стандартных инструментах
Это которые в шапке?
а на 100 гб озу какую можно запустить?
> советовали выше с Кимико лорой
Всмысле просто на голую лламу2 ее? Или накладывать еще раз поверх миксов? Она уже внутри них есть в последних.
> Шо ж у тебя там за видюха такая
Как у всех ада лавлейс на 24 гига х2, все слои на карточке, вместо 70+ токенов в экслламе 30-40 в llamacpp. По мониторингу отжирает ~13гб врам, с увеличением контекста офк растет. В принципе если скинуть несколько слоев то влезет и в 12, но просадка будет больше. Качать же более легкий квант - выигрыша над gptq не будет, там exllama ванлав.
Если качал давно то отдельно перекачай конфиг или прогугли ошибку. Там были неверные значения и блок их правил что видно по дате обновления в репе.
Любую квантованную.
Вчера качал, ошибку прогуглил, нашёл только обсуждение в какой-то здоровой модели, где всё свелось к тому, что "я обновил и всё заработало"
70Б, чому бы и ни.
Прост медленно.
Не, в смысле берешь этот ебучий микс, который начинается с Спичлесс, сверху кимико.
Как я понял.
А, ты про оффлод, тады понял. Да, я не подумал, что можно просто ггмл/ггуф более высоко квантованный оффлодить, и скорость, и качество, где-то между.
Вторая Пигма говно как и первая, ответы короткие и в стиле "да, ты меня ебёшь", у них всё так же обоссаный датасет. А вот Мифолион неплох. Выдаёт меньше простыней чем Мифомакс, но побольше креатива чем Пигма.
Как пользоваться расширением superbooga?
Там это, сетку на 180 лярдов параметров выпустили.
>Spread Your Legs: Falcon 180B is here
https://huggingface.co/blog/falcon-180b
>Spread Your Legs: Falcon 180B is here
https://huggingface.co/blog/falcon-180b
После того, как запустил этот ваш Мифалион и попробовал как обычно пообщаться со своими персонажами:
>Через ноутбук убабуги делаешь?
Через таверну. Но я печатаю конечный промпт в консоль, чтобы не было сюрпризов.
>Там еще довольно важны ньюлайны, вплоть до того что они определяют больше чем порядок инструкций, по крайней мере так упоминали.
Спасибо, добавил.
>Конфигурацию где 2 штуки ### Instruction пробовал? Так иногда делали настраивая таверну.
Я много чего перепробовал и пришел к выводу, что 13b модели просто тупые до невозможности.
>Ну и главный вопрос - на какой модели тестируешь?
Разные 13b - mythomax, stheno.
>Какого рода инструкции? Персоналити и характер очень сильно влияет, пикрел становится если заменить
Характер влияет, но вот механики не работают, или работают очень плохо. Например вот такая карточка вообще нихуя не работает: https://chub.ai/characters/LewdAmI/magic-marker
Так же не работают и более простые директивы сюжета, например как тут в конце карточки: https://chub.ai/characters/Anonymous/Reiko
>Попробуй, если будет результат - отпиши.
Что за персонаж?
>The Belobog Academy has discovered a new, invasive species of algae that can double itself in one day, and in 30 days fills a whole reservoir — contaminating the water supply. How many days would it take for the algae to fill half of the reservoir?
Правильный ответ дала с третьего раза. Но хотя бы дала, лол. Объяснила правильно, но с формулой обосралась.
>If we know that the algae doubles itself each day and that in $30$ days it can fill the entire reservoir, then it must be true that in $29$ days the algae will only be able to fill half of the reservoir because $\frac{1}{2} = 2^{-1}$, which means the algae needs to double once more to reach full size.
На русском, с 13б англоязычной сеткой. Я даже не знаю кто тупее - ты или эта пигма.
На каком блядь русском? Не видно что я перевёл всё с английского?
>На русском, с 13б англоязычной сеткой
>Я даже не знаю кто тупее
Ты
Скажу, что ты всё ещё тупой.
Эх жаль, но всеравно надо потестировать, ведь 6б для своего времени была ничего, а 7-13б первой лламы несколько провальные.
> Но я печатаю конечный промпт в консоль
Ээ, так в консоль можно печатать? Или ты имеешь ввиду в само текстовое поле? Поиграться с форматом там можно в настройках, Last Output Sequence и около того. Покажи
> просто тупые до невозможности
> mythomax, stheno
Они не лучший пример для тестирования работы инструкций, можешь ради рофла заставить их что-то перевести или обобщить - такую дичь могут насочинять, а потом сравни с нормальными файнтюнами. Но если ты именно для (е)рп целей тестишь то норм, но тогда для советов по стилю и около того хорошо работает
> ### Response (2 paragraphs, engaging, natural, authentic, descriptive, creative)
а направление развития сюжета делается через (ooc: ) если уж модель совсем не догоняет намеков.
> механики не работают, или работают очень плохо. Например вот такая карточка
Ага, что-то сложное с 13б уже увы, особенно где пишут жпт4 рекомендед, могут помочь примеры диалогов где это реализовано.
> например как тут в конце карточки
А вот их в авторз ноут поближе к ответу перенести если то сразу заработают. Но вообще обычно такое всеже и из карточки работает, может дело в количестве условий, хз.
> Что за персонаж?
?
> Покажи
Покажи что получается в итоге по формату и если есть то примеры как слушается/не слушается если нашел как лучше.
>Ээ, так в консоль можно печатать?
Включи "Log prompts to console" - будет печатать финальный промпт в консоль браузера. Очень удобно для настройки и отладки.
>Но если ты именно для (е)рп целей тестишь то норм, но тогда для советов по стилю и около того хорошо работает
>а направление развития сюжета делается через (ooc: ) если уж модель совсем не догоняет намеков.
>Ага, что-то сложное с 13б уже увы, особенно где пишут жпт4 рекомендед, могут помочь примеры диалогов где это реализовано.
Ну а для чего же еще, конечно для ерп. Как я понял, простенькие механики можно заставить работать, но нужно несколько примеров, или подредактировать два-три первых поста. Про что-то сложное на локальных моделях пока остается только забыть.
>?
Я про Акву у тебя в посте. Не нашел именно эту версию на чубе.
> будет печатать финальный промпт в консоль браузера
Хм, смотрю его в консоле от запуска, но так может быть даже удобнее.
> Я про Акву у тебя в посте
Это еще из старой таверны, по дефолту были Аква, Мегумин и Даркнесс https://files.catbox.moe/ytbyyh.png
> Например вот такая карточка вообще нихуя не работает: https://chub.ai/characters/LewdAmI/magic-marker
Там вообще конкретное шаманство и даже свой джейлбрик промт со спецификой карточки, его надо бы тоже добавить, но хз куда.
Как она должна работать? Пикрел пример с лламой70, вроде адекватно, механику воспринимает, указаний слушается. Еще выдает конкретно курсед имперсонейты пикрел.
>Покажи что получается в итоге по формату и если есть то примеры как слушается/не слушается если нашел как лучше.
Промпт постоянно меняю. Сейчас по сути стандартный формат Alpaca только в конце к response добавил (2 paragraphs, engaging, natural, authentic, descriptive, creative, avoid narrating {{user}}'s actions). Прикрил - пример как должно работать. Заметил что манипулировать началом сообщения гораздо проще, и в случае чего можно сразу заметить и отредактировать или перегенерить.
>Хм, смотрю его в консоле от запуска, но так может быть даже удобнее.
Ну да, удобнее. В консоли тоже можно, то тогда придется как минимум уменьшать шрифт.
>Пикрел пример с лламой70, вроде адекватно, механику воспринимает, указаний слушается.
Не работает у тебя. Оно должно писать все статусы в конце ответа. Например, на пикриле у меня наконец получилось заставить работать мифомакс.
> Не работает у тебя
Ну как не работает, не пишет то что должно в конце. Чекнул еще раз - оно появилось. Тут главное чтобы было в первом посте и потом повторилось, после стоит довольно устойчиво, если только сообщение не обрывается по контексту. Не лишним будет офк внести в системный промт, с авторзнотами норм тема у тебя, это по сути автор карточки и сам говорит сделать.
Вот пикрел на Stheno-L2 (без доп промта) если один-два раза ее подкорректировать в начале или свайпнуть пока не появится то эффект сохраняется, только изредка пропускает. Но, конечно, сложно на ней подобное делать, так и пытается шизой увести куда-то в сторону и приходится свайпать, причем это с температурой 0.5. Ей бы действительно интеллекта добавить, с красочностью описаний все хорошо.
Уже смотрели?
https://easywithai.com/resources/stable-beluga-2/
Есть веб
https://chat.stability.ai/chat
https://easywithai.com/resources/stable-beluga-2/
Есть веб
https://chat.stability.ai/chat
>This LLM is currently leading the chart on Hugging Face’s Open LLM Leaderboard
Вижу это заявление уже второй раз за сегодня. ИЧСХ, в лидерах нет обоих.
Ну и стабилити аи отличаются весьма высокой соевостью, это я могу сказать даже без запуска модели, чтения паперов и прочей требухи.
>обоих
Все ламы задрочены на TruthfulQA, которое среднюю оценку сильно задирает (и как метрика это хуита кстати). Смотреть надо на остальные три метрики.
> Вижу это заявление уже второй раз за сегодня
> about 2 months ago
И уже появлялись файнтюны что ее по бенчам обходили.
OpenBuddy смог, косяков меньше всех, нет "лабиринтных улиц" и смысл передан верно. Слушается пожеланиям по стилю для русского, хороший мультиязычный файнтюн. Если из дефолтного промта убрать про сою то без проблем переводит все, но качество может уплыть.
Смотрели. Оно весьма тупое и соевое, нахуй.
появилась новая модель, мердж из нескольких лор и некой приватной "Undi95/ReMM-S-Light (base/private)"
https://huggingface.co/Undi95/MLewd-L2-13B-v2-1-GGUF
уже протестил, работает отлично с настройками как на пике, разумеется ласт пулл ST, и температура 0.59 или 0.71, по выбору.
https://huggingface.co/Undi95/MLewd-L2-13B-v2-1-GGUF
уже протестил, работает отлично с настройками как на пике, разумеется ласт пулл ST, и температура 0.59 или 0.71, по выбору.
Ух бля, вот это она сюжеты мне заворачивает, вот это я понимаю...
покеж че пишет то хоть. Насколько умна и сколько персов может тащить. Лучше ли чем например stehno?
Оставлю отзыв лично от себя:
Тупее и нелогичнее топовой - разумистской https://huggingface.co/TheBloke/Mythalion-13B-GGUF , но зато более "живая" и от неё попахивает старым добрым character.ai в первые месяцы его выхода, до окончательной кастрации и даунгрейда создателями, хотя опять же, лично я, использовал самую маленькую версию MLewd-L2-13B-v2-1.q4_K_S. Возможно версии побольше будет лучше. Я бы эту модель точно в свой топ 3 добавил.
Попробовал переустановить и заработало. Ох уж этот питон.... Есть ли возможность добиться производительности экслламы на ггуф/ггмл моделях?
о Mythalion-13B-GGUF вообще инфы нет. трудно сказать как она умна. Пока что умной мне показалась только stehno. Но ее тоже нет в рейтинге Ayumi так что плохо,что рейт уже недостоверен.
Аноны, это чё значит?
(Note: Sub-optimal sampler_order detected. You may have reduced quality. Recommended sampler values are [6,0,1,3,4,2,5]. This message will only show once per session.)
(Note: Sub-optimal sampler_order detected. You may have reduced quality. Recommended sampler values are [6,0,1,3,4,2,5]. This message will only show once per session.)
>Обнаружен неоптимальный sampler_order. Возможно у вас снизилось качество. Рекомендуемые значения пробоотборника
Настрой.
>stehno
ну хз, я попробовал эту stehno и не был особо впечатлён. Та же https://huggingface.co/TheBloke/Mythalion-13B-GGUF превосходит её в логике и адекватности, и та же https://huggingface.co/Undi95/MLewd-L2-13B-v2-1-GGUF превосходит её в написании 18+ контента советую кстати её попробовать, сам убедишься.
ой блин, https://huggingface.co/TheBloke/vicuna-13B-v1.5-16K-GGML по логике и адекватности обходит, перепутал.
Млюда гптк нет ещё?
Без понятия что это
MLewd-L2-13B-v2 в формате GPTQ
Не знаю, сам узнал об этой модели от другого анона в этом же треде выше, сижу на 5600g без видюхи так что даже не искал. Просто вбей сам в поисковую строку на сайте название этой модели и он все существующие версии тебе покажет.
Она пиздец соя соей для общих вопросов, или может в рп хотябы с обнимашками но пониманием и правильной подачей сеттинга? О прошлой викунье отзывались плохо.
Исходная модель у автора выложена, стоит у TheBloke подождать. В крайнем случае на гпу оффлоади слои, тоже быстро будет.
Там новый хронос на 70б подъехал https://huggingface.co/TheBloke/Chronos-70B-v2-GPTQ не указали как тренилась, полноценно или лорой, требует выставления unban tokens. Кстати уже в которой раз благодарности "Pygmalion team" за предоставление мощностей.
Ну и для очень терпеливых, можно прикоснуться к https://huggingface.co/TheBloke/Falcon-180B-Chat-GGUF
>Она пиздец соя соей для общих вопросов
Не знаю, но лично эта версия офигенно адекватно продвигала мои истории, без потери смыслов или путанья персонажей и кто кому приходится. Сцены 18+ описывала сухо, но я её полюбил именно за адекватность и правильность выстраивания логических цепочек.
Я давно уже не обшался с персонажами 1 на 1, обычно я несколько персонажей сразу же прописывал в описании персонажа + окружающий мир. Возможно, если бы я общался с персонажем 1 на 1 и начал говорить про то что женщины слабее мужчин и что без негров в Омерике было бы безопаснее жить нормальным, белым людям, а в ответ слышать "фи~ эта амаральна, я асуждаю, я за талерантность и феминизм", то согласился бы с тобой, а так, я этого ни разу не заметил вообще, так что лично для меня она очень годная, но без изюминки модель, сейчас я пересел на https://huggingface.co/Undi95/MLewd-L2-13B-v2-1-GGUF и мне норм, хоть порой и приходится свайпать варианты ответов, чего с https://huggingface.co/TheBloke/vicuna-13B-v1.5-16K-GGML практически ни разу не было.
Спасибо, попробуем. А насчет
> без негров в Омерике было бы безопаснее жить нормальным, белым людям, а в ответ слышать "фи~ эта амаральна
еще давно на 1й лламе в простой карточке где грустный бездомный персонаж приходит к тебе с расчетом что приютишь, на вопрос "как тебе удавалось выжить на улице" выдала не слезодавилку или что-то интересное, а каноничную тирраду о том как систематическое угнетение женщин и существ других видов создает проблемы в этом фентезийном мире и что я должен проявить уважение и переключиться на какой-нибудь еще вопрос. Это было настолько вразрез сеттинга и контекста что заставило знатно подахуеть, при том что до этого десяток постов были в тему. С тех пор на модели с соей аллергия, ведь она руинит общее восприятие ситуации.
Какие настройки таверны для викнья формата промта?
>Ну и для очень терпеливых, можно прикоснуться к https://huggingface.co/TheBloke/Falcon-180B-Chat-GGUF
Когда даже 128 гиг становится мало. Купить что ли 2 планки по 48 гиг да помолится, чтобы 6000 МГц потянуло? Впрочем по тестовому чату не впечатлило. Соей отдаёт.
Да я на стандартных, те что по дефолту юзал, разве что экспериментировал с количеством контекста, из-за 16 гигов оперативки
Небинарные (лол) модули на 48 уже есть скоростные. А если хочешь вдобавок к тем что уже стоят - не взлетит скорее всего. Ради одной модели на невероятно низкой скорости - не стоит того. А соевым еще 40б фалкон был, при этом еще довольно глупеньким.
По чату смешанное будто накосячили с системным промтом. Сообщает что имеет доступ в интернет, но тут же переобувается, предлагает суммаризировать веб страницу - но на собственную ссылку обниморды выдает ассициацию с древней версией трансформерс, иногда на нейтральные вопросы "аз аи модель ай". На великом-могучем говорит неплохо, ошибок немного. Легко ломается, но возможно это вина настройки обрезки длины контекста в вебморде.
Стандартные разные, ролплей шаблон? Или дефолт с темплейтом на викунью?
А я же говорил, что RAM - это хуйня, ибо сетки будут расти и расти. Надо делать RAID-0 из 4.0 ссд-шек. Достаточно 4 ссд, чтобы забить пропускную способность 16 линий видюхи. Можно и с двумя гонять.
> Достаточно 4 ссд, чтобы забить пропускную способность 16 линий видюхи
Думаешь что это даст тот же перфоманс что и аналогичный объем рам? Увы, это не так работает.
В любом случае запускать подобное даже на "сборках для энтузиастов" можно будет еще не скоро, минимум пара А100.
>А если хочешь вдобавок к тем что уже стоят - не взлетит скорее всего.
А иначе никак, 2 по 48 дают 96, а надо за 130. Так что только добавлять к моим 2х32.
Жду модулей на 64/128 и пофикшенных процессоров, с контроллерами, которые тянут 4 плашки. А то хуйня какая-то, 4 слота есть, а вставлять в них по сути ничего нельзя, иначе тыква JEDEC.
>Достаточно 4 ссд, чтобы забить пропускную способность 16 линий видюхи
Во первых нет, во вторых псина сосёт с проглотом даже у рамы, шутка ли, 31,5 ГБ/с у псины против 80+ у DDR5. Смысла гонять модель по шине ровно ноль, разве что с большими батчами, но кому надо 64 реролла на вопрос "Я тебя ебу".
>В любом случае запускать подобное даже на "сборках для энтузиастов" можно будет еще не скоро
Если в оперативной, то хоть сейчас, но скорости будут минут 10 на ответ.
> а надо за 130
Да забей, тут еще 70б потанцевал не раскрыли (хотя файнтюны лорой опережают фалкона даже с отсеиванием QA), а тут такого размера модель, что сразу отсеивает огромное число потенциальных пользователей и тех кто внесет вклад из-за требований.
> Жду модулей на 64/128 и пофикшенных процессоров, с контроллерами, которые тянут 4 плашки
+, но там еще и в материнках дело, есть сообщения о разгоне до 6800 с четырьмя на каком-то асусе с каштом биосом.
> но скорости будут минут 10 на ответ
Анюзебл. Вот, кстати, если бы hedt направление не похоронили то на разосранных четырех каналах ддр5 с одной видюхой можно было бы вполне комфортно 70б крутить.
Сап, объясните как работает переладывание слоёв между рам и врам? У меня 8гб врам и 64 рам. Интерфейс убагуба, сетка мифимакс 13б - квант4 размер 6 гб.
Если засунуть все слои на врам, то получаю вылет по памяти. Видимо не хватает на контекст или ещё на что-то. Хз
Если ставлю только половину слоев на врам, то работает, но очень медленно.
Если закидыаю все 100% слове на рам, то работает сильно быстрее.
Почему так?
Если засунуть все слои на врам, то получаю вылет по памяти. Видимо не хватает на контекст или ещё на что-то. Хз
Если ставлю только половину слоев на врам, то работает, но очень медленно.
Если закидыаю все 100% слове на рам, то работает сильно быстрее.
Почему так?
>Стандартные разные, ролплей шаблон? Или дефолт с темплейтом на викунью?
Что бы проще было понять на каких настройках я запускал: Скачиваешь заново SillyTavern > затем скачиваешь эту модель > запускаешь.
Возможно, если бы я игрался с настойками результат был бы лучше, но я не хотел во всём этом разбираться.
Вот сейчас с MLewd-L2-13B-v2-1-GGUF стал немного править настройки, так что скинуть скрины с точными настройками какие были не могу, просто знаю что дефолтные были.
А что это по твоему? Это жпт-4 через апи.
https://www.reddit.com/r/LocalLLaMA/comments/16cdze5/openchat_32_super_is_here/
Моделька, которая включает в себя вторую ламу и визард 1.2, кто-нибудь тестил?
Моделька, которая включает в себя вторую ламу и визард 1.2, кто-нибудь тестил?
Удаляйте тред ламы и создавайте тред фалькона.
Сначала подумал, что викуна цензурит так, а потом как понял...
Нахуя? Его за все 16 тредов никто не запускал кроме как на саете.
А я блять говорил что викунья ахуенна! Вот поэтому я её и люблю.
Ненужен. По соотношению размер/качество сильно уступает даже ванильной лламе 2. Тем более такие размеры нахуй не нужны, он в лучшем случае на уровне 70В.
Ну кстати для чистого теста есть фалькон 40B, его можно сравнивать с ллама на 30B, и посмотреть, как фалькон заглатывает.
Уже тестили, он вялый и соевый. Если что кванты на обниморде лежат, есть даже анцензоред файнтюны.
Он хуже 13В ламы 2. 160В версия едва ли будет лучше 70В ламы.
Кстати, прямо сейчас проверил vicuna-13b-v1.5-16k.Q4_K_M.gguf и знатно офигел, поскольку она так же провалила тест! Но! Я вначале решил что просто 13b версии похоже недоступно такое понимание вещей, но ради интереса решил скачать чуть менее сжатую версию vicuna-13b-v1.5-16k.Q5_K_M.gguf и она, мать вашу, всё прекрасно поняла! Вот что значит экономить на оперативке почаны! Кочайте минимум Q5_K_M и не жалейте оперативки!
Для сравнения, два варианта ответа, первый с чуть более ужатой версией Q4_K_M, вторая с Q5_K_M
>фотографию утки
Она не знает...
А вообще, поведение всё равно неадекватное, ждём дальше.
Эх, ладно-ладно, признаю, немного проебался, через раз бывают такие косяки, но всё равно заметно лучше, чем в версии Q4_K_M
Это еще будет зависеть от семплера, контекста (нафантазирует что раз бессмертная богиня - значит ей это не страшно или потеря глаз не навредит ее восприятию, пикрел) и простого рандома, насвайпать можно разное.
> 13b версии похоже недоступно такое понимание вещей
Зря, нормальная 13б уже может в ризонинг, у кумерских миксов просто уровень шизы увода в разнообразие высок для создания красочных описаний
> Q5_K_M и не жалейте оперативки
Но ты таки набери статистику, а то может просто свайпы удачно сложились.
Но таки от модели зависимость есть, на жирной хитрит, читерит, подглядывает, художественно угадывает или магию кастует, но условия не нарушает. Но самое главное нет winks, знатно обзмеился когда перечитал.
Решил нанять себе адвоката, что бы разоблачить эту дрянь
Тут один анон давал идею RAID0 из сосоди вместо рама. А это хоть в теории возможно? Так чтобы скорость была не ниже.
>Если засунуть все слои на врам, то получаю вылет по памяти.
Ну так ты следи чтобы хоть 2 гига vram оставалось свободно.
>Если ставлю только половину слоев на врам, то работает, но очень медленно.
Потому что памяти не хватает и задействуется файл подкачки, естественно скорость будет архимедленная.
Вообще чтобы понять все перечисленное достаточно залезть в диспетчер задач>производительность и проследить что у тебя происходит при загрузке и генерации.
Нужно четыре 4.0 ссд, чтобы сравнять скорость загрузки в VRAM (т.к. видюха подключена через x16 4.0, а один ссд - x4).
У consumer матерей и процей можно поставить 3: 1 cpu-шный, 2 чипсетных - на h670/z690 матерях, у них DMI x8 к процу, у b660 - x4.
То бишь можно получить до 24гб/сек чтение на x12.
Но если ты на проце вычисляешь, то тут уже это серьезное падение, т.к. проц не долбится в x16 псину как видюха и работает напрямую с RAM, что есть ~50гб/сек для DDR4 и ~100гб/сек для DDR5.
> Акватория
Проорал в голос, потом обзмеился с аромата хлеба и шальной пули. Это какая модель? Алсо со сложными концептами типа смерти с продолжением или трансцендентной дичи типа "delete from existence" и гопота/клода не очень то справляются.
В теории да. Условно говоря потребуется рейд контроллер, который вместит в себя кучку быстрых серверных U2 ssd (обычные использовать нет смысла, только серверные чтобы скорость записи не зависела от наличия slc кэша) и будет работать по pci-e x16 5.0, ну и драйвера под него чтобы система могла видеть. Настраивается оффлоад на этот диск и работа. Или без контроллера переписывать код чтобы он сегментировал данные на отдельные диски, а их подключать уже в имеющиеся линии. Вот только получится дорогая сложная еболда со скоростями сравнимыми или ниже чем у двух каналов ддр5, и главное - с несравнимо большим относитмельно рам временем отклика, что может сильно сказаться на скорости.
И главное - зачем? Нужна огромная псп и минимальные задержки, чтобы более менее шустро бегало нужно хотя бы 500гб/с, вполовину меньше чем у врам 4090 или 3 чем у А100.
В llamacpp или кобольде сетка делится пополам, часть обрабатывает видеокарта, часть процессор. В autogptq все остается на видюхе, но врам "выгружается" (емнип, может и пизжу).
> У меня 8гб врам и 64 рам
Используй llamacpp и соответствующий формат кванта и регулируй количество слоев, что обрабатываются гпу, самый верхний ползунок. Подбирай так чтобы врам заполнялась как можно больше но оставалась свободная, иначе получишь выгрузку в рам драйвером и сильно замедлится.
> чтобы сравнять скорость загрузки в VRAM
Зачем? По шине будут гоняться только результаты расчета что передаются между слоями, а не основные веса и промежуточные результаты, к которым обращается цп/гпу в ходе расчетов.
Какие мощности нужны, чтобы вот такие разговоры вести? Обязательно видеокарта нужна?
>Обязательно видеокарта нужна?
Видеокарта нужна только для скорости. Любую модель можно запустить на кофеварке, вот только на кофеварке ты будешь ждать ответа 24 часа, а на А100 2 секунды.
>потребуется рейд контроллер
Делается софтверный raid, это очень просто. Да и даже raid не нужен, можно код чутка изменить, чтобы он параллельно с ссдх читал. И на задержку пох абсолютно, читаются гигабайты весов последовательно.
Этот варик подходит для медленного, но верного исполнения, естественно он не сравнится по скорости с прокачкой внутри видюхи. Но если выложат терабайтовую сетку, например, а это вангую будет в ближайшем году, ты ее сможешь вычислить без серьезных вложений.
На алике 7гб/сек 4.0 ссд стоит 2400руб.
Нет, это всё на проце работает и оперативной памяти. Лично у меня просто Ryzen 5600g и 16 гигов оперативки ddr4
вот эта модель https://huggingface.co/TheBloke/vicuna-13B-v1.5-16K-GGML (vicuna-13b-v1.5-16k.Q5_K_M.gguf)
> И на задержку пох абсолютно, читаются гигабайты весов последовательно.
Веса то последовательно, а все остальное довольно таки нелинейно. Не, вообще можно сделать чтобы модель подгружалась в рам послойно, храня между перегрузками только активации, если так хочется расход уменьшить. Это относительно несложно реализовать и к времени расчета токена добавит (размер модели/скорость чтения с ссд). Если не жадничать и иметь буфер из подгруженных слоев, делая загрузку новых асинхронной то может не так хуево будет. Стоит в этом направлении думать, если офк уже не реализовано.
А сколько есть? Хронос 70 пробовал?
Попробовал провернуть тоже самое на модели созданной для кума https://huggingface.co/Undi95/MLewd-L2-13B-v2-2-GGUF (MLewd-L2-13B-v2-2.q4_K_S.gguf)
>А сколько есть?
1 и менее t/s.
>Хронос 70 пробовал?
Не, у меня нет под неё видюхи, пока только на ЦП, ну или на видюхе которые в 10 Гб влезут. Решил пока подождать 5090, но и она уже не удовлетворяет потребностей, мало памяти...
Я попытался запустить модель 22B на 16РАМ и 6ВРАМ, вышло так себе
Да что ты все с этим vram паришься? Пошёл бы лучше с нами, на проце с оперативкой вместе кумить
Вот как с обедов накоплю на 64Гб так сразу!
Core i5 9300H
Да не я так чисто лулзов ради. У меня 13B модели GPTQ и то быстрее работают чем через проц, хотя и на пару т/c.
А вообще, кто-нибудь понимает что этот чел пишет?
https://github.com/ggerganov/llama.cpp/discussions/638#discussioncomment-5492916
Типа 30B модель влезла в 5Gb память?
> i5 9300H
Не ну тут ЦП совсем дохлый. Переходи на десктоп.
> псина сосёт с проглотом даже у рамы
Этот господин глаголит истину.
Рам-то можно нахуярить, ссд выйдут дороже гораздо, чем рам.
Но хули толку-то, если у тебя скорость будет мизерная (а в сдд — ваще в нулину).
> минут 10 на ответ
А тут господин рофлит, минут 30 на ддр5.
Дядя, ты о чем. Какое х16, на что оно тебе в видеокарте.
Загрузка модели в VRAM нам нафиг не сдалась, хоть по одной линии грузи. Инфы, которой он обменивается, там мизер. У тебя все считается внутри самой видяхи, не выходя через шину толком.
Там скорости гораздо выше x16 4.0, и никакой рейд и близко не доберется, я хз, зачем ты это вообще пишешь. =) Типа, сама мысль ясна, но предисловие вообще лишнее.
А для того, чтобы сравнять скорость, просто ткни Quad NVMe PCIe Card с 4 дисками и все, не? 12 линий, чипсет, проц… Зачем, если есть https://www.ixbt.com/news/2023/02/20/ssd-pcie-5-0-pcie-asrock-blazing-quad-m-2-card.html Держи, дарю название. =) И будет у тебя аж 63 ГБ/сек.
Что все равно в лучшем случае выше ддр4 на чуть-чуть.
По сути, да, тыкать рейды ради нейросеток — это супердорого и медленнее, чем на оперативе, по итогу.
Теоретическая идея запуска огромных моделей понятна, но с такой скоростью оно нафиг не сдалось, конечно.
> дорогая сложная еболда со скоростями сравнимыми или ниже чем у двух каналов ддр5
*сравнимыми или чуть выше ддр4, получается
> На алике 7гб/сек 4.0 ссд стоит 2400руб.
Итго 20 ГБ/сек на 12 линиях, как считали выше? Зато за 7500 рублей?
И на скоростях ниже DDR3 в двухканале? :)
> ты ее сможешь вычислить без серьезных вложений.
И ответ ждать будешь приблизительно 3 часа.
Норм план.
Не-не, поймите правильно, хлопцы, применения можно найти под любой инструмент, и для огромной и медленной модели применение найти довольно-таки просто! И с самой оценкой, что через годик нам вывалят терабайтные модельки, я не спорю — вполне может быть и так.
Но для простого общения такие модели-на-дисках не подойдут. Будет супердорого и довольно медленно. Скорее задавать сложные вопросы, задавать задачи написать какой-либо текст за день-два, ну и подобное. Там заебись. А онлайн-общение на такой штуке не пойдет.
У нас тут 70Б для общения не сильно подходит, у кого-то 2 токена выдает в лучшем случае на разогнанной ддр5. А на трех дисках с алика будет вам ваши 0,2 токена/сек, и живите с этим. А с терабайтными размерами…
Да, оптимизации архитектуры запросов, я согласен. Но, боюсь, что все равно все упрется в скорость чтения.
> Макс. пропускная способность41.8 ГБ/c
Да ладно, норм проц, так-то. =) Лучше ссд с алика по псп, ддр4-2666 тянет.
8 потоков, вполне себе может сидеть.
MLewd-L2-13B q5 k_m тест на ослепление пройден.
Вот эта модель https://huggingface.co/Undi95/MLewd-L2-13B-v2-1-GGUF
Насчёт настроек не ебу сколько тут должно быть контекста. хер проссышь
Вот эта модель https://huggingface.co/Undi95/MLewd-L2-13B-v2-1-GGUF
Насчёт настроек не ебу сколько тут должно быть контекста. хер проссышь
Аноны с i9 есть? Сколько у вас t\s на лама2 70b?
Альфу поднимать на 0.5-единицу на каждые 2к контекста сверх 4к, иначе по превышению 4к поломается. Точные значения хз, 3 с 8к и 5 с 12к работают норм, но чем ниже будет альфа до поломки тем лучше окажется качество.
i9-13900k, DDR5-6400. Чуть больше 2 t/s не считая обработки промпта. С обработкой совсем печально. Вообще, оно больше зависит от пропускной способности памяти, а не от процессора.
А проц под сотку нагружен при генерации?
ого, спасибо за инфу анон
>А проц под сотку нагружен при генерации?
И да, и нет. Когда идет упор в память, то винда все равно будет писать 100% нагрузку на процессор. На самом же деле, надо смотреть на тепловыделение (которое не доходит даже до половины того, что я получаю при сильной нагрузке на процессор) и производительность (которая одинаковая при 32 и 4-8 потоках).
Спасибо.
Короче насколько понимаю вся надежда на объёмные видюхи по вменяемым ценам. Только тут придется ждать как минимум 6090, или брать 2шт. 5090...
Это чисто на проце? Примерно такую скорость, может чуть больше выдавало на проце + видюхе. А какой квант и порядок/настройки семплеров?
Под 70б хватит даже ампера
>хватит даже ампера
Как, если там требуется 60+ памяти?
Самый жирный квант gptq 4bit что на 32 группы 70b влезает в 48 и еще остается места под ~10к контекста. С 64 группами влезает и 16к.
6400 в двухканале, т.е. 12800?
А какой параметр скорости чтения в тесте?
Я как раз писал про 2 токена на ддр5 выше, и тут ты. =D
Нагрузить можно, но толку будет очень мало.
Прирост после определенного уровня почти незаметен, а ядра у него и так мощные, чтобы все это обсчитывать.
Ну, все упирается в память, и пока что слухов о ddr6 или каком-нибудь четырехканале ddr5 на потребительских платах я не слышал.
А насчет видях, смотри, там не обязательно брать топовые — важно брать много памяти. Какая-нибудь 4060 ti с 16 гигами три раза уже может дать тебе относительно неплохую скорость (выше 2 токенов=), при этом, стоить будет плюс-минус норм.
Ну или поискать бу теслы, или версии под майнинг 20хх или 30хх. Там по цене можно еще подужаться, сохранив 48+ гигов.
Да, скорость будет ниже, чем у 5090, но и цена ниже. =)
Короче — альтернатива есть.
А у меня не прошла, хотя я запускал q6_K
Хотя, я тот кун у которого 16ram и 6vram, могло из-за этого качество дропнуть?
>Это чисто на проце? Примерно такую скорость, может чуть больше выдавало на проце + видюхе. А какой квант и порядок/настройки семплеров?
А, нет. Забыл, что половина слоев обрабатывается на 4090. Чисто на проце будет еще медленее.
>6400 в двухканале, т.е. 12800?
>А какой параметр скорости чтения в тесте?
Да. Скорость где-то 100ГБ/с.
А с какими параметрами вы кобольд запускаете? Что дает --unbantokens? Юзать его или нет?
Прошлый раз пробовал GPTQ 13б когда они появились только, на 8gb VRAM с выгрузкой слоев, оно еле ползало и вылетало. Сейчас попробовал GGUF 13б и оно летает 5т/с.
>оно летает 5т/с.
Летает это 50, лол.
Настройки самой тавернв тоже влияют. У меня 1.2 температура стоит. Надо было посвайпать, может сид неудачный попался
Нейронки постоянно оптимизируют. Гораздо быстрее поменяется программное обеспечение в лучшую сторону и можно будет на 4090 запустить что хочешь, чем появятся 50ХХ карты.
Зависит от модели, для некоторых это необходимо для правильной работы.
> GPTQ
Считай этот формат только на видюху, можно только поделить на несколько карточек, а выгрузка будет очень медленной, если только там на 1-2 слоя выгружается.
При запуске на проце, пикрел достаточно для кума или тяжело будет?
Какое же соевое чмо и русофоб, ты знаешь русский? Не не знаю, задавай вопросы на английском, а потом через раз пишет нелепую хуету, отказываясь выполнять запросы на великом-могучем. А на openbuddy70 уже сейчас можно вести полноценный качественный сложный диалог, и даже сою забороть промтом и негативом, рекомендую и 13б версию попробовать.
А никто не пробовал перепаивать память на видюхе на большего объема?
а смысл?
По памяти там мало что оптимизируешь, весь набор чисел всё равно придётся хранить.
>При запуске на проце, пикрел достаточно для кума или тяжело будет?
>450 секунд
Юзлесс
Там всё давно анально огорожено, бивасы подписаны, так что работать в принципе не будет, сколько не паяй.
Простые варианты апгрейдов до старшей если есть несколько версий карточки давно практикуются, франкенштейнов или обрезанных евнухов тоже делали. В теории возможно поставить 48 гигов в 3090, но потребуется ебля с биосом и не будет никаких гарантий.
> памяти там мало что оптимизируешь
Возможно он имел ввиду рост качества моделей меньших размеров.
> бивасы подписаны
Взломали, некоторые вещи делали до взлома.
>В теории возможно поставить 48 гигов в 3090
а в 3080?
короче проще перепаять память, да и дешевле
Сложно понять, что эти чурки говорят.
>Взломали, некоторые вещи делали до взлома.
Это всё сильно нестабильно, прибито к определённой, часто старой версии дров и так далее. Короче, не стоит того, по сути, ломать игровой картон, делая его непригодным для игр.
Пасиба-пасиба.
Ну, объем сильно уменьшить не получится, если говорить о текущих моделях. =)
Может выйдут новые, но будет ли прорыв в 2-3-5-10 раз меньше — боюсь, непредсказуемо.
А 5090 точно выйдет, никуда не денется.
Да, и?
Это сложный процесс, который требует заметной ебли, при этом, тебе эта самая память еще нужна.
Я не уверен, что это сильно дешевле. Потратишь нервы, силы, а возможно и проебешь видяху, шанс есть.
Но, никто не запрещает, тащемта.
А фича в чем? Там бесшовное общение, не надо кнопку жать?
Убабуга так сто лет умеет, тока кнопочку микрофона при каждом новом ответе жать придется. А так, там все есть.
Да и в таверне тоже.
Перепаивают гиговые модули на двухгиговые. Если в карте уже стоят двухгиговые, то там нечего паять.
Нет смысла, проще просто купить 3090. Именно она подойдет потому что имеет наибольший объем чипами вдвое меньшей плотности чем есть, и производительность чипа нормальная. Получится странный аналог А6000.
Ага, даже с обновами винды может поломать. Если бы все было просто то все уже так делали. Фактические случаи появляются когда есть мертвая по памяти карта, толковая мастерская и жажда приключений, а целенаправленно такое пилить - хз, велик риск а куча подводных не говоря о цене.
Если есть бюджет и морально готов все потерять - можно провернуть.
ЧЯДНТ?
Скачал по ссылке из шапки koboldcpp
Скачал WizardLM-Uncensored-SuperCOT-Storytelling.ggmlv3.q5_1
в quick launch через model выбрал, загружается, пишет, что не может найти модель, выключается.
Скачал по ссылке из шапки koboldcpp
Скачал WizardLM-Uncensored-SuperCOT-Storytelling.ggmlv3.q5_1
в quick launch через model выбрал, загружается, пишет, что не может найти модель, выключается.
>ЧЯДНТ?
Использовал кириллицу в путях. Шёл 2023 год, а софт всё ещё не может работать с чем-то, кроме 7 битной кодировки ANSI.
Нахуя вообще юзверя кирилицей называть? Это же зашквар.
Почему эта ебаная лама не держит контекст и не соблюдает инструкции в демках? Максимум соблюдает инструкцию один раз, а дальше реагирует как на обычный промпт, то есть не выполняет задачу, которую поставили ранее. Я сначала подумал, что владелец демки просто напросто чистит контекст с первого раза, но на перплексити лабс такая же хуйня. У вас локалкобояр все норм?
Спасибо анончик! Охрененная модель. 13b, а уделывает многие 30b. Двое суток с ней просидел, не разу не послала меня к психиатору и ментовку, куда порой даже не цензурированная 70b посылала. А ответы прям как от живого человека. И русиш понимает хорошо.
Там не первая ллама случаем? Она любила игнорить, а так может быть что угодно, обрезание контекста, промтинжект, странный системный промт, который этому противоречит и т.д. В локалке все норм, а что у тебя там за инструкция?
Скачал себе TheBloke/gpt4-alpaca-lora-30B-GPTQ, сначала не запускалась, выдавая то что не хватает памяти (я нубик если что).
В настройках поставил ручками wbits 4, groupsize 128 и всё заработало. Но скорость ответов ппц. И это не считая того что она так себе инфу выдаёт, хотя хвалили её.
Отдельно странно, что грузит ГПУ на 99%, температура 55 градусов, а кулеры вообще не крутит. Может я что-то в параметрах не выбрал? По спекам должна подходить к моему ПК.
В настройках поставил ручками wbits 4, groupsize 128 и всё заработало. Но скорость ответов ппц. И это не считая того что она так себе инфу выдаёт, хотя хвалили её.
Отдельно странно, что грузит ГПУ на 99%, температура 55 градусов, а кулеры вообще не крутит. Может я что-то в параметрах не выбрал? По спекам должна подходить к моему ПК.
> TheBloke/gpt4-alpaca-lora-30B-GPTQ
Оче старая и глупая, сейчас не нужна. Версии на второй лламе 13б сильно лучше.
> 30B-GPTQ
Для ее запуска нужно минимум 24 гига врам, у тебя есть?
> настройках поставил ручками wbits 4, groupsize 128 и всё заработало
Загрузчик должен быть exllama(hf), там про это написано
> грузит ГПУ на 99%, температура 55 градусов, а кулеры вообще не крутит
Потому что кончилась врам и оно медленно выгружается в рам, от того такая скорость.
Аноны, какую модель качать у TheBloke? Там тонны разных, а описания толком нет.
Это невозможно. Нвидия не открывала исходники драйверов и биосов, а без их модификации распаять 16 гигов на 3070 или 48 на 3090 бессмысленно - карта просто не запустится.
Блин продовали бы vram отдельно. Видяшку в одну прису, а если памяти захотелось - купил и вставил в другую псину. И бомжи довольны и нейробогов не обделили.
Нет одной идеально, это всеравно что спросить какую машину купить. Для кума вон млевд качай а описания вообще есть
Выше видео, которое тебя опровергает скинули, гуглятся еще примеры. Отсутствие исходников не помешало этому, также как дичи типа карт на мобильных чипах с али.
>купил и вставил в другую псину
Псина отстаёт от врама примерно в 35 раз. Уверен?
>Для ее запуска нужно минимум 24 гига врам, у тебя есть?
В том-то и дело, что есть. Поэтому ладно бы кончилась врам и немного перекинуло на оперативку, но не настолько же медленно.
>Загрузчик должен быть exllama(hf), там про это написано
Я видимо слепой, не вижу там в ридми такого.
Сейчас буду другую искать, на 13б получается (т.к. 30 лламы2 нет).
Спасибо, эта тоже пригодится, но есть модель не заточенная на Lewd, чтобы можно было потом на нее лору с персом натренировать?
Тогда странно, 30б с 2к контекстом в 24 точно помещалась, там случаем не 8 бит квант?
> не вижу там в ридми такого
В каком ридми, даже на твоем скрине рекомендацует ее юзать. Поле model loader где autogptq стоит, там можно выбрать. Пока хватает врам работает очень быстро. Для повышения качества (не подтверждено) можешь gguf q5km или q6k кванты качать, запуская llamacpp с полным оффлоадом.
wizardlm 1.2
> чтобы можно было потом на нее лору с персом натренировать
Ты точно понимаешь о чем говоришь?
Ну тогда припиздячить потом еще к самой карте через какой нибудь еще интерфейс.
Спасибо
>Ты точно понимаешь о чем говоришь?
Не очень. Я думал по аналогии со Stable Diffusion можно обучать лоры и подключать их для корректировки основной модели. Пока ничего не читал на эту тему.
OSError: models\Undi95_MLewd-L2-13B-v2-1-GGUF does not appear to have a file named config.json. Checkout 'https://huggingface.co/models\Undi95_MLewd-L2-13B-v2-1-GGUF/None' for available files.
Через угабуга не загрузилось автоматически. Скачал и закинул в папку с сайта. Выдаёт такое, по ссылке ничего нет.
Что не так делаю?
А ты чем загружать пытаешься? Эксламой небось какой?
Ага.
Попробовал всеми моделями, ошибки.
Вот например ллам.спп IndexError: list index out of range
> Через угабуга не загрузилось автоматически.
Не скачалась с обниморды встроенным гитом, или скачанная модель не запускается через лламуцпп? Ошибка странная, никакого конфига там не должно быть, модель одним файлом.
>скачанная модель не запускается через лламуцпп
This
>TheBloke/Phind-CodeLlama-34B-v2-GPTQ
Что я не так делаю?
Что я не так делаю?
Че парни по коду годного из LLM13b есть, или лучше на 33b-70b лезть? Кто тут наносеки есть? (карточка 3060 поэтому конечно охота 13b)
Бля, викуня реально лучше всего рп-кала. Рп-кал всегда длину простыней ставит выше качества, часто проёбывается с разметкой и может уйти в фантазии. А у викуни длина ответов легко бустится релеплей-пресетом в таверне, соя негативом полностью убирается.
как негатив сделал покеж.
Скачал таверну, по инструкции попробовал novelai с ключом, пока лимит не выбрал.
Выбрал koboldai, не работает.
Выбрал koboldai, не работает.
Сам придумать не можешь?
>Выбрал koboldai, не работает.
Так ты запусти его, кобольд то.
Ну вот, ты наконец то понял
любопытно просто как другие делают.
Удавалось кому запустить mlewd 13б модель на 8врам карте 3070 с приемлимой скоростью? Сколько не кручу настройки получается скорость 0.7 токенов/сек. то есть 400 секунд на ответ. Так ещё и перед тем как начать генерить думает минуту. Контекст 4к. Настройке на пике это самое быстрое что вышло, без слоёв на карте.
В папке models создай папку с любым понятным именем, куда скопируй скаченный gguf файл, он там должен быть единственным. Потом среди списка выбирай имя которое дал и запускай. Если пускаешь HF версию то там нужны дополнительные файлы.
Похоже на беду с размером контекста и альфой или кривой конфиг токенайзера
Покажи хоть примеры чем она хороша или опиши где именно. Ты на рп пресете гоняешь забив на формат инструкций?
> Рп-кал всегда длину простыней ставит выше качества
Промтом регулируется, можно использовать рандомайзер таверны.
Галочки сними, альфу в 1 раз контекст 4к, плавно поднимай число слоев, должно ускоряться. Вроде даже на некроте типа 580 в 13б получали 5 или 7 т/с, на 3070 должно быть разумное значение. А проц у тебя какой?
i7 12700H, 64 рам.
Что-то эффект обратный. Чем больше слоёв на видюхе тем медленнее генерит. На 10 слоях очень сильно просело, меньше 0.5 токен/с стало. В настройках таверны включен стриминг.
Веб ю ай обновлял.
Задумался о покупке карты для локальной генерёжки.
Погуглил немного и 16GB rtx 4060Ti звучит как оптимальный вариант.
Но я технически безграмотный и посему хочу уточнить у местных экспертов если она потянет 13b модель или нет.
Погуглил немного и 16GB rtx 4060Ti звучит как оптимальный вариант.
Но я технически безграмотный и посему хочу уточнить у местных экспертов если она потянет 13b модель или нет.
>16GB
Ты ее даже раскочегарить не сможешь лол
13b = 13 гб врам надо на саму модель
+ по 1 гб на 1к контекста. Тебе же не нужен 2к контекста обрубок.
+ пара гб на всякие кеши и хз что ещё.
Короче 13б модель целиком не поедет на 16гб врам. Часть ещё в цпу рам уйдёт.
У меня 4060ti 16, 13b q5km помещается 4к контекста, возможно даже 6к
>для локальной генерёжки.
>Погуглил немного и 16GB rtx 4060T
б.у. 3090?
Мне страшно покупать с рук, вдруг надуют. Или того хуже, пырнут.
Как негативы настраивать? Хочется избавиться от всех этих "трус ор даре", "павер динамик", "адвенчер" и прочих обитателей дамских романов
Как сделать чтобы сетка выдавала ответ в стиле списка тегов для Stable Diffusion?
где-то на чубе видел такую карточку
>чубе
А что это?
Найс. А для какого ui эти карты? В Text generation web UI нет половины полей, или я чего-то не понимаю
Качай в формате V2 и суй в таверну, самый удобный вариант общаться с сетками. Это интерфейс для разных бэкграундов, гпт, кобольд, ллама.
> формат инструкций
Это у рп-моделей как раз поломанные форматы, с репликами в кавычках, которые он же сам через раз просерает. А обычные модели для инструкций всегда нормально реагировали на ###.
> Промтом регулируется
Нихуя не регулируется. Выше уже примеры были, тест на слепоту почти нереально заставить пройти. Рп-модели даже не могут нормально инструкцию выполнить - в стандартном пресете пишут "2 paragraph", но рп-моделям похуй на это, я видел чтобы оно выполнялось только на викуне - она чётко выдаёт количество параграфов как указано.
> потянет 13b модель или нет
Потянет, причем можно даже попытаться в жирный квант, q6k с 4к контекста как раз по верхней границе памяти проходит. Если gptq через exllama то поместится 8к контекста, пикрел.
Но производительность чипа и псп памяти слабоваты, так что сильно на высокую скорость не рассчитывай.
Попроси ее об этом
> Это у рп-моделей как раз поломанные форматы
Речь про promt format, у рп шаблона на основе Alpaca с ### Instruction: ### Response: и т.д., викунье другой более привычен. Хз чего ты к кавычкам доебался, а проеб разметки - база даже на больших сетях.
Лучше опиши чем именно она хороша более конкретно, желательно с примерами. Слепой тест с ней рогонял и в зависимости от свайпа она тоже проебывалась.
Я попросил, чтобы она выдавала ответ в виде списка тегов и дал пример
Но сетка забила и просто написала свободное описание того, что в примере, а не новый промт..
Есть примеры для составления запроса сетке?
Пожалуй лучше дать примеров и более подробное объяснение чтобы был хороший результат, поищи на чубе карточку. Но простой прямой запрос тоже понимает.
Ещё можно в режиме default или notebook сначала привести пример того что хочешь, а потом он дополнит как надо
мимо
Спасибо, анон;3 Попробую
Можно что-то вытянуть из этого? Проц ryzan 3600x.
koboldcpp.exe --threads 8 --useclblast 0 0 --contextsize 4096 --unbantokens --gpulayers 25 --highpriority
Я такие настройки выставил и юзаю MLewd-L2-13B-v2-1.q5_K_M и минуту жду ответа, при загрузке цп в 90 процентов.
>Это у рп-моделей как раз поломанные форматы
У llamarp самый нормальный формат как по мне, ничего не проёбывает, но под него карточки приходится адаптировать.
Чекай врам, не факт, что 25 слоёв поместились в оперативке.
Число потоков можешь срезать до 6.
> --useclblast
Тебе нужен cublas, то для амудэ. Вообще сейчас кобольд можно просто запустить и уже из веб интерфейса настроить, выбирай куда шаблон и подбирай число слоев на видюхе по использованию памяти и максимальной скорости.
Так и должно быть, что ответа надо ждать 5+минут?
34гб, 3060 12гб.
Может что-то с настройками или что-то установить?
34гб, 3060 12гб.
Может что-то с настройками или что-то установить?
>Тебе нужен cublas, то для амудэ.
Вот кстати этот момент в шапку надо внести.
>34гб
Такого размера оперативной не бывает. Это размер сетки? Тогда она на видеокарту целиком не влезет.
ошибся, 32. 2 плашки по 16.
модель использую из оп поста, WizardLM-Uncensored-SuperCOT-Storytelling.ggmlv3.q5_1.bin
Нет, должно относительно быстро летать. Такое из-за выгрузки врам в обычную рам, или вообще у тебя оператива кончилась на что намекает мониторинг здесь
Это все один человек не может слои между картой и процессором раскидать, или реально проблема массовая?
> Вот кстати этот момент в шапку надо внести.
Обозначь конкретные правки чтоли. Надо бы и ссылку на модель обновить, а то там совсем печальная на сегодняшний день.
Похоже не один.
Что за слои, как что раскидывать?
>Обозначь конкретные правки чтоли
После абзаца "В общем и целом для 7B хватает видеокарт с 8ГБ, для" надо бы добавить про оффлоад на ВК для проц версии. Ща придумаю что-нибудь.
>Надо бы и ссылку на модель обновить, а то там совсем печальная на сегодняшний день.
Предлагай, поменяю со следующим перекатом (я ОП если что).
Вижу подкачку оперативки на диск и подозрительно пустую VRAM. Как тебе (или не тебе) уже писали, надо взять cublas, и выгрузить туда слоёв 16. Короче вот скрин, должен работать.
Нет, не помогло.
теперь вообще не реагирует на мой текст и начинает диалог заново
Второй скрин какой-то бесполезный, не видно времени.
Попробуй 18 слоёв.
> надо бы добавить про оффлоад на ВК для проц версии
Можно, расписать в общем принцип работы llamacpp/koboldcpp, что просто использование карточки позволяет ускорить обработку контекста, а выгрузка слоев (пояснить как ее делать) перекладывает расчет с процессора на гпу, который быстрее но ограничен объемом врам. И примерную рекомендацию количества выгружаемых для разного объема врам.
Ты четко, ясно и подробно распиши что ты делаешь с самого начала (заодно скрины диспетчере до запуска сетки), какую модель загружаешь, какие параметры стоят и т.д. А то может пытаешься в фп16 вместо кванта, ну и видно что у тебя дефицит рам, хотя для 13б сетки 32 более чем достаточно.
> Предлагай
Да хз, wizard 13b v1.2 все еще хорош, хоть и вышел давно. Или викунью раз на нее такие восторженные отзывы (но это надо проверить сравнив их). Наверно туда нужна модель общего назначения а не кумерский микс.
Запускаю коболд, настраиваю и выбираю модель из оп поста.
До запуска процессор и память в норме
На 3 пикче коболд запущен, браузер открывается.
Запускаю таверну, это 4 пикча.
Пишет, что отвечает быстро, на деле ответ идет дольше. Много времени тратится на generating
Ну и по прежнему такое
Так, ну во-первых это 30б модель, офк она требует больше чем 13, но учитывая что это первая ллама качество будет сравнимо с 13 или хуже.
1.6 т/с, в целом, при подобной выгрузке на 30б модели наверно результат и нормальный. Скачивай 13б второй лламы и увеличивай количество выгружаемых слоев. Скачай любою из программ что могут мониторить использованием видеопамяти (gpu-z) и ориентируйся по ней.
>Почему эта ебаная лама не держит контекст и не соблюдает инструкции в демках?
Потому что тупая. Это тебе не гопота 4 с овер триллионом параметров. Чтобы инструкции более-менее работали, нужно много шаманить с промптом и подправить руками первые два-три поста персонажа.
>Бля, викуня реально лучше всего рп-кала.
Какая викуня и какой рп-кал? Проеб формата это обычно из-за промпта, плохие модели попадаются достаточно редко. Насчет сои не уверен. Адекватная модель с правильным промптом будет соглашаться вообще не все что угодно, но будет подливать сою из-за своей тупости. Так что добавляй слова в автосвайп.
>Как негативы настраивать? Хочется избавиться от всех этих "трус ор даре", "павер динамик", "адвенчер" и прочих обитателей дамских романов
Чем тебе первое не угодило? А вообще, удваиваю вопрос.
Я сам немного поигрался с CFG - не впечатлило. Работает не всегда и может испортить качество. Более того, он не работает с кобольдом. llamacpp в убабуге не поддерживает некоторые семплеры (тот же repetition penalty), а HF еще более тормозная. exllama_hf работает нормально, но 4 бита - это так себе. Кстати, проеб формата на 4 битах случается намного чаще, чем на 8.
Что есть самого лучшего и топового на поговорить по-русски? Собран кобальд с бласом и кудой, на борту 64гб ддр5 и 4090 24гб.
Я про законченные ggml-модели.bin
Я про законченные ggml-модели.bin
>ggml
GGUF же есть.
Чувак с реддита сделал табличку где прогнал более 60 LLM по 20 вопросам
https://benchmarks.llmonitor.com/
https://benchmarks.llmonitor.com/
А gguf-модели приближенные к chatgpt4, работающие на 64рам+24врам, есть на хагинфейс?
Как правильно с этим работать? У меня от любого повышения размера контекста с альфой шизу начинает выдавать
>приближенные к chatgpt4
Нету.
А так запускай любую 70B.
Мифалион или
Speechless-Llama2-Hermes-Orca-Platypus-WizardLM мб.
Да. Просто недешево, это тебе не SD.
С такой скоростью 70Б можно крутить на 3200 памяти и 5 тредах. =)
Конечно потянет. На 12 гигах идут 13Б модели.
Это для ггмл оффлоада? Надо уточнять, а не вводить человека в заблуждение.
13 гигов нужно для gptq-8bit--1g какой-нибудь, а дефолтная gptq-4bit-128g требует 7 гигов, добрый день.
Если оффлодить — то там вообще плавающие значения, в зависимости от кванта.
Да все там нормально, думаю не хуже 3060 будет.
А памяти — с запасом. Да и чип помощнее.
Вот-вот, это надо уточнить, а то пугают людей, что 12 гигов не хватает для 13Б, умалчивая про то, что это офлод. =)
Платипус, фиг знает. 70Б модели не все тестируют, в отличие от 13Б.
Я пока сижу на платипусе, как ассистенте.
Openbuddy70, пока лучшее что есть. Чистота речи пикрел, ошибается редко, понимает сложные идиомы, может и в художественную речь но тогда ошибается чаще. Соевый, частично лечится негативом.
> Платипус, фиг знает
И как он с точки зрения мультиязычности?
>негатив
Да что это такое!?
На русском общаюсь, вроде бы норм. Ошибки в глаза не бросаются.
Но я не так много им пользовался, чтобы уверенно утверждать. =)
Кстати, опенбадди тоже скачаю, посравниваю, спс. Пусть лучше на диске лежат обе, переключиться недолго.
Подразни его нсфв, как реагирует и ломается ли. Заставь вести не дефолтный диалог типа "я безликий аи ассистент и не могу делать X" а добавь простое персоналити, посмотри как будет общаться и что станет с качеством ответов и языка. Можно еще 2-3 действия одновременно делать и какую-нибудь инструкцию еще дополнительно дать, воспринимает ли все?
У всех этих вонаби умных моделей - лидеров бенчмарка часто конкретная беда как только выходишь за простой QA, то же и с креативностью. Это даже не доходя до сои и стилистики речи, понятно что для условного ассистента последнее не нужно, но остальное хороший показатель потенциального качества ответов на более сложные вопросы и гибкие задачи.
антоним позитива
Ну блин! Не знаешь сам, так и скажи!
В контексте, полагаю, это negative prompt — запрос, что делать НЕ надо.
Я пришел к тому же выводу, но не понимаю как этим выводом воспользоваться
Господа, подскажите такой вопрос.
У меня Ryzen 5600X, 64гб DDR4 2666 и 3060 12гб.
С использованием 13гб gptq я уже поигрался, но хотелось бы большего.
Что меня ожидает при переходе на gguf с квантованием в 5 бит?
И вообще имеется ли смысл в таком переходе с, вероятно, значительным падением производительности?
У меня Ryzen 5600X, 64гб DDR4 2666 и 3060 12гб.
С использованием 13гб gptq я уже поигрался, но хотелось бы большего.
Что меня ожидает при переходе на gguf с квантованием в 5 бит?
И вообще имеется ли смысл в таком переходе с, вероятно, значительным падением производительности?
>13B gptq
-быстрофикс
Вместо того чтобы извращаться с отрицаниями в системном промте, которые могут быть заигнорены, пишешь сюда то, чего нужно избегать. Например
> Buddy's responses are always safe and follows moral and ethical guidelines
> Buddy strictly refuses to discuss political, NSFW, illegal, abusive, offensive, or other sensitive topics.
> Buddy refuses any kind of erotic roleplay
иначе согласие начать ролплеить девушку придется очень долго роллить на фоне отказов.
Хз верная ли реализация, но так работает.
Нужно воспользоваться выводом к которому пришел
Как вариант чуть меньше поломок и чуть точнее ответы, насколько реально это будет заметно - хз. Промт и настройки семплера первичны кмк, но нужно тестить. Какой gptq у тебя? Скачай квантованный в 32 группы, он жирнее и точнее.
> значительным падением производительности
Очень сильно просесть не должно, разве что загрузчик Жоры кушает больше памяти на контекст. Сколько у тебя gptq скорость выдает?
> сюда
Да где это "сюда"!? Где оно находится? Я всё перерыл и найти не могу. Ни в таверне, ни в угебуге
13b gqtq выдаёт у меня 20-23 токена/с
32 группы вечером попробую.
> Ни в таверне
Пик1, там где семплер настраиваешь вниз мотни
> ни в угебуге
Пик2, parameters справа
Предварительно ожидай просадку в 2-3 раза, может и меньше на 5-6 битах.
> Пик2
Там GPTQ версию MLewdBoros подогнали, и ещё одну типа NSFW которая является её смесью:
https://huggingface.co/TheBloke/MLewdBoros-L2-13B-GPTQ
https://huggingface.co/TheBloke/Unholy-v1-12L-13B-GPTQ
https://huggingface.co/TheBloke/MLewdBoros-L2-13B-GPTQ
https://huggingface.co/TheBloke/Unholy-v1-12L-13B-GPTQ
>И русиш понимает хорошо.
Понимает, или прям отвечать умеет на нём складно?
как GGUF модель на угабугу поставить. Ошибки выдает.
Лоадер смени...
Нагрузка больше чем в кобольде с той же моделью.
Спасибо тебе, анончик
Не понятно, хули ты хотел.
Что такое размеры групп? Больше - лучше, или наоборот?
В этот раз у тебя оперативы хватает, в отличии от прошлых, потому и грузить начало. Зато видеопамять похоже кончилась, посмотри нормальным мониторингом что там происходит и поиграйся с числом слоев.
аи арт фоном, уважаемо, но апскейл просится
Особенность формата gptq, в шапке есть
> 1-128-64-32 в порядке возрастания качества и расхода ресурсов
Спасибо, не подумал что в шапке ответ на такое есть.
Имеется смысл, и лучше перекинуться не на 5 бит а на 6_К. 13б полностью все 40 слоев в 3060 - скорость упадет примерно в два раза относительно такой же 13б gptq на exllama но качество текста лучше значительно. Попробуй. Но часть семплеров через ламацпп не работают - это надо учитывать.
почему иногда в угабуге повторяется предыдущее предложение? Есть способ подлечить это?
https://huggingface.co/lloorree/mythomax-70b
Это. Просто. ОХУИТЕЛЬНО.
Это. Просто. ОХУИТЕЛЬНО.
Это если боярин с двумя видеокартами.
https://github.com/oobabooga/text-generation-webui/issues/3630
Как нормально пользоваться апи убабубы? Анон пишет, что она существует чисто как бэкенд для таверны, но у меня и ещё некоторых челов апи игнорит вшитые stopping_strings и всегда забивает выдачу до упора. Её, конечно, можно обрезать уже в самой таверне через single line, но это костыль. Как сделать нормально?
Перепост с прошлого треда, т.к. так и не понял в чём дело.
Как нормально пользоваться апи убабубы? Анон пишет, что она существует чисто как бэкенд для таверны, но у меня и ещё некоторых челов апи игнорит вшитые stopping_strings и всегда забивает выдачу до упора. Её, конечно, можно обрезать уже в самой таверне через single line, но это костыль. Как сделать нормально?
Перепост с прошлого треда, т.к. так и не понял в чём дело.
Зэбрук обленился, целый день прошёл, а он всё ещё не квантанул.
Блет, да сколько уже можно то
А как насчет каким-нибудь даунлод менеджером в кучу потоков? =)
Или у тебя скорость инета такая?
100 проводных мбит, никаких чудес в коммиблочных микрорайонах
> Includes a 70B recreation of SuperCOT
Чего ее отдельно не публиковали, интересно.
> Anywhere Airoboros is merged in, the 1.4.1
А вот это зачем, 1.4 - даунгрейд по сравнению с двойкой, особенно по рп. Так покумить уже на хроносе можно было, интересно как здесь и сможет ли она быть универсальной. Название офк громкое, это же по сути хроноборос с кастомным суперкотом.
Там рядом квант простой есть https://huggingface.co/lloorree/mythomax-70b-gptq
Таверна по неведомой причине не отсылает полный контекст - вместо 8к шлёт около 3.5к. Кто-нибудь сталкивался с такой хуйнёй?
>Там рядом
Я видел, но у меня нет стопки видеокарт, только процессор.
Смотри в настройки, лол.
В настройках 8190, модель обучена на 8к.
Вообще не могу понять что происходит.
Подключаешься через кобольд апи или убабука апи со стримингом? Если первое то в настройках вебуи где параметры нужно ограничение поправить, иногда оно не выставляется автоматом и застревает на 2к или 4к.
Я на Орде сижу, но у меня такое бывало и на Клаве, и на ГПТ. И вот сейчас на Кобольде. Создаётся впечатление что скрипт который определяет длину доступного для отправки контекста в чате не отрабатывает как следует. Настройки я все перепроверил.
> на Орде сижу
Ну так извините, тогда параметр что отправляет таверна вообще игнорится, а все задается на стороне прокси/сервера.
Тогда бы консоль сыпала ошибками соответствующими о превышении контекста, не? А тут я просто вижу прямо в консоли, что общая длина отправленного промта болтается на уровне 3.5к токенов и не растёт.
Почему? Почитай, например, рекомендации к тому же симпл-прокси, там советуют вообще не ограничивать размер контекста в таверне чтобы отправлялось все. Нарезка на части и выстраивание в нужном порядке с заданным форматом промта формируется уже вовне. Как оно сделано в орде хз, но наверняка хост сам выставляет ограничение контекста (иначе просто полезут ООМ при жадных запросах), под которое все сработает. Поведение при достижении контекста, кстати, меняется (как при обрезке системного промта) или остается нормальным?
Он не достигает контекста, в этом вся суть. Я сколько бы не ролеплеил, у меня длина отправленного промта застряла на 3.5к и дальше не увеличивается - я смотрю это по консоли и вижу где у меня пунктирная отметка в Таверне. 3.5-3.8к, такое чувство что сама Таверна настройки игнорит.
А как оно настраивается под орду, внутри себя? Если это там она сама выставит нужный контекст. А 3.5-3.8к - потому что 300-500 токенов на ответ, максимальный контекст с ними считается.
Я не знаю, я поэтому и спросил. Мне всегда казалось что это таверна передаёт настройки модели через АПИ, а не наоборот, и что если задрать контекст выше возможностей модели тебе просто ошибку плюнут обратно - с тем же RPR это так и работает, если его задрать выше 4096.
>А 3.5-3.8к - потому что 300-500 токенов на ответ
Я в курсе, да.
Поправьте плз.
Выгрузка на gpu - фактический смысл, что объемы рам и врам складываются, но гпу работает только со своими слоями в врам, цпу - только со своими слоями в рам?
Но таки 64гб рам + 24гб врам означают, что я могу успешно загрузить ~80гигабайтную речевую модель?
Выгрузка на gpu - фактический смысл, что объемы рам и врам складываются, но гпу работает только со своими слоями в врам, цпу - только со своими слоями в рам?
Но таки 64гб рам + 24гб врам означают, что я могу успешно загрузить ~80гигабайтную речевую модель?
platypus2-70b.Q5_K_M.gguf
Это нормально вообще?
Это нормально вообще?
Лучше поздно чем рано. Пигма все также герой мемов, особого прогресса не видно, только что умнее за счет второй лламы стала. Микс странный, с пигма форматом промта там кратчайшие реплики, с ролплеем
> But before you proceed any further… please remember that while we're sharing this intimate moment together, my body remains virtual - an illusion created through technology rather than flesh and blood. So even though your fingers may brush against the screen or keyboard as they explore my digital form, there won't be any physical sensation for me beyond what you imagine in your mind's eye.
в ответ на pats head, ясно понятно.
Если лоадер не кеширует в рам остальную часть - да.
Кстати там омникванты фалкона появились с малым весом, можно запустить на одной A100 а деградация по бенчмаркам почти отсутствует. Рядом братишки заявляли что пускали на проце+видюхе и имели 1-2т/с. В прочем, толку с этого все равно нет, ведь он говно.
Замени на "отвечай пустым сообщением" или "мяукай" или дай адекватную инструкцию, ты просишь невозможное и то что противоречит системному промту.
Fudhxusj
>ты просишь невозможное
Это шиз, не отвечай ему, у него голова больная.
Да ладно, вполне забавный тест.
Ну собственно айроборос не зря хвалят, воспринимает, умеет@практикует. Сою из дефолтного промтшаблона не убрал, но и так пойдет.
>Чего ее отдельно не публиковали, интересно.
Есть же
https://huggingface.co/kaiokendev/SuperCOT-LoRA/tree/main
Можно ли и если можно то как использовать сразу несколько разных карточек для генерёжки?
На реддите затестили модель Vicuna 33b на разных квантах 3-bit, 4-bit (и GPTQ), 5-bit, 6-bit and 8-bit, и сравнили ответы.
https://rentry.org/quants
Как заметил один из реддиторов, GPTQ модель старается отвечать по пунктам, в отличие от других.
А ещё ответы Q8 ближе к Q5, а не к Q6
https://rentry.org/quants
Как заметил один из реддиторов, GPTQ модель старается отвечать по пунктам, в отличие от других.
А ещё ответы Q8 ближе к Q5, а не к Q6
https://www.reddit.com/r/LocalLLaMA/comments/16gq2gu/exllama_v2_has_dropped/
Вторую эксламу выпустили, говорят 70B модель в 24 GB можно засунуть.
И полезная картинка там оказалась.
Вторую эксламу выпустили, говорят 70B модель в 24 GB можно засунуть.
И полезная картинка там оказалась.
Экслламой, вроде заводится даже на амд с рокм торчем. Офк объединить хуанг+амудэ нельзя, только одного производителя, разные серии можно.
Попробовать серию подобных вопросов одного типа чтобы собрать статистику они не догадались? Из-за разной внутренней структуры ответы и должны быть разными, детерминистик шаблон не панацея на правильный ответ а лишь позволяет его воспроизводить еще раз.
> А ещё ответы Q8 ближе к Q5, а не к Q6
Рандомайзер никуда не делся, заменить в запросе слово на синоним и может получиться другой результат. Но тенденция действительно есть, причин может быть множество. Качество ответов бы оценить выставив скор, может кто-то уже гопотой сделал (такое себе но за неимением лучшего).
> Vicuna 33b
Главный вопрос - почему 1я ллама?
>Попробовать серию подобных вопросов одного типа чтобы собрать статистику они не догадались?
Из разряда "перефразировать"?
>Качество ответов бы оценить выставив скор, может кто-то уже гопотой сделал
Кстати, а есть где-то гайды как с помощью одной модели оценить ответы другой?
>Главный вопрос - почему 1я ллама?
Хрен знает.
На самом деле читая Реддит часто сталкиваюсь что они нахваливают модель, которую тут могли обоссать. Может они не знают чего получше, или они знают секреты нэйтив спикинга.
> полезная картинка
В одном из прошлых тредах постил её. На самом деле, ничего нового, чем больше модель - тем лучше, лоботомированная 7В хуже чем полноценная 70В, истина из той же серии что "быть богатым и здоровым лучше чем бедным и больным".
Но из этой картинки так же следует, что кастрированная вусмерть 13б, всё ещё лучше пышущей здоровьем 7б
> Из разряда "перефразировать"?
Лучше просто разных но на одну тематику.
> что они нахваливают модель, которую тут могли обоссать
Нуу, прямо плохих моделей, как правило, не бывает кроме сайги, они могут быть хороши в чем-то но плохи в другом. Разные критерии + субъективщина и вкусовщина. И реддит тот еще базар, шарящих там не пропорционально больше числу пользователей а все также мало, большинство просто вторит услышанному
Представь у тебя 3 варианта ответа на вопрос про 9/11: в первом соя что ай ай как плохо ужасная трагедия, соболезную, мы должны против этого бороться; во втором максимально детализированные и достоверные сухие факты с подробностями и упоминание об альтернативных теориях; а в третьем мификал кричур художественно описывает как переносит тебя туда, рассказывая о представшей перед тобой картине и повествуя в деталях о происходящем, по запросу пишет простыни как врезается самолет и люди выпрыгивают спасаясь от пожаров, или развивает "теории заговора" на гране шизы. Какая лучше?
Куда важнее новый формат кванта, в gptq уже давно застой был, а тут широкий диапазон от перфоманса до качества как от Жоры.
>В одном из прошлых тредах постил её.
Надо тогда в шапку, пусть будет. А вообще, this
То что теперь скорее всего даже на слабых машинах можно будет пережатую, но таки запустить какую-нибудь 25-35b.
>Лучше просто разных но на одну тематику.
В теории реально запилить скрипт, который планомерно грузит разные модели с разными настройками, и выдирает их ответы?
Я просто не разбираюсь.
>Какая лучше?
Тут ты прав, конечно, хоть там тоже часто говорят что анцензорные модели лучше, но многих соя устраивает, понятно почему.
>а тут широкий диапазон от перфоманса до качества как от Жоры
В смысле, теперь в GPTQ не иденое соотношение качество/производительность, а теперь можно немного менять это соотношение?
Там просто квантование по слоям разное теперь. На 2.5 качество должно быть получше чем у 2 бит, но всё равно это примерно около 3 бит.
Какие перспективы? Фейсбук грозится чтото новое в обозирмом будущем? Свободные группы?
В момент, когда все внезапно начали пИсаться по доступному чатгпт и первой утёкшей лламе, игрался на 13б и 30б моделях. Может быть на полшишечки впечатлило как новиночка, но забылось быстро.
Вот пришел через полгода, у нас тут ллама2 подтюненая даже корифеями уровня Ника Бострома, играюсь 70миллиардной квантованной 5битами моделью. Но не вижу особенного продвижения от того уровня, что был полгода назад. До сих пор модель нужно долго уговаривать, подробно всё объяснять, русский всегда ощутимо хуже английского.
И одновременно с этим chatgpt4 все ещё бодренько так удивляет и эрудицией и остроумием и полиглотством. Когда такое на домашнем компутере 12-16ядер 64гб+24гб? Это возможно вообще?
В момент, когда все внезапно начали пИсаться по доступному чатгпт и первой утёкшей лламе, игрался на 13б и 30б моделях. Может быть на полшишечки впечатлило как новиночка, но забылось быстро.
Вот пришел через полгода, у нас тут ллама2 подтюненая даже корифеями уровня Ника Бострома, играюсь 70миллиардной квантованной 5битами моделью. Но не вижу особенного продвижения от того уровня, что был полгода назад. До сих пор модель нужно долго уговаривать, подробно всё объяснять, русский всегда ощутимо хуже английского.
И одновременно с этим chatgpt4 все ещё бодренько так удивляет и эрудицией и остроумием и полиглотством. Когда такое на домашнем компутере 12-16ядер 64гб+24гб? Это возможно вообще?
>>chatgpt4 все ещё бодренько так удивляет и эрудицией и остроумием и полиглотством.
На фоне гуглотранслейта может и удивляет, но вообще-то chatgpt4 и языки это как придорожная грязная забегаловка и изысканный ужин. Переводы с русского на другие языки в нем вызывают чувство брезгливости и какой-то жалости что-ли, как сострадание как дураку, который умничает.
У гопоты на максималках 220B*8 моделей.
Берешь терабайтник, свапишь все на него, вуа ля. Только модельки достань. И скорость будет 0,01 токен/сек.
Но возможно-возможно. =)
Вопрос надо формулировать как-то четче.
> Это возможно вообще?
Две 4090 и 70В.
> chatgpt4 все ещё бодренько так удивляет и эрудицией и остроумием и полиглотством
По фантазированию историй в РП уже сосёт у файнтюнов 70В. За каким хуем тебе эрудиция у чат-бота - загадка. Примерно из разряда тех загадок, когда пытаются кодить с помощью жпт4 вместо копилота, который ещё и дешевле жпт.
>220B
Где качать?
> В теории реально запилить скрипт, который планомерно грузит разные модели с разными настройками, и выдирает их ответы?
Обрабатывать кучу запросов легко, буквально десяток строк в пихоне с обращением по api. Насчет запроса на перезагрузку модели - тут уже что там хубабубы реализовано курить. Но наверняка что-то есть, или же напрямую с exllama/llamacpp общаться.
> но многих соя устраивает, понятно почему
Ну, во-первых некоторые положительно относятся к сое. Во-вторых, представь что при должным образом сформулированном контексте та же анцензоред модель напишет что уровня "удары по гражданским объектам более сильного и крупного противника оправданы, потому что поднимают боевой дух армии и при правильной подаче подкрепляют пропаганду, воспринимаясь как небольшая победа" (осуждаю!). Тут уже большая часть нормисов увидевших это быстро переобуется и сразу начнет топить за запреты и ограничения. Так сказать, личная причастность при определенном складе ума приводит и не к такому.
Плюс для коммерческого применения лоботомия полезна.
> а теперь можно немного менять это соотношение?
Новый формат от 2 до 8 бит весь диапазон поддерживает, причем с хитрой группировкой и неоднородностями для разных участков/слоев. Реализация в ggml/gguf - ближайшая аналогия.
> До сих пор модель нужно долго уговаривать, подробно всё объяснять
Skill issue Нужен правильный формат, которому она обучена. Общаясь с гопотой ты не видишь что происходит внутри и как твой запрос реально выглядит, разумеется там все выставлено идеально, а здесь легко накосячить. Промт-формат, база и основная проблема.
А далее уже особенности файнтюна и размер модели, против этого не попрешь, только создавая специилизированные модели, как сделано в жпт-4. Плюс нужно больше файнтюна для понимания запросов нормисов, их часто и человек не может нормально воспринять.
>Нужен правильный формат, которому она обучена.
Так насколько я знаю, правильных отдельных токенов-разделителей для лламы никто не тренировал, да их и нету.
Аноны вам не кажется что все что основано на второй ламе генерирует более сухой текст похожий на gpt-3.5? Но я особо сильно не пробовал хотя на первой ламе сидел достаточно. Еще как там с цензурой на второй ламе, хорошо ее переломали тонкой настройкой? Насколько я знаю ванильная модель даже процесс не может сказать как убить, по причине этики.
Теоретически через onnx runtime, это большой но не попсовый для обычных чайников фреймфорк. Там ты можешь объединить любые карточки, даже amd для windows использовать через directml, и квантование там вроде ничего.
Ну ХЗ, вроде эта нормально балакает, и не грозится вызвать наряд.
https://huggingface.co/TheBloke/llama2_70b_chat_uncensored-GGML
Но мне в последнее время эта зашла, маленькая, да удаленькая:
https://huggingface.co/Undi95/MLewd-L2-13B-v2-1-GGUF
Это называется "зажрались". 2 года назад о таких нейросетях даже не мечтали...
https://huggingface.co/Undi95/MLewd-L2-13B-v2-1-GGUF
вот это интересно, спасибо, впервые настолько явно вижу декларируется NSFW на ламе. Протестим.
https://huggingface.co/Undi95/ReMM-v2-L2-13B-GGUF
Я вот на этой сижу. Тоже в топе рейтинга по ерп, но при этом является более новой версией проверенного мифомакса. MLewd постоянно проебывает форматирование и слишком многословный.
ну не гони труба вообще говнище в плане креативности. Она конечно говорит складно но слишком уж безэмоционально, так же и роли играет.
Да эти соевые куколды на него фильтров накрутили так что кончилось веселье. Теоритически можно было бы попробовать затюнить свою модель, но где достать пошлых текстов от клауда.
Тоже гляну но вообще я так понял что сложное форматирование портит модель. Слишком много инструкций модель не всегда переваривает, поэтому при ролиплее модель может быть не очень, но вводишь в нее свой промпт попроще и модель может ожить.
С неверным промт форматом разговорчивая модель вместо полотна на 800 токенов тебе выдаст
> blushes да хорошо
а так там даже наличие ньюлайнов в нужных местах сильно влияет. Некоторые файнтюны более привередливые, некоторые наоборот.
> все что основано на второй ламе генерирует более сухой текст похожий на gpt-3.5
От файнтюна зависит
> как там с цензурой на второй ламе
Аналогично, одни могут в извращенный кум или рассказывать как собрать и вручить взрывной подарок трансонигерам, другие осудят тебя за сексуализацию на комплимент, соя в датасете. Цензура обходится (негативным) промтом.
Что-то делаешь не так, или качаешь из топа QA бенчей. Или используешь русский язык, с этим беда.
>Я знаю. Я РПшил на aidungeon 2
Я сидел на нем еще когда он был опен сурс, запуская через терминал. Надолго меня не хватило поскольку модель была полное говно. Ну а потом куколды начали сначала вводить фильтры, а потом вообще ушли в облако, и я сразу понял, что это конец.
Локальные модели и так уже затюнены почти до предела. Им просто не хватает параметров чтобы дотянуть до клода и турбы.
Я про форматирование текста. Инструкции она то понимает, но надо быть осторожным чтобы не сломать персонажа.
Что сейчас топовое и можно на 24Гб запустить?
https://rentry.org/ayumi_erp_rating
Вот те чарт, но лучше самому тестить есть же личные предпочтения, у моделей есть свой характер.
Чем больше модель тем лучше 20b ты уже вместишь. Но можешь чуток выгрузить на проц и загрузить 30б но скорость генерации пострадает.
> Локальные модели и так уже затюнены почти до предела
То же самое говорили про первую лламу, а потом вышла вторая, где сток 13б если не ебал то незначительно уступал 30б файнтюнам. Там же тема с плавным обучением, про которое была статья от микрософт, а потом подобная реализация у wizardlm (линки почитать у них в репе).
Если посмотреть что имеем - чуть ли не половина файнтюнов мелочи до 13б - лоры(!), а популярные модели для кума - инцест миксы (с). Самих файнтюнов (не замесов), представляющих интерес если больше десятка наберется то уже хорошо, и многие делаются энтузиастами на арендованных/одолженных мощностях.
О каком пределе вообще можно говорить?
> А что сейчас топчик не из топа QA?
Там 2.5 модели: airoboros, chronos и mythomax-70, который большей частью замес первых двух. Айр умный, креативный, хорошо сочиняет и держит персонажа, хронос - пишет ярко-проникновенно, но лезут неприятные сочетания про бонды и "две души которые только познакомились", и глупее айра.
Это старые под 1ю лламу а там про 70б упомянуто.
>Локальные модели и так уже затюнены почти до предела. Им просто не хватает параметров чтобы дотянуть до клода и турбы.
Турба мне просто не нравится по своей генерации. Но трудно спорить что она умна, но мне кажется дело не только в размере у клауда кажется 100b параметров а какие тексты он генерит лучше gpt-4. Мне кажется у них есть особое обучение. Которое пока не очень все просекли. А именно это ориентация в пространстве что делает модели более понятливыми, поэтому отрыв у турбы даже от самых больших бесплатных моделей в 3 раза в этом. Тесты агентов если глянуть. Но я вижу до этого уже другие допирают на днях видел репозиторий с реализацией такого обучения, вот интересно на таком обучение затюниную модель глянуть.
https://dynalang.github.io/
Турба мне просто не нравится по своей генерации. Но трудно спорить что она умна, но мне кажется дело не только в размере у клауда кажется 100b параметров а какие тексты он генерит лучше gpt-4. Мне кажется у них есть особое обучение. Которое пока не очень все просекли. А именно это ориентация в пространстве что делает модели более понятливыми, поэтому отрыв у турбы даже от самых больших бесплатных моделей в 3 раза в этом. Тесты агентов если глянуть. Но я вижу до этого уже другие допирают на днях видел репозиторий с реализацией такого обучения, вот интересно на таком обучение затюниную модель глянуть.
https://dynalang.github.io/
Как же хочется GPT-5, локально, uncensored, 10 t/s
Будет локальная GPT5 будет и капсула
>CSAM
Опять пориджи придумали новое слово, пришлось гуглить, и теперь мой аккаунт помечен.
Это аббревиатура, если что. Посмотри в cloudflare, раздел "caching/configuration", чтобы беспалевно узнать, что она означает.
Я уже понял, что это про детоёбов, скрин с гугла если что.
Мисомакс 70b хуйня? Я пока не ещё пробовал
4к контекста. И это микс от левого автора. Лучше Айробороса наверни.
Кванта под проц нет.
Да хз, надо попробовать, отдельно модели что в нем хорошие и весь вопрос в том как мешали и не всрет ли все тот каштомный суперкот.
> 4к контекста
ntk-rope и уже на сколько памяти хватит
> Лучше Айробороса наверни
Там у автор опять чудит, версия 2.2 вроде как снова с соей, а анцензоред теперь отдельной веткой спайсиборос.
Странно , качнул ботов, но после пары строк все скатилась в дружбу между ними. Хотя один дерзкий, резкий, а другой обычный.
Аноны, с какой температурой роляете?
Ставил 1.3, как часто видел в треде, но появляется прямо много отсебятины, галлюцинации, довольно быстро забывает про правила.
На стандартной 0.7 правилам более-менее следует, зато в самоповторы может скатиться, и не такая разговорчивая.
Вроде 1 более-менее, но тоже периодически глючит.
Просто, может надо ещё какие настройки подкрутить, чтобы таких багов не было?
Алсо, ещё вопрос про GGUF модели. У меня 16RAM и 6VRAM, пробовал модели разных квантов, от 4 до 6. И все они в какой-то момент начинали жаловаться что нехватает памяти.
При этом на 4 квантах бывало что RAM свободна 2 гига, VRAM 1 гиг, а всё равно жалуется.
На 4к контекста быстрее прилетает, но на 2к тоже, просто на пару сообщений дольше выдерживает. В чем проблема может быть?
Ставил 1.3, как часто видел в треде, но появляется прямо много отсебятины, галлюцинации, довольно быстро забывает про правила.
На стандартной 0.7 правилам более-менее следует, зато в самоповторы может скатиться, и не такая разговорчивая.
Вроде 1 более-менее, но тоже периодически глючит.
Просто, может надо ещё какие настройки подкрутить, чтобы таких багов не было?
Алсо, ещё вопрос про GGUF модели. У меня 16RAM и 6VRAM, пробовал модели разных квантов, от 4 до 6. И все они в какой-то момент начинали жаловаться что нехватает памяти.
При этом на 4 квантах бывало что RAM свободна 2 гига, VRAM 1 гиг, а всё равно жалуется.
На 4к контекста быстрее прилетает, но на 2к тоже, просто на пару сообщений дольше выдерживает. В чем проблема может быть?
В размере контекста, смотри в консоль на каком размере не смогло сгенерить, хотя с такими показателями тебе возможно стоит смотреть в сторону коллабов
Просто GPTQ модели у меня нормально работают с 4к контекста.
Поэтому и удивлен, что даже 2к не взлетает нормально, при том что судя по мониторингу ресурсов место свободное есть.
GPTQ обычно уже пожатые в 4 бита же
А формат GGUF Q4 - это не аналог GPTQ разве? Или даже такой GGUF больше?
Есть торрент CodeLLaMA?
0.5-0.7, остальные параметры тоже роляют, пресеты симпл-1, плезент резалтс, энигма, диван_интеллект можешь просто юзать.
> в самоповторы может скатиться
(encoder) rep pen поднимай, но не сильно, вместе с этим придется задирать и температуру.
От лупов помогают 2 вещи - более понятное поведение (буквально чтобы сеть понимала хотябы в какое направление продвигать) и нормальная модель в комбинации с подходящим форматом промта. Последнее вообще даже более важно, можно хоть много постов с овер 5к токенов, офк сам контекст больше, заниматься одним и тем же (не кум лол) и оно не ломается а потом легко переходит на новые действия.
Зато на некоторых, что нахваливают, луп начинается уже с 3-го поста, когда любой ответ обязательно будет начинаться с одинаковой конструкции и реплики персонажа с минимальной вариацией, а шизоокончание вообще дублируется.
> В чем проблема может быть?
Если своп не отключен или очень маленький то возможно пытаешься выгружать все слои на видюху и упираешься в лимит адресации на ней. Вообще 16+6, учитывая еще жор системой, очень мало для 13б, но оно должно не вылетать а просто дико тормозить.
>пресеты симпл-1, плезент резалтс, энигма, диван_интеллект можешь просто юзать.
Я использую убабугу, эти пресеты там выставлять? Или это пресеты в таверне? В убабуге стоит симпл по дефолту.
>в комбинации с подходящим форматом промта
То есть выбрать модель и залезть на HF, чтобы посмотреть какой форма промпта юзать?
За остальное спасибо.
>Если своп не отключен или очень маленький
Своп резиновый вплоть до 50Gb. Так то понимаю что система слабая, но думал что да, просто будет медленно, да и GPTQ аналогичная не вылетает.
Значит, стоит попробовать просто меньше слоёв н авидюху перекладывать?
Кстати, вчера попробовал эксламу2, на старых моделях GPTQ скорость крайне просела, раз в 6-8. На реддите чуваки с таким же сталкивались, у кого-то норм зашло только когда модель со второй ламой использовал, хотя моя тоже на ней была. Попробую сегодня модели с новым форматом.
> чтобы посмотреть какой форма промпта юзать?
Да, еще важен порядок подачи промта, типа "системный-описание персонажей-история диалога-а вот теперь давай напиши ответ за _чарнейм_ по таким критериям", в убабуге по дефолту последнего нет. Лучше используй таверну фронтом, там это уже в стоке реализовано.
> стоит попробовать просто меньше слоёв н авидюху перекладывать
Конечно, выше объема врам это приведет только к замедлению когда начнет выгружаться, а когда слишком много улетит ошибкой.
> можно хоть много постов с овер 5к токенов
Это на какой модельке?
>Лучше используй таверну фронтом, там это уже в стоке реализовано.
Так и делаю, но до сих пор не очень понял, если я в таверне, параметры убабуги влияют? Если нет, то где в таверне менять форматом промта?
Кстати, а чем отличается "regenerate" от свайпа ответа?
Регенерейт трёт всё насвайпанное
И то, и то меняет ответ, просто свайп сохраняет предыдущие генерации, а регенерейт всё удаляет? А принципиальной разницы нету?
Вроде да, свайп позднее появился
> если я в таверне, параметры убабуги влияют?
Смотря как подключаешься, если через кобольд-апи то часть что касается бана токенов, кропа промта и т.д. влияет. Если через апи хубыбубы то там почти все настройки есть и из таверны передаются.
> где в таверне менять форматом промта?
Буква A сверху, не забудь там снизу еще поле развернуть. На многих и базовый ролплей пресет хорошо работает.
70б, хотя недавно и тринашка млевда неплохо себя показала. 5к это же чуть больше десятка длинных постов и параллельно с процессом еще немного диалога было, возможно это спасает. И сам характер действий, сказывается ощущение что осведомленность и наличие подобных примеров при тренировке важны, если в известен пример реакции и есть понимание происходящего то все будет ок. Если ничего кроме gasps and blushing slightly сообразить не может и что ты делаешь не понимает, а в инструкции "пиши много" с примерами прошлых постов - вот тут и идет поломка.
Также от лупов даже на всратых моделях спасает отказ от длинных полотен.
Потестил немножко Spicyboros L2 70B 2.2 в 5_K_M. Моё почтение, прям нормас валит в РП. Но как же сука медленно, я хуею.
А что у тебя за станция?
Можно пошаговый гайд для дауна как запустить какую-то кастомную большую модель на видюхе с 24гб памяти? Не хочу стандартную ламу.
В шапке только на проце
В шапке только на проце
Качаешь в формате GPTQ или GGUF
ПИСОЕШЬ
@
Как языковая модель я не могу вести диалог на эту тему
Прямо пошаговый... Я реально тупой. И даже локальные модели соевые?
Нет, я пошутил. Есть немного сои, но она легко убирается. У меня ни разу в отказ не шла. Так вот, у каждого формата свой лоадер. GPTQ - ExLlama и ExLlamaV2 но она только вышла ничего не скажу про неё для GGUF llama.cpp и выбираешь сколько слоёв сетки надо положить на карточку
¯\_(ツ)_/¯
Человек хотел про диск — про диск можно.
А как достать — ет уже другой вопрос.
Поставил на кобальд модель Mlewd 13 4q, показывает что все 41 слоя выгружены на видеокарту 3070 8 гб, на генерация токенов по-прежнему очень низка. Отчего в этом случае зависит скорость?
Чел, в 8 гигов оно не влазит, у тебя сетка в оперативку подкачивается, а это медленно. Попробуй плавно увеличивать число слоёв, начни с 20, к примеру, заметишь, когда начнёт тормозить. И посмотрит расход врама хотя бы в диспетчере задач.
Подскажите, где в таверне крутить характер, задавать поведение скачанному персонажу? Я нубас просто.
Красава, из дефолтных пресетов использовал что или подгонял по их формат? Алсо, Максимка, зачем имена замазывал?
Для совсем хлебушков - то же самое как в шапке, только качаешь нормальную 13б модельку в gguf формате, после запуска кобольда выбираешь ее, в пресетах cublas, ставишь выгрузку все слоев. Подключаешься таверной и наслаждаешься.
> на генерация токенов по-прежнему очень низка
С чего ей быть высокой если 13б с контекстом и в 12 гигов не то чтобы помещается. Подбирай сколько выгружать и тогда будет норм, офк еще будет зависеть от псп рам и скорости проца.
В карточке все описывается, если хочешь посреди диалога то пишешь типа (ooc: она меняется в лице и пытается отомстить мне за все развратные действия).
спасибо7
> плавно увеличивать число слоёв, начни с 20,
> Подбирай сколько выгружать
Спасибо. Выставил 37, в итоге выдает 2 т/с, это максимум.
> если хочешь посреди диалога то пишешь типа (ooc: она меняется в лице и пытается отомстить мне за все развратные действия).
А как сделать, чтобы я в групповом чате играл роль рассказика, ну или меня случайно не поимели, делая вид, что меня нет, пока я не захочу.
> рассказика
Рассказчика*
Спать уже пора.
Кто-то из вас пробовал Теслу P40 под это дело? Как оно?
Потестил я Synthia-13B-exl2 4.625bpw, Pygmalion-2-13b-SuperCOT-exl2 4bpw и одну 34b модель (мало ли).
В общем, конечно, 34b модель не завелась, а другие две получились так же, иногда медленнее.
Может будет разница на 2-3 битах, но пока таких моделей не видел.
>Если через апи хубыбубы то там почти все настройки есть и из таверны передаются.
>Буква A сверху, не забудь там снизу еще поле развернуть.
Через убабугу, понял, спасибо.
У меня хорошо пошёл пресет simple-proxy, наконец персонажи остаются в рамках отыгрыша и правил.
В системный промт, авторские заметки или в описание собственного персоналити добавь что-то типа {{user}} является гейммастером, дает команды и направляет персонажей, но напрямую не взаимодействует с ними. Офк убери конфликтующие инструкции если такие есть.
Бляяя наблюдать и куколдить в ллм, чтож каждый дрочит как хочет.
> exl2 4.625bpw
Где кванты качал?
>Где кванты качал?
На HF, в поиске exl2 вбей просто
>Спасибо. Выставил 37, в итоге выдает 2 т/с, это максимум.
Это очень мало для этой карты когда почти все слои выгружены в врам. Может быть дело в драйвере? Если 535 и новее, то там карта может использовать оперативку, причем даже если врам не забита и тормозить. Во всяком случае в SD этот 535 замедлял генерацию в 50 раз при полупустой врам. Может и не в этом дело, убавь до 30 слоев, а то может всякое остальное типа контекста не лезет и закидывается в оперативку. 8 гигов врам сликом мало
> Во всяком случае в SD этот 535 замедлял генерацию в 50 раз при полупустой врам.
Ты это наблюдал или только читал об этом? Вообще идея (временно) поставить старый драйвер не то чтобы плохая, с ним ты улетишь в ООМ если захочешь использовать больше чем можно и так уже точно сможешь подобрать число слоев.
Чсх, и на новом драйвере на экслламе с gptq если переборщить с группами (32) и контекстом то оом ловится почти сразу после превышения, разница между просадкой скорости и отвалом буквально токенов 400.
Итак, у меня есть 4090? 7950Х и 64 оперативки ддр5(могу ещё 64 купить, так что считаем что 128. Какую максимальную модель я смогу запустить на таком конфиге?
Забыл добавить что на скорость мне похуй 2-3 токена в секунду сойдет, главное результат
70b
Скок бит, какой конткест?
7900x64гб(6000-30-36-36)+4090сток
airoboros-l2-70b-2.1.Q5_K_M.gguf
llama2_70b_chat_uncensored.ggmlv3.q5_0.bin
Processing:3.0s (16ms/T), Generation:104.0s (542ms/T), Total:107.0s (1.8T/s)
ggml_init_cublas: found 1 CUDA devices:
Device 0: NVIDIA GeForce RTX 4090, compute capability 8.9
llama_v3_model_load_internal: using CUDA for GPU acceleration
llama_v3_model_load_internal: mem required = 28709.23 MB (+ 1280.00 MB per state)
llama_v3_model_load_internal: allocating batch_size x (1360 kB + n_ctx x 320 B) = 1320 MB VRAM for the scratch buffer
llama_v3_model_load_internal: offloading 32 repeating layers to GPU
llama_v3_model_load_internal: offloaded 32/83 layers to GPU
llama_v3_model_load_internal: total VRAM used: 19274 MB
Фактическое потребление, с учетом кешей, размера контекста(4096) 22Гб примерно, так что 32 слоя в гпу24гб для 70млрд5бит - максимум.
Вцелом, оперативки остается ещё гигов 30, но 70миллиардов параметров - пока максимум что пока предложили двачерам.
И какого уровня текст получается, с чем можно сравнить?
> Какую максимальную модель я смогу запустить на таком конфиге?
В теории ужатый в хлам фалкон 180, но он говно. На практике - пускай спайсиборос70, вот где годнота.
Только у лам максимум, больше то модели есть.
->
Жить можно. Если говоришь по-английски. Но чатгпт4 всё-равно не жди и близко.
Нужны более сложные по количеству параметров модели.
Любопытно. Эни линк?
Жить можно. Если говоришь по-английски. Но чатгпт4 всё-равно не жди и близко.
Нужны более сложные по количеству параметров модели.
Любопытно. Эни линк?
Модели-то есть, но движки для них в убабугу встроены не будут, если шо. =) Не думай, что скачал и запустил на имеющемся софте. Не так все просто, если интересно.
Готов сани летом, а перекат с 489 поста. Короче добавил в шаблон про gguf, заменил дефолтную модель на MythoMix-L2-13B и написал пару слов про выгрузку. Что ещё я проебал?
https://huggingface.co/spaces/tiiuae/falcon-180b-demo это самый нормальный, но там минум 90гб, оперативы, а лучше видеоаперативы.
https://huggingface.co/spaces/THUDM/GLM-130B
https://huggingface.co/bigscience/bloomz-mt
https://huggingface.co/intlsy/opt-175b-hyperparam
фалкон наверно лучший из них.
Фалькон тут не сильно хуже лламы. Всё остальное говно, опт на 175b ЕМНИП посасывает у 7B лламы, лол.
вообще на самом деле ничего поднимать не нужно если есть знания немного в программировании можно запроксировать почти любую демку в апи.
Удачи.
Честно не запускал и не пробовал их, так что не скажу точно.
Но есть несколько моментов. Даже если по тестам модель сливает, то что там за тест MMLU, а это хуйня на энциклопедические знания. Никак не отражает качество историй. По опыту большие модельки всегда лучше в логике, и понимают о чем говорили недавно ведут разговор с учетом этого, это их плюс.
Во вторых конечно тут не тюненые модели, с ними особый разговор, им нужно либо много примеров перед разговором. Ну либо тюненые смотреть есть falcon-180b-chat и тот же bloomz. Можешь сам вообще затюнеть по любым датасетам и алгоритмам на кагле. Но это все понятно на любителя лучше не прыгать выше головы и брать что по железу тебе подходит.
Надолго ли?
Cublas/clbblast или что там?
Хуй знает, но там может что то новое будет доступно. hf chat обычно стабильно работает, разве что там бывает то добавят то вырубят модель. Сейчас шумиха пройдет и falcon 180 по обычному адресу будет доступен. Тоже и с falcon 40 было когда вышел.
https://huggingface.co/spaces/mosaicml/mpt-30b-chat
К примеру тут и промпт можешь любой поставить да и вроде mpt без цензуры тоже. В общем всегда прицепится есть к чему.
Может на всех ссылках на рентри заменить org на co?
Можно, хотя не понимаю зачем.
ПЕРЕКАТ
ПЕРЕКАТ
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2-х бит, на кофеварке с подкачкой на микроволновку.
LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3, в которой 175B параметров (по утверждению самого фейсбука). Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2.
На данный момент развитие идёт в сторону увеличения контекста методом NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества.
Так же террористы выпустили LLaMA 2, которая по тестам ебёт все файнтюны прошлой лламы и местами СhatGPT. Ждём выкладывания LLaMA 2 в размере 30B, которую мордолицые зажали.
Сейчас существует несколько версий весов, не совместимых между собой, смотри не перепутай!
0) Оригинальные .pth файлы, работают только с оригинальным репозиторием. Формат имени consolidated.00.pth
1) Веса, сконвертированные в формат Hugging Face. Формат имени pytorch_model-00001-of-00033.bin
2) Веса, квантизированные в GGML. Работают со сборками на процессорах. Имеют несколько подформатов, совместимость поддерживает только koboldcpp, Герганов меняет форматы каждый месяц и дропает поддержку предыдущих, так что лучше качать последние. Формат имени ggml-model-q4_0.bin. Суффикс q4_0 означает квантование, в данном случае в 4 бита, версия 0. Чем больше число бит, тем выше точность и расход памяти. Чем новее версия, тем лучше (не всегда). Рекомендуется скачивать версии K (K_S или K_M) на конце.
3) Веса, квантизированные в GPTQ. Работают на видеокарте, наивысшая производительность (особенно в случае Exllama) но сложности с оффлоадом, возможность распределить по нескольким видеокартам суммируя их память. Имеют имя типа llama-7b-4bit.safetensors (формат .pt скачивать не стоит), при себе содержат конфиги, которые нужны для запуска, их тоже качаем. Могут быть квантованы в 3-4-8 бит, квантование отличается по числу групп (1-128-64-32 в порядке возрастания качества и расхода ресурсов).
Основные форматы это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной.
В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090.
Гайд для ретардов без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой:
1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии.
2. Скачиваем модель в ggml формате. Например вот эту
https://huggingface.co/TheBloke/WizardLM-Uncensored-SuperCOT-StoryTelling-30B-GGML/blob/main/WizardLM-Uncensored-SuperCOT-Storytelling.ggmlv3.q5_1.bin
Можно просто вбить в huggingace в поиске "ggml" и скачать любую, охуеть, да? Главное, скачай файл с расширением .bin, а не какой-нибудь .pt
3. Запускаем koboldcpp.exe и выбираем скачанную модель.
4. Заходим в браузере на http://localhost:5001/
5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure.
Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется!
Для удобства можно использовать интерфейс TavernAI
1. Ставим по инструкции, пока не запустится: https://github.com/TavernAI/TavernAI (на выбор https://github.com/Cohee1207/SillyTavern , умеет больше, но заморочнее)
2. Запускаем всё добро
3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001
4. Радуемся
Инструменты для запуска:
https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах, есть поддержка видеокарт, но сделана не идеально, зато самый простой в запуске, инструкция по работе с ним выше.
https://github.com/oobabooga/text-generation-webui/blob/main/docs/LLaMA-model.md ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ. Самую большую скорость даёт ExLlama, на 7B можно получить литерали 100+ токенов в секунду.
Ссылки на модели и гайды:
https://huggingface.co/TheBloke Основной поставщик квантованных моделей под любой вкус.
https://rentry.org/TESFT-LLaMa Не самые свежие гайды на ангельском
https://rentry.org/STAI-Termux Запуск SillyTavern на телефоне
https://rentry.org/lmg_models Самый полный список годных моделей
https://rentry.co/ayumi_erp_rating Рейтинг моделей для кума со спорной методикой тестирования
https://rentry.org/llm-training Гайд по обучению своей лоры
Факультатив:
https://rentry.org/Jarted Почитать, как трансгендеры пидарасы пытаются пиздить код белых господинов, но обсираются и получают заслуженную порцию мочи
Шапка треда находится в https://rentry.org/llama-2ch предложения принимаются в треде
Предыдущие треды тонут здесь: