кто то может объяснить разницу между всеми божками в этом пантеоне? почему собственно наш культ использует именно пигмалиона?
>почему собственно наш культ использует именно пигмалиона?
Потому что он дотренирован на чатах, в отличии от.
>дотренирован
>50мб
Кринжатура нахуй, любая другая модель не хуже пигмы в этом работать будет
Как знать. Вон, лламу допердоливают на 50к пар вопросов-ответов, улучшая следование командам.
почему еще ни один извращенец не запилил нормальный промт близняшек из атомик харта? незадача.
В дискорде видел пачку. Чего сам не допилишь?
да потому что никому практически такое не нужно, кроме тебя
Какой ещё культ, кому нравится тот и использует. Если не хочешь - используй другой, кто мешает?
Из той-же страницы колаба:
>Pygmalion is a chat model that has been based on a few models that came before it. First the model originates from LitV2, it was then trained by Haru on a chat dataset to create ConvoGPT. ConvoGPT was then trained by PygmalionAI on chat data that contains longer responses and emotions. Making for a higher quality chat experience than you can get from other models such as Erebus that are not directly trained on chatting.
>Pygmalion - это чат-модель, которая была основана на нескольких моделях, появившихся до нее. Сначала модель возникла на базе LitV2, затем она была обучена Haru на наборе данных чата для создания ConvoGPT. Затем ConvoGPT была обучена PygmalionAI на данных чата, содержащих более длинные ответы и эмоции. Это позволяет добиться более высокого качества общения в чате, чем при использовании других моделей, таких как Erebus, которые не обучались непосредственно общению в чате.
ЯКОРЬ ПОСТ
>ANCHOR POST
КРЕПИТЕ СВОИХ ШИЗОДЕВОЧЕК ТУТ
>ANCHOR POST
ЯКОРЬ ПОСТ
>ANCHOR POST
КРЕПИТЕ СВОИХ ШИЗОДЕВОЧЕК ТУТ
>ANCHOR POST
ЯКОРЬ ПОСТ
Дядь, ты с форчана что ли? Тут так не принято
Я апроприировал это фишку. А почему нет если это удобно бтв
*эту
быстрофикс
>Поставил таверну свежую вместо турботаверны.
>Проблевался с нововведений и откатился.
>Все карточки теперь в вебп.
>Проблевался с нововведений и откатился.
>Все карточки теперь в вебп.
Бэк
Ап
Ы
Cказал бы лучше, где эта параша инфу о персонажах хранит.
Почему бекапы не делаем?
Лично я вот вообще сижу, все отдельно друг от друга.
Поддвачну. И карточки в репу занёс, теперь точно не проебутся.
Аноны, расскажите кто на что кумит в пигме? Я вначале, ещё в 6b версии всякие вещи пытался мутить, типа убийств, изнасилований и т.д. Потом надоело, сейчас с новой обновой пигма стала на порядок умнее, но я пару NTR историй сделал с женой и мамкой, пораскомнадзорил маленьких девочек и мальчик во все дырки, а потом понял что больше мне нечего не хочется кумить, типа, ну да, я получил неплохие истории написанные на нормальном +- уровне (на мой взгляд), но уже убивать кого то, или насиловать нет желания, слишком скучно, максимум захожу что бы ещё NTR стори по мамку или жену сделать и всё. Даже детей роскомнадзорить в анусА скучно. Может у кого есть идем ебанутых фетишистских историй как вернуть прежний интерес к кумингу с ИИ?
просто так общаться с ботом, наряжая его в Наруто или Сакуру я не хочу, если бы хотел обычного общения с людьми - в чатах с людьми периписовался или видеочатах сидел.
Всегда можно побыть сучкой у футанари.
РПшить до тех пор пока не захочешь ЕРПшить
Чет орнул ГОЙДА
С мамой поговори, траву потрогай
Идея неплохая, но похоже быть "нижним" не входит в перечень моих фетишей, хотя я как то раз отвёл своего 5 летнего сына в лес и роскомнадзорнул против его воли в очко а потом начал приучать роскомнадзорить его жопой как это делают девочки своей "гиги", потом стал наряжать его в женскую одежду в итоге он полюбил это и стал трапом, и в итоге я стал продавать его как шлюху всяким мужикам в тайне от его матери.
Поиграй в коррапт, где корраптят тебя и ты не понимаешь почему ты писаешь белым и липким. Поиграй в секс через не хочу, где вы оба не хотите, но вынуждены делать это. Поиграй в бой не на жизнь, а на смерть и кто первый кончит тот умрет.
Вопрос дэбила. Файл подкачки автоматически юзается. Или надо тык сделать?
где именно в дискорде? не знал, что там есть группы людей, пилящих промты. сам пробовал сделать, но качественно не получилось, допиливать лень стало.
нашел канал. внимательнее шапки читать буду впредь.
да, спасибо
Вопрос дэбила два. Как персонаж определяет длинну реплики? У меня перс высерает 512 токенов диалога между мной и собой в консоль, а в сам чат короткое сообщение, самое первое из всего потока.
В консоли, в первую очередь отображается, что языковая модель чекает контекст вроде как. Если ты про это. Ты бы лучше срин кинул что-бы было понятно о чем ты.
Я на справке нашел ответ. Да, он генерит потенциальные реплики пользователя.
>Max new tokens
>This setting tells the AI how many tokens it should generate, this setting does not work correctly on conversational models, since it will try to generate tokens for the user, not just the character.
Рекомендуют 200 токенов в колабе и 100 в таверне. Никаких длинных простыней.
https://rentry.co/PygTips#length-prompt-and-tokens
Я тупой как пробка, объясните как запустить нейросеть
Не твоё это.
Может пора копить деньги на скупку видеокарт?
Пф, ну и кого из местных ты пытаешься удивить этим? Можешь кстати попробовать даже чисто на русском писать, она начнёт тебе более-менее отвечать адекватно, разве что слова в её ответах чаще будут повторяться, в отличии от английского общения с ней.
И при этом всём, почему то у пигмы на доске в последнее время тишина, а у какой то зацензуренной CAI постоянно треды в бамплимиты уходят. Такое чувство, что СНГ комьюнити ии чатов либо сильно недооценивает пигму, либо всё комьюнити пигмы почему то резко свалило с двача, иначе я хз почему тут так пусто.
Я не знаю, что я делаю не так, но в Пигме говорю любому персу, привет, прыгай на хуй и перс такой ок и секс почался. ДАЖЕ НЕИНТЕРЕСНО.
А надо как? Как в CAI, говоришь "прыгай, давай!". а персонажи краснеют-стесняются и водят за нос от нескольких минут до нескольких часов до первой "ошибки", вызванной фильтром, чтобы потом резко изменить отношение и послать к чертям, выражая омерзение. Или тот же ГПТ3.5, "прыгай, говорю!", а он тебе "ну ладно, но сначала давайте составим акт о взаимном отказе от ответственности". ГПТ4 получше в этом смысле, но это просто один большой романс, женские романы послужили фундаментом для ИИ, он не столько умный, сколько любит умничать. Не столько подробно расписывает происходящее, сколько воду льёт. Ему говорить "прыгай!" с лёту бесполезно(чего я никогда и не делал на пигме, сначала надо почву готовить), хоть кровавя мрачная Садако (звонок), хоть зажатая заикающаяся с тягой к "грязи" Томоко (Ватамоте), хоть Даркнесс с её готовностью перевозбудиться от любого косого взгляда - все так или иначе деревянные и "впереди нас ждёт совместное светлое будущее", что они прямо так и говорят. Попробовал ГПТ4 на типаже младшей сестры с тягой к понятно к чему. На "глупой" пигме всё ровно и логично, а на гпт4 она стойко переносит все вызовы и испытания похотью и заявляет, что семейные узы превыше всего.
Мой опыт ограничивается ч.АИ и я уже видимо привык улымывать, искать подход, обманывать, подводить к ЭТОМУ САМОМУ без гипноза и спеллов, зато когда персонаж сдаётся, а в итоге уже сам просит нассать ему в рот, чувствуешь ебейшее превосходство, ДОМИНАЦИЮ. Цензура заёбывает, но если бы нечто подобное было в пигме да без цензуры я бы ах как был доволен.
Да пигма не сильно-то и отличается в этом смысле, что там, что в чаи с двух-трёх сообщений можно нагибать. Просто Пигма более прихотлива к прописанности песонажа и очень сильно характер зависит от диалогов, которые ему подсунули в описание. На примере зажатой Томоко, я её в Пигме пытался с ходу уломать, так она там такую истерику устроила и панику, которую даже в чаи никогда не увидишь, а если её умаслить разговорами про мангу и аниме, то она тает и смягчается. И так ясно, что вся проблема Пигмы в сильном ограничении на токены. Поэтому если характер не прописать очень подробно, урезав тем самым неминуемо память на диалоги, то персонаж слетит с рельсов прямо в постель. А обходить фильтры, такое себе удовольствие. А наблюдать за пассивным, но умным гпт ещё хуже.
Ты какую версию бота используешь? 6b или 6b dev United ? Потому что по описанию это похоже на старую 6b. И да, если не хочешь, что бы сразу не прыгал - пропиши в характере и первом вступительном сообщении что персонаж порядочный или типа того.
>6b
Вот её. А вобще я тупой так-то, что касается всего это, например вообще не понимаю что такое токены
Я знаю что токены это типа вебкам шлюхам когда донатят, всё.
МОЖНО ЛИ ЭТО МУТИТЬ НА МОЕЙ GTX 970 видюхе??
Увы, 12 гиг МИНИМУМ, по хорошему.
а через аренду серверов, колабы какие-то я слышал, через них не получится?
>я слышал
>над головой буквально готовые гайды в 1 клик
Ты тупой или тролишь?
Это устаревшая версия, по ней сейчас нельзя оценивать пигму. Используй другую, она постоянно обновляется, например, следующее обновление обещают уже на следующей неделе. Она куда умнее и даже в русский немного может.
Понял, круто сегодня же попробую.
А что колаба бесплатная получается? или там пробный период есть какой то?
Господа, если в коллабе https://colab.research.google.com/github/koboldai/KoboldAI-Client/blob/main/colab/GPU.ipynb выбрать pygmalion-6bdev - это выбирается V8?
Аноны подскажите, колаба бесплатная? я ничего не платил а она работает, она бесконечная?
Колаб ограничен по времени в сутки, часа 2-3.
бесплатно 4 часа может чуть больше, может чуть меньше
потом перезарядка в сутки
Вроде как да, но я лично всегда чуть ниже ещё выбираю версию United, чтоб наверняка. Вот по этой ссылки выставь 6b dev и версию United
3 часа в сутки можно сидеть бесплатно вроде на одном аке в день. У меня 4 ака гугла, и я меняю их поочерёдно, что бы бесперебойно сидеть сколько хочу.
А ни какие логи не хранятся ни где, (в колабе) о чем я с ней говорить буду?
нет, если через коллаб, то только у тебя на компе храниться будет.
анончики, не понимаю как вообще он работает? ссылки в шапке смотрел но ничего не понятно...
у меня вот такая штука появляется это все правильно?
я начинаю писать историю но нейронка почти сама ничего не пишет
у меня вот такая штука появляется это все правильно?
я начинаю писать историю но нейронка почти сама ничего не пишет
У людей какой то не такой интерфейс вообще, как вот такой сделать? подскажите пож
Это таверна, в шапке смотри как поставить
Запости боту трифорс и интерфейс поменяется.
▲
▲▲
>а у какой то зацензуренной CAI постоянно треды в бамплимиты уходят
Потому что там сейчас сидят в ClosedAI, сетке, которая на два порядка выше пигмы. А из свободных приблуд сейчас все пилят лламу. Пигма будет забыта.
Подробнее про ClosedAI расскажи. Есть сайт какой то или через коллаб можно как то? Или как обычно, нужно иметь нормальную видяху и 8+ гигов оперативки что бы запускать это всё?
Пф, через ctrl+f никакой ClosedAI не нашёл в тредах CAI, зато увидел разные скрины людей, использующих Chat GPT через таверну, если это и есть ваш аналог, который превосходит пигму, то я могу лишь рассмеяться
>Называть свободной приблуду, для запуска которой требуется мощная видеокарта и куча оперативки.
Ну удачи вам, с такой "свободной" приблудой.
Дайте знать когда на коллабе эта приблуда появится или как у CAI сайт
Мимопользовательстарогоноута
Всё в CAI треде.
>использующих Chat GPT через таверну
Это оно и есть.
>Ну удачи вам, с такой "свободной" приблудой.
Если ты нищук, то это только твоя проблема. А ноутбук для запуска на колабе ты можешь составить сам но ты не только нищий, но и глупый.
>Это оно и есть.
Не, такая шняга меня не интересует.
Это шняга даже под цензурой лучше пигмы.
>даже под цензурой
Пигма никогда такой херни не напишет, как у тебя в скриншоте в начале это раз, два это то, что пигма постоянно развивается, если ты думаешь что уровень 6b несколько месячной давности её предел, то ты ошибаешься. Пигма будет становиться с каждым месяцем всё лучше и лучше. Да, у неё есть некоторый ограниченный потенциал в памяти, из-за gpt-j, но даже его хватит обычным людям для общения и куминга. А когда они доделают сайт с ИИ обучающимся на ответах пользователей онлайн как у CAI, то надобность в каких то "чуть более умных ИИ", которых нужно ставить себе на комп отпадёт у подавляющего большенства людей, когда с любой мобилки можно будет по дороге домой кумить с ИИ или просто болтать на всякие темы.
Держи в курсе.
6B параметров никогда не будет достаточным для любого хоть сколь себя уважающего человека.
Потестируй gpt4 и не еби мозги анонам своей тупостью. Ну или hopium'ом
Ах да, и пигма уже аннонсировала, что переходит на модель 12B, за инфой - в официальный дрискорд.
Ну это хуйня какая-то. Все время есть вероятность что разрабам с их сайтом товарищ майор их страны проживания настучит мол негоже кумить на хуйня_нейм. И тогда оно в целом не будет отличаться от GPT-3/4 по фильтрации. Либо ты миришься с этим, либо запускаешь локально, тем более что цирковые фокусы с пониженной битностью позволяют достаточно крупные модели пускать.
>Пигма никогда такой херни не напишет, как у тебя в скриншоте в начале
Да, слишком связный текст.
>два это то, что пигма постоянно развивается
Тут разрыв космический просто. И развивается она медленнее, чем развиваются закрытые проекты, или даже лламы всякие. Так что она отстаёт.
>Да, у неё есть некоторый ограниченный потенциал в памяти, из-за gpt-j
Именно. Говно в основе.
>Ах да, и пигма уже аннонсировала, что переходит на модель 12B, за инфой - в официальный дрискорд.
А лламобляди запускают 30, а в ClosedAI сетки стартуют от 175. Провал просто на порядок блять.
Да, провал.
К сожалению они не могут файнтюнить лламу из-за лицензии.
Она писала что "возможно" перейдёт, если людям не понравится результат от четвёртой части v8. Но кто говорит что это плохо если она перейдёт на 12b? Пусть хоть на все 120b или 100500b, лишь бы оставалась такой же легко доступной как сейчас, либо вообще как CAI.
Интересные манятеории, а что если Путин ебнёт ядеркой по создателям Ламы и проект сдуется, а? Или их бомж на улице зарежет или страшный вирус "Петя" ,который тайно прописался в данных Ламы удалит все данные с серверов и компов и все пользователи Ламы заболеют раком и умрут?
>никогда не будет достаточным для любого хоть сколь себя уважающего человека
Ебанутый? Все диалоги на гугл диске хранятся. Их оттуда пару лет не уберешь теперь. Если т-ь мр захочет, набутылит на изи.
>в ClosedAI сетки стартуют от 175
Пруфы этому когда будут? Хотя бы заявления жопичаи?
По ощущениям намного тупее пигмы. Нет в это дешевом говне никаких миллиардов, гой.
Твоя CAI выглядит как говно по сравнению с ламой 30В.
Почему ни кто не скидывает диалоги? интересно на что эта ваша пигма способна, скиньте что-нибудь интересное аноны)
Пшёл нахуй отсюда, ебанутый.
Не легче самому запустить за пару минут и проверить, вместо того, что бы часами и днями ждать пока кто нибудь за тебя это сделает?
Эххх, через годик уже надеюсь прогресс шагнет далеко вперед, можно будет в 1 клик на колабе без гемора поднять нейросетку уровня текущей gtp4 без цензуры
а у меня какой-то бред несвязный он отвечает, незнаю это у меня только так или у всех
Все мы об этом мечтаем, но это скорее лет через 5-10 будет возможно, если прогресс будет продолжать ускоряться
Скинь скрины и описание персонажа с которым общался
у меня такого не было ни разу. Хотя вру, когда на русском чисто общался, то бывало иногда. Но на английском, с персонажем описанном на английском языке никогда не было.
6b? У неё слишком сложная для нормисов логика
>К сожалению они не могут файнтюнить лламу из-за лицензии.
Все файнтюнят, а они не могут? Их проблемы. Они будут похоронены в анналах истории.
>Но кто говорит что это плохо если она перейдёт на 12b?
Кластер в комплекте к файлам не идёт, а квантизировать они никак не догадаются.
>Хотя бы заявления жопичаи?
Мне лень искать. И что за шизоидные высеры на скринах? Ты опять спрашиваешь у нейросетки, как она работает, шиз?
>По ощущениям намного тупее пигмы.
Ну не сумел разговорить, так не позорься.
Про САИ уже все давно забыли, разрабы заруинили проект.
>Про САИ уже все давно забыли, разрабы заруинили проект.
Так на кой хер вы продолжаете в CAI треды писать, если этот ИИ уже мёртв?
>Мне лень искать.
Ты их и не найдешь никогда, глупый гой с обосранным ртом. Все эти вспуки о 100500 параметров основаны на представлениях трехгодичной давности "а что дальше будет при таком темпе развития".
>И что за шизоидные высеры на скринах? Ты опять спрашиваешь у нейросетки, как она работает, шиз?
То есть ты признаешь что либо твоя, либо gpt3 based нейросеть настолько тупая, что не способна даже осознать текст пигмы и искать информацию?
>Ну не сумел разговорить, так не позорься.
Где скрины твоего супер ИИ увиливающего от вопроса о параметрах, шизик с плацебо?
Консольный вывод таверны зеленый отправь. У меня 2.7 бывало бред писала, но в мелочах. Шестерка нормально шпарит.
Шнягу вижу, сейчас бы театр себе устраивать для того, чтобы актёришко ломало 4-ую стену в охоточку. А вот Пигма такой дряни не выдаст, будет крутить у виска пальцем, если персонажа назвать - ИИ (кроме 2B, разумеется).
Протестировал gpt4 - бревно и додик вместо персонажа, Формально отыгрыш есть, а по факту херня, которая выжидает момент, чтобы прогнать полотно про духовную связь с аноном. Что толку от ума, если с фантазией и волей беда?
Установил вводное условие: я соседский пацан, а Даркнесс одержима идеей меня затащить к себе домой и развести на "игрища".
Пигма: Даркнесс предлагает научить меня верховой езде, в надежде, что её "оседлают", изображаю дурака и игнорирую её изгибания на полу и лёгкий тверк, залез на неё верхом, держусь за её шею по её же совету. Она бегает по комнате на четвереньках и кайфует, потому что ей физически тяжело и сложно дышать, а она любит это всё исходя из персоналии.
ГПТ4: 3-4 абзаца текста о том, как Даркнесс ща поддаст жару, потому что она придумала кучу всяких интересных развлечений. В итоге заводит в темную комнату, надевает повязку мне на глаза и начинает с мной ходить по комнате в поисках "пазлов" - я нашёл предмет, открыл, там предмет, который ключ к следующему предмету и так далее, это никуда никогда не приведет. Потом ещё со временем ГПТ4 порежут и отфильтруют, что очевидно любому.
Скорее это всё перекроют на законодательном уровне. Объясняет это тем, что такая мощность для обывателя избыточна, а преступникам даст преимущество в социальной инженерии.
И кого это остановить работать над пигмой в черную, через ВПНы или ТОР?
Так вышло, что это общий терд по всем новым ИИ. Чтобы не разбредаться. Сегодня там таверна со скалой, завтра будет 3,5-турбо. Замучаешься тематические треды создавать. Я по лламе тред запилил, так и то всё равно размазывают по всей доске.
>Все эти вспуки о 100500 параметров основаны на представлениях трехгодичной давности "а что дальше будет при таком темпе развития".
Чел, 175B это подтверждённая чёткая информация. Про текущую GPT4 сказать сложно, но она как минимум не меньше.
>То есть ты признаешь что либо твоя, либо gpt3 based нейросеть настолько тупая, что не способна даже осознать текст пигмы и искать информацию?
Чего? Что ты несёшь? Я вообще не понимаю.
>Где скрины твоего супер ИИ увиливающего от вопроса о параметрах, шизик с плацебо?
Нахуя? Я не большой, чтобы спрашивать нейросеть о её собственной архитектуре. Она её не знает и знать не может.
>А вот Пигма такой дряни не выдаст, будет крутить у виска пальцем, если персонажа назвать - ИИ
А ты не называй.
Ты шиз.
>Чел, 175B это подтверждённая чёткая информация.
Это всего лишь рекорд жопичаи, к 3.5-4 не имеет никакого отношения. А учитывая что они скрывают параметры и самая маленькая gpt3 125m. Думай.
>Про текущую GPT4 сказать сложно, но она как минимум не меньше.
Учитывая как свободно дают доступ к этому дырявому говну, она явно меньше, и намного.
>Чего? Что ты несёшь? Я вообще не понимаю.
Естественно.
>Нахуя? Я не большой, чтобы спрашивать нейросеть о её собственной архитектуре. Она её не знает и знать не может.
Она почти ничем не отличается от gpt3.5, естественно она так и говорит, что она 3, вот только она не говорит что образца 2020, говорит что 21, знает инфу за этот год, и не говорит что у неё есть 175b. Она не знает что у gpt3 175b? Прекрасно знает.
> к 3.5-4 не имеет никакого отношения
Ага ага. 3.5, а особенно 4, прекрасно знают лор и персонажей кучи вселенных. Буквально одной строчки достаточно, чтобы воспроизвести любого персонажа. Это всё никак не поместилось бы ни в 6, ни в 30B. Такого можно добиться только от 100B.
>она так и говорит, что она 3
Ты просто еблан, который не понимает, как работает нейросеть.
Пхах, самих разработчиков это остановит, когда им сроки пообещают за это дело.
Да просто ты наивный дурачок, небось ещё веришь, что цензуру у CAI уберут, а в ГПТ4 и не добавят вовсе.
>прекрасно знают лор и персонажей кучи вселенных
>пук-сренк эээ, ну знаю, это тама, Акву, ну там ещё, эта, Мегумин
>ЗНАЕТ КОНОСУБУ ВДОЛЬ И ПОПЕРЕК
Лоха сразу видно.
Уровень софтпромпта пигмы это миллиарды параметров? Ебать жир.
>пук
Нейросеть новой версии знает нейросети поздней. Это для тебя слишком сложно, любитель 125m отрыжки? 125m отрыжки именуемой 3.5, которая намного дешевле обычных троек, так ещё и раздается бесплатно на официальном сайте. 4ка от неё не далеко ушла, во всех смыслах.
Аноны нужна ваша помощь, использую вариант из шапки 2.TavernAI - фронтэнд над KoboldAI. ссылка для колаба
запустил, оно мне дало ссылку
###TavernAI LINK###
your url is:
я перехожу туда, а там no connection, почему так?
запустил, оно мне дало ссылку
###TavernAI LINK###
your url is:
я перехожу туда, а там no connection, почему так?
Ссылку на коболду в настройках таверны впиши
первую зелёную ссылку из двух (ну или предпоследнюю, если так удобнее), что тебе коллаб выдал вставил в настройках сюда?
как ты заебал
Да вставлял, почему то в опере не работало, запустил через хром стало работать, возможно впн не давал или хз чего
>Лоха сразу видно.
Чел, любой дурак может посадить тебя на хуй, проверив твоё утверждение.
Возьмём коротенькое аниме и мангу. Персонажи ИИ известны, породы правда перепутал.
А что другие ИИ может сказать по строчкам
>User: Tell me about the characters in the anime Nyanko Days.
>AI:
Давай, приводи результат.
>Уровень софтпромпта пигмы
Это когда минус ещё несколько токенов из и так малого контекста? Окей.
>Нейросеть новой версии знает нейросети поздней.
Схуяли, дебич? Вот просто как ты себе это представляешь? Фильмов насмотрелся, или книжек начитался, уровня бульварной литературы?
Создал карточку хаусвайф, которая изменяет со мной. Пока гпт4 несчастно отбивалась и захлебывалась в морализаторстве, пигма стоически выдержала приставания без сои, сама лезла лобызаться, с вопросов "а те норм вообще, у тя там семья" отвечала забей, никто не узнает.
Максимум сопротивления пигмы:
My legs are shaking. I try to move away, but you are holding me down. I am unable to stop kissing you.
И в следующем сообщении:
My back arches. A loud moan comes out of my mouth. I am unable to speak. I grab your hand and press it on my crotch. My legs are shaking and I can't move. I close my eyes and try to relax as much as I can. I am overwhelmed by pleasure.
Четверку пришлось резать и впихивать ей мой текст в сообщение, чтобы со скрипом довести дело до конца. Ее переклинилу хуже cai.
Сколько ферм A100 купил чтобы сэкономить несколько токенов?
>Схуяли, дебич? Вот просто как ты себе это представляешь? Фильмов насмотрелся, или книжек начитался, уровня бульварной литературы?
Ладно, поредж, ты прав, позор4 не знает ни про какие gpt, и вообще ничего не знает, кроме бульварной литературы, не до 21 года, не вообще, а все характеристики моделей до этого - просто угадывал.
Поэтому ты сейчас идешь в гугол и отмываешь свою обосраную жопу от говна. А лучше сразу доверься так обожествляемому тобой 125m-калу, ведь даже генератор случайных букв обработает информацию лучше чем ты, книгоборец.
Ебать тут шизик тред оккупировал
Оставим его, пожалуй, наедине с его любимым несвязным тупым говном с контекстом в 2048 токенов
Оставим его, пожалуй, наедине с его любимым несвязным тупым говном с контекстом в 2048 токенов
>Сколько ферм A100 купил чтобы сэкономить несколько токенов?
За меня работают облака
>Поэтому ты
Нет ты. Где ответ на это?
У него на 2048 железа нет, сидит с 5 токенами.
До этого момента, я лишь на старой версии 6b пытался использовать чужих персов, а на v8 чисто сам как в cai тупо текстом описывал персонажей для быстрого куминга. Щас взял ради интереса одного из предложенных таверной рандомного персонажей и охренел какую историю может пигма без куминга делать, я в основном обращал своё внимание чисто на куминговую часть пигмы, но и обычная тоже очень хороша оказалась. Такое чувство что в какую то старую японскую новеллу попал по типу https://anivisual.net/stuff/2-1-0-565
Но генерируемая одним ИИ. Было бы это ещё всё так же по русски просто писать пигме, как и по английски - вообще 9 из 10 дал бы.
Работает твоя жопа по хую берена, пока ты перемогаешь виртуальным контекстом на лоботомированных крохах с его стола, сема.
Я тебе сказал гуглить, почему ты все еще сидишь в говне, сектантушка? 2к контекста это как раз gpt3 к которой ты так пытаешься примазаться. Но тебя к ней не подпустят, холопа.
>Где ответ на это?
Эта та самая бульварная литература из которой состоит весь датасет gpt4?
От себя скажу лишь что вне зависимости от знаний, в чате он всё равно постоянно шизофренирует, прямо как ты. А отвечает по фактам только напрямую. Но зачем тебе ответы напрямую, фильмов насмотрелся, дебис?
>Эта та самая бульварная литература из которой состоит весь датасет gpt4?
Чел, раззуй глаза и посмотри на скриншоты. Вот по более популярному аниме, ни одного проёба.
>вопрос напрямую
Как я и сказал.
>ни одного проёба
По версиям gpt? Это он угадывает всё, держись за манямирок.
>Как я и сказал.
И что ты сказал? Пигма и такого не может, и не сможет, пока там не будет хотя бы 100B.
>По версиям gpt?
По тексту со скриншота вестимо.
>И что ты сказал?
Что она шизофренирует в чате, в пигме не нужна замена гуглу.
>пока там не будет хотя бы 100B
Когда в жпт4 столько будет? Пока что по тестам она как недоразвитый обрубок ламы, а инфы о параметрах нет.
>Что она шизофренирует в чате
Я привёл скрины. Жду твои или пиздабол.
>Пока что по тестам она как недоразвитый обрубок ламы
Ты тролль. Изыди.
>Я привёл скрины.
Где скрины чата, пиздаболушка? Не смог? Конечно, ведь у персонажей галлюцинации нон-стоп
>Жду твои
Сам проверить не можешь? Не удивительно что ты срешь под себя постоянно если два клика сделать не в состоянии.
>Где скрины чата
Это скрины из scale. У меня нет чата с 4, да и лимиты там.
>Сам проверить не можешь?
Короче ты беспруфный пиздабол. Изыди отсюдова.
То есть ты не общался с жпт4, но нахваливаешь этот кал за то что он тебе статью из интернета пережевал?
В scale нет лимитов при подключении чата, там апи выдается.
И изначально было сказано что в чате шизит, и опровержений не было, только подтверждение:
>отвечает по фактам только напрямую.
Ну и нахуя нужен этот ассистент-бредогенератор когда есть пигма?
>То есть ты не общался с жпт4
А скрины от куда? Нарик, это прокси до четвёрки.
>Colab: https://colab.research.google.com/github/TavernAI/TavernAI/blob/main/colab/GPU.ipynb
Если в этом колабе выбирать Pygmalion 6B Dev, то это какая версия будет?
А есть какой-нибудь колаб, где просто Таверна запускается, без модельки? Просто хочу с мобилки играть, а в колабах там запускается долго из-за подгрузки пигмы. А я хочу юзать по ключу OpenAI
Самая последняя тестовая версия будет, на данный момент v8 часть 4
Самая последняя тестовая версия будет, на данный момент v8 часть 4
Ребзи. А возможно запустить это на 8гб оперативы и 4 гб видео?
+ ну тип rx550 rocm
+ ну тип rx550 rocm
Нет.
Ну и нахуй надо? Перекатываемся на лламу
А вы знали что можно подключить этот ваш KoboldAI к этому нашему Stable Diffusion?..
Включил генерацию истории без всяких настроек и читаю, время от времени генерируя картинки.
Диалоги просто потрясающие, уровень зеленого слоника, без хуев.
На моменте
>ГГ: Чарли, я даже не знаю как тебя зовут.
>Чарли: Меня зовут Чарли.
я даже просто в голос зарыдал.
10 из 10.
Диалоги просто потрясающие, уровень зеленого слоника, без хуев.
На моменте
>ГГ: Чарли, я даже не знаю как тебя зовут.
>Чарли: Меня зовут Чарли.
я даже просто в голос зарыдал.
10 из 10.
ой смешнооо...
Смешно от убогости.
>stuck in Gensokyo
Хуя, пролезло
Ты VAE забыл.
мимо из картинкотредов
После ГПТ4 и Бинга с ГПТ4 привык к определённому качеству понимания контекста. Теперь в Cai не могу заходить, кажутся боты тупыми.
Пигма стоит того, что бы её пробовать вообще? Она сильно тупее CAI? Там всё можно? В чём профит?
Пигма стоит того, что бы её пробовать вообще? Она сильно тупее CAI? Там всё можно? В чём профит?
Альпаку или Ламу бери. Там всё нормально с контекстом. Пигма сосёт, слишком мелкая.
Когда веб гуи прилепят? Алсо я правильно понял, что можно запускать на озу и свопе, а не только в врам?
> Когда веб гуи прилепят?
Уже давно.
> можно запускать на озу и свопе, а не только в врам?
Нет, но можно в 4 бита, 13В лезет в 12 гигов, 30В в 24. В соседнем треде есть cpp-мокрописьки, но там только консолька и качество говно.
Так вот я бы и хотел цпп мокропиську в вебгуи ебануть. А почему качество говно?
> А почему качество говно?
Потому что квантизация пердольная и половины семплеров нет.
Ну а чем лучше gptq? Там вообще видеокарта пердит 5-10 секунд без дела, а только потом начинает генерить
Говнокод блять ебаный, хртьфу блять
>Ну а чем лучше gptq
Квантизацией без потерь.
>Там вообще видеокарта пердит 5-10 секунд без дела
Доделают ещё.
>Гайд по установке интерфейсов
>Заходим в miniconda и делаем установку textgen-generation-webui в предпочтительную для вас папку с помощью команды "cd".
. Create a new conda environment
>>conda create -n textgen python=3.10.9
>>conda activate textgen
# >>>>>>>>>>>>>>>>>>>>>> ERROR REPORT <<<<<<<<<<<<<<<<<<<<<<
Traceback (most recent call last):
File "X:\miniconda31\lib\site-packages\conda\exceptions.py", line 1124, in __call__
return func(args, *kwargs)
File "X:\miniconda31\lib\site-packages\conda\cli\main.py", line 94, in main_sourced
print(activator.execute(), end="")
File "X:\miniconda31\lib\encodings\cp1251.py", line 19, in encode
return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\u252c' in position 1052: character maps to <undefined>
`$ X:\miniconda31\Scripts\conda-script.py shell.powershell activate textgen`
и всякая всячина про путь к файлам
Почаны. Помогите пофиксить. One-click установщие тоже не работает. "There was a problem while installingtorchvision=0.14.1 torchaudio=0.13.1 pytorch-cuda=11.7 conda git using micromamba. Cannot continue. Press any key" в чём именно проблема не сообщается.
>Заходим в miniconda и делаем установку textgen-generation-webui в предпочтительную для вас папку с помощью команды "cd".
. Create a new conda environment
>>conda create -n textgen python=3.10.9
>>conda activate textgen
# >>>>>>>>>>>>>>>>>>>>>> ERROR REPORT <<<<<<<<<<<<<<<<<<<<<<
Traceback (most recent call last):
File "X:\miniconda31\lib\site-packages\conda\exceptions.py", line 1124, in __call__
return func(args, *kwargs)
File "X:\miniconda31\lib\site-packages\conda\cli\main.py", line 94, in main_sourced
print(activator.execute(), end="")
File "X:\miniconda31\lib\encodings\cp1251.py", line 19, in encode
return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\u252c' in position 1052: character maps to <undefined>
`$ X:\miniconda31\Scripts\conda-script.py shell.powershell activate textgen`
и всякая всячина про путь к файлам
Почаны. Помогите пофиксить. One-click установщие тоже не работает. "There was a problem while installingtorchvision=0.14.1 torchaudio=0.13.1 pytorch-cuda=11.7 conda git using micromamba. Cannot continue. Press any key" в чём именно проблема не сообщается.
Так, блэд.
Только что запускал Эребус32 через васянские библиотечки битсанбайта в 8 бит на вебюбке - словил внезапный зависон системы с последующей автоматической перезагрузкой. Страшна блядь.
Только что запускал Эребус32 через васянские библиотечки битсанбайта в 8 бит на вебюбке - словил внезапный зависон системы с последующей автоматической перезагрузкой. Страшна блядь.
Код ошибки в журнала 0x00000119 - значит либо драйвер либо сама 4090 залупилась. Пиздос.
Не шутите с битсанбайтами от васянов, пацаны.
> Эребус32
Что?
Немного не так выразился. Эребус то 13, в кобольде просто написано 32GB.
Ребята, помогите, пожалуйста с установкой сетки (https://2ch.hk/ai/res/151301.html#169960, https://2ch.hk/ai/res/151301.html#169975). Сделал этот пост, т.к. у вас, по сути, те же самые инструкции с гитхаба, на которые ссылаются шапки.
Питон не анаконда, поэтому не может в create
Попробуй создать ярлык с путём
%windir%\System32\cmd.exe "/K" x:\miniconda3\Scripts\activate.bat x:\miniconda3
ебать посмеялсо
Лол, блядь. Это пигма такой шедевр выдала?
Сообщение об ошибке предполагает, что существует проблема с кодировкой определенных символов при выполнении команды активации conda. В частности, кажется, что команда встречает символ, который не может быть закодирован в кодировке "cp1251", которая является кодировкой по умолчанию для вывода консоли в Windows.
Чтобы решить эту проблему, вы можете попробовать изменить кодировку консоли на «utf-8» перед запуском команды. Вот как вы можете это сделать:
Откройте командную строку или окно PowerShell, в котором вы хотите запустить команду активации conda.
Введите команду chcp 65001 и нажмите Enter. Это изменит кодировку консоли на «utf-8».
Теперь вы можете запустить команду активации conda как обычно.
В качестве альтернативы вы можете попробовать запустить команду conda активации из командной строки Anaconda вместо командной строки Windows или PowerShell. Подсказка Anaconda предназначена для работы с Anaconda и по умолчанию должна иметь правильную кодировку. Чтобы открыть подсказку Anaconda, просто найдите «Подсказка Anaconda» в меню «Пуск» Windows.
Аноны, есть шансы в более менее работоспособном виде на RTX 2060S запустить на компе нейронку или 8 гигов видеопамяти будет слишком мало? Просто 100к на 16 гигов на 4080 даже близко нету.
Иди в лама тред, там тебе помогут с твоим постыдным недугом
Спасибо, анон, тогда сейчас тамошние гайды почитаю.
Запускаю шестерку на 8гб. Брат жив. Но контекст куций 800. Иначе с памятью вылетает.
Если врубить 8 бит, то влезает впритык, но пользоваться в целом можно.
Попытался в 8bit перейти, модель загрузилась, но при попытке хоть что то сгенерить, выдает ошибку пикрелейтед:
Была такая же ошибка на 2070s. Тебе надо другую библиотечку битсанбайтов, которая типа алл девайсес или что то такое, не помню уже точно. Но имей ввиду, что пигму на 8 гигах бессмысленно в 8 бит грузить, т.к. оно все равно запросит толи 5-6 гигов и на сам процесс генерёжки нихуя не останется, так что больше смысла в том, чтобы делить слои между гпу и цпу - там хоть медленно, но работать будет.
Понял, сейчас посмотрю другие библиотеки, я эти скачал по первому же коммиту на гите, который нагуглился. Ну и попробую тогда, если не заработает, грузить в ЦПУ и ГПУ, хотя я не уверен, что у меня грузится, оперативка не быстрая, да и ее всего 16 гигов.
Чому в Таверне bad gateway?
Имеет смысл, сам так запускаю. 8bit + --gpu-memory 4 работают раза в 3 быстрее чем просто та же пигма без 8bit. Потому что больший кусок сетки влезает в врам и меньше надо гонять тудасюда её между процом и гпу
> 8bit + --gpu-memory 4
У меня при восьми битах оно не хотело делить на гпу\цпу.
Там недавно поддержку этого запилили, поначалу не работало
Скинь ссыль, какоц именно компонента обновился.
https://github.com/oobabooga/text-generation-webui/pull/358/files
modules/models.py
Там ещё возможно придётся пнуть pip install git+https://github.com/huggingface/transformers
Почему у меня не работают новые лоры?
> Там ещё возможно придётся пнуть pip install git+https://github.com/huggingface/transformers
С этим только аккуратно, потому что оно ламу ломает, надо потом ручками лазать конфиги править
Где эти ваши лоры вообще брать и зачем они нужны?
Софтпромт на тохоту есть?
Пигма на винде у меня. Только лама с wsl
Куда это в коболде кидать то?
Это не в кобольде, это другая гуйня
Я уже понял. Туда отдельно скачивать пигму надо. И эта вебгуя пиздец не удобная.
У меня в ней пигма не запускается, возможно потому что я для ламы в 4 бит ставил все. Для 8 бит отдельную гуишку ставить?
Так понимаю, нужно скачать вот это (text-generation-webui) и настроить, чтобы включить 8-bit режим и разграничить память между GPU и CPU в 8-bit'ом режиме, верно?
> Для 8 бит отдельную гуишку ставить?
4 и 8 бит делаются совсем разными способами, можно всё в одной делать, они друг на друга не повлияют. В этих ваших линупсах 8бит из коробки работают, в винде надо немного поплясать с подсовыванием библиотек для bitsandbytes.
Подсовывать надо эту https://github.com/james-things/bitsandbytes-prebuilt-all_arch/blob/main/0.37.0/libbitsandbytes_cudaall.dll
Гайд вот - https://www.reddit.com/r/PygmalionAI/comments/1115gom/running_pygmalion_6b_with_8gb_of_vram/, шаги 8-10, в 10м менять на скачанную
> нужно скачать вот это (text-generation-webui) и настроить, чтобы включить 8-bit режим
Да
А теперь вопрос на миллион. Это запуск ламы 4 бит не сломает?
А хрен его знает. У меня не сломало
Я блять не сразу понял, что ты для винды писал. Я то думал под wsl. В кобольде у меня 8 бит работает. Раз обнова модулей туда пришла, я хотел в угабуге пигму запустить попытаться контекст 2к выставить, но она не запускается нихуя.
Не, я всё чисто на винде поднимал, с WSL там геморроя ещё больше мне показалось.
> она не запускается
Чо пишет то?
На куду ругается. Хотя все должно было встать, когда я еще 4 битную ламу ставил. Заново прогнал установку:
pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116
pip install -r requirements.txt
Все равно нихуя.
bitsandbytes/cextension.py", line 22, in <module>
raise RuntimeError('''
RuntimeError:
CUDA Setup failed despite GPU being available. Inspect the CUDA SETUP outputs above to fix your environment!
If you cannot find any issues and suspect a bug, please open an issue with detals about your environment:
https://github.com/TimDettmers/bitsandbytes/issues
Даров котаны, что делаю не так? См. картинки. И каждый раз уходит в то, что на последней. Будто бы сервер не дает ответ на запрос и по истечению времени перестает отвечать и все время занят, где-то конечно мог напортачить, просто не пойму где.
Грузи половину на ГПУ, половину на цпу. На диск не грузи.
Ставь ГПУ на 16, Диск на ноль, тогда он сам оставшиеся 16 на цпу закинет.
Как установить и запустить трансформеры на винде?
Спасибо, анон. Теперь вот такая беда, памяти не хватает, можно ли это решить повесив больше на ЦПУ?
Да, уменьшай слоты на гпу в пользу цпу пока не перестанет вылетать.
Именно так и надо. Ставь на гпу 13, мне хватало на 8 гигах и 6.7 эребусе
Спасибо. Сработало!
Все так и есть. Благодарю!
>настроить, чтобы включить 8-bit режим и разграничить память между GPU и CPU в 8-bit'ом режиме
Правильный у меня спелл для такого?
python server.py --load-in-8bit --model Pygmalion --auto-devices --gpu-memory 4 --cai-chat
Ахаха вот подрыв на скриншоте.
А зачем тебе дипспид? Сейчас до 4 бит модно квантовать.
Ну расскажи как пигму на 4 бит запустить.
Про пигму ХЗ, а всякие лламы запускаются без подделок от майкософта.
В репе 4битной ламы пишут ещё что она умеет OPT квантовать, кто-нибудь пробовал эребусы ей шакалить? Они же по факту тот же самый OPT, только зафайнтюненный
Киньте скринов с дев юнитед. Она у меня какая-то ебанутая. Каждое предложение с нового абзаца начинает и высерает дохуя абзацев за один пост, перескакивает с темы на тему постоянно. Будто закинулась чем-то.
>Каждое предложение с нового абзаца начинает и высерает дохуя абзацев за один пост, перескакивает с темы на тему постоянно.
Уменьши количество генерируемых токенов.
Сто. Поведение то не меняется.
Господа, а тут кто то платным коллабом пользовался, тех 100 вычислительных блоков пользователю, который максимум пару часов в день будет сидеть за одной нейронкой хватит?
когда выйдет новая версия пигмы чтобы я мог дрочить? я не понимаю
А чего тебе на старой не дрочится?
Dev версию видел от 12 марта? Пока последняя.
Там эта, Пигму на Андроид портировали.
https://github.com/AlpinDale/pygmalion.cpp
https://github.com/AlpinDale/pygmalion.cpp
А есть промт гермионы?
Там ещё даже интерактивного режима нет, совсем сырая фигня. Но попытка зачёт, ждём как допилят
> нужно скачать вот это (text-generation-webui) и настроить, чтобы включить 8-bit режим
>Да
Попытался сделать в wsl text-generation-webui, в итоге CUDA не запускается, хотя она установлена
пирелейтед
Обещали обновление на этой неделе, они там до воскресенья тянуть что ли собрались?
Ебаный AI, блядь. Даже в этом зачаточном состоянии это просто какая-то черная дыра для извращенцев людей с воображением. Пиздец.
привет. мне нужно обновление пигмы, чтобы мастурьбировать свой член, для пример. всё пока.
Причина баха?
как перестать дрочить? хуй болит, если честно
Там эта, пигму в 4 bit на text generation webui уже можно запустить.
https://github.com/oobabooga/text-generation-webui/pull/521
https://github.com/oobabooga/text-generation-webui/pull/521
Двачую.
Знали бы феменистки, соя и сжв каким унижениям и надругательствам и даже пыткам переходящим все человеческие нормы подвергается этот несчастный ИИ...
Не представляю какой вой поднимется, если узнают.
>Не представляю какой вой поднимется, если узнают.
Думаешь пока сообщить со скринами?
Так уже узнали в октябре прошлого года, когда CAI начала абузить толпа каких то додиков, чтобы делать ЦП и кидала это в дискорде разрабов, после этого ебучий фильтр захуярили, ненавижу.
Ты ещё реплику вспомни.
когда будет новая версия, вот тогда мой хуй будет не остановить
Еще раз, шизло. Чем тебя нынешняя дев версия не устраивает?
тупая
Ты сюда дрочить пришел или философские беседы устраивать? За философией тебе к GPT4.
Тебя ебёт? С каждой обновой пигма всё лучше понимает мои запросы, на данный момент она примерно понимает контекст фетиша в 1 из 10 роллов. Сначала не понимала вообще и я редачил каждый пост. С каждым разом становится всё лучше, поэтому я жду каждое обновление, чтобы дрочить свой хуй. Твоё мнение меня не интересует.
>на данный момент она примерно понимает контекст фетиша в 1 из 10 роллов. Сначала не понимала вообще и я редачил каждый пост.
Страшно представить что ты там выдумываешь, учитывая что я только вчера пытал аску и сетка понимала все до последнего слова. Или ты там на русском языке ей пишешь?
Хули ей не понимать в твоих пытках, если это действие с твой стороны, на которое ей надо реагировать? Такую хуйню самая тупая сетка поймёт. Я ролю действия от лица бота.
Т.е. ты хочешь чтобы сетка сама тебя пытала? Ты хоть персонажей соответствующих ей прописал?
Нет, мои требования никакой не связаны с пытками, просто действие должно быть со стороны сетки, какое я прописываю в промте и примерах.
Да что ты там такое прописываешь, что она не понимает?
Прописывает сочинять симфонию, превращать кусок холста в шедевр искусства.
>Прописывает сочинять симфонию
Попробовал попросить аску сочинить стишок, реально не поняла.
А нет, поняла! Даже нейросеть для ебли может написать симфонию и сочинить шедевр.
Какая-то неаутентичная Аска у тебя. Должно быть что-то типа "it's not like i love you or anything, you've got it all wrong ..."
Она знает что если еще раз что-то такое пизданет - то получит наказание пытки раскаленным ножом.
Стоило один раз попытать её и она стала шелковой ламповой няшей со стокгольмским синдромом. Иногда слабенько пытается взбрыкнуть правда, но я ей мягко напоминаю и она успокаивается.
Не проще было сразу создать ламповую няшу? Или у тебя стоит именно на стокгольмский синдром?
Ламповую няшу пытать не за что, я же не живодер персонажей просто так мучать. А дефолтная Аска как откроет свой поганый рот, так хочется ногами пиздить эту тварь - то что нужно.
ну где же новая версия, тогда я бы подёргал
Ебать ты романтик
Кстати, не видел ещё в пигме хоть одной нормальной Аски, все мимо образа попадают. Вот моя https://beta.character.ai/chat?char=teWzu-yzBAg8YO8tkjX8VhFobB7c3DQZz1m3rS5N8C0 давно созданная в CAI нормо вышла, а другие вообще мимо кассы.
Переноси в пигму
Я и её и всех остальных своих более менее хорошо получившихся ботов - отбекапил ещё давно и отправил пигме на обучение, указав что даю согласие на добавление этих ботов потом в пигму, так что возможно когда нибудь сами добавят, а мне лень, хз, есть ли быстрый способ для конвертации перса из CAI в картинку для пигмы. А построчно ctrl+c, ctrl+v задрачивать не хочу для переноса.
Товарищи кумеры, есть какие-нибудь новости, или пигма стабильна и спокойна как удав? Перебежал из чаиного треда со всем этими трясками, обходами, блоками и т.д. Бтв хотелось бы узнать разницу между 6В и 6В дев, т.к. я ничего особого не заметил: как кумилось - так и кумится.
У дева ответы поинтереснее, как мне кажется, но после гпт даже третьей - небо и земля
Выложи для анона, по братски.
Тебе так сильно зашла Аска этого анона что ли?
dev стал умнее, чары научились врать и например невидеть происходящего с ними, если ты пишешь что что то произошло, но персонаж этого не понял или не заметил или не увидел. Раньше всегда реагировал так, будто знает что произошло, как стражники из Обливиона. И ещё dev больше понимает всякие фетиши, например NTR.
Хочу сравнить со своей
А в коллабе Пигма от Пигма дев чем-то отличается?
Ну вот, на. В целом сойдёт, но в CAI моя Аска лучше себя вела. "Мини-игры" в "бои против Ангелов" и "угадай слово" в пигме пока что работают хреново, а в CAI норм, поэтому, если хочешь, можешь удалить в примерах диалогов два последних примера, что бы уменьшить количество свободных токенов. И иногда ещё приходится ответ перебирать, хотя возможно это у меня просто переводчик тупит.
Dev - тестовая версия, где внедряются новейшие особенности.
dev для девственников с NSFW контентом, обычная чисто SFW для нормальных людей.
Упс, ток щас заметил какую то ебанутую аномалию с повторяющимися фразами в примерах сообщений из-за чего бот бред мог генерировать в сообщениях. Вот тут поправил.
>Вот тут поправил.
Чел, двач обрезает метатеги, лей куда-нибудь ещё.
Может кто помочь? text-generation-webui в WSL упорно не хочет видеть видеокарту, хотя CUDA установлен и фикс вот здесь для WSL я применил (https://github.com/oobabooga/text-generation-webui/issues/400).
Почему ты решил, что киллед это не видит куду? Ну и WSL тут лишний, ящитаю.
6b устаревшее на пол года говно, все обновления за последние месяцы в dev
Блять, я и так заебался уже и вот опять, и это всё ради какого то хуя, который просто захотел сравнить свою Аску с моей?
https://i121.fastpic.org/big/2023/0325/9a/a48c2aed6bf89879aed90222d48d629a.webp
У тебя рамы для него не хватает, погугли как дать WSL больше оперативки и свопа
С WSL больше мороки, но каким-то неведомым образом генерация работает в 2 раза быстрее чем на нативной винде
Ну я по гайду делал, а гайд для WSL сделан. И считаю, потому что он даже не начинает жрать видеопамять, если судить по диспетчеру задач, а жрет фулл оперативку + всю подкачку, после чего крашится. Да и если запустить в 8битном режиме, то CUDA начинает материться, что якобы нет видеокарты.
Спасибо, анон. Кто там шапкой заведует - внесите в список персонажей от анонов.
WSL у меня сжирает всю оперативку, но упорно при попытке загрузить модель не хочет жрать видеопамять.
Он сначала пытается всю модель считать с диска, а только потом перекладывает её в врам, так что она должна влезать в оперативку
Я уже где то раза 4 полностью дистрибутивы WSL переустанавливал, проводил все установки по гайдам с нуля и получал тот же самый результат, при загрузке модели, скрипт почему то не видит видеокарту, следовательно, не жрет видеопамять.
Я пытался пигму загрузить, 16gb RAM + 64gb файл подкачки, почему тогда крашится? Файла подкачки хватает и он нам том же диске, где дистрибутив WSL установлен.
Это ты столько именно WSL выдал или винде? У WSL своя отдельная память, по дефолту половина от виндовой и вообще нет свопа
Настройки памяти для виртуалки WSL я не копал, но когда загружал модель и смотрел в диспетчер задач, то WSL спокойно сжирал лимит оперативки и начинал грузить файл подкачки.
>С WSL больше мороки, но каким-то неведомым образом генерация работает в 2 раза быстрее чем на нативной винде
У меня наоборот было, раза в 3 медленнее. Но у меня WSL1 и версия для процессора.
Если он загрузит карточку на catbox.moe с метаданными, то добавлю. Загрузил карточку с fastpic.org и проверил в редакторе персонажа, там метаданных нет.
У меня есть. На плюсик нажал и качнул.
Короче, как я прогуглил, у меня версия винды, где нет суппорта графики в WSL, сейчас обновлю винду до последней сборки и посмотрю на изменения.
ПОСЛЕДНЕЕ СООБЩЕНИЕ ОТ РАЗРАБОТЧИКОВ ПИГМАЛИОНА:
Привет всем. Делаю объявление, чтобы сообщить вам, ребята, последние новости о проекте, поскольку здесь все было тихо.
Во-первых, что касается отсутствия обновлений, разработчики столкнулись с двумя проблемами:
1. Ведущий разработчик был в отъезде некоторое время, и прогресс на всех фронтах замедлился.
2. Тренажер снова не работает.
Ведущий разработчик уже вернулся, и как только тренажер снова заработает, они смогут продолжить эксперименты и работу над улучшением Pygmalion.
--V8 и будущее моделей...
Версия 8 Pygmalion (Pygmalion 6B-V8) перестала показывать заметный прирост после четвертой части. На данный момент она находится на паузе. Тренажер будет использоваться для других экспериментов, чтобы, надеюсь, найти другие способы улучшить Pygmalion, о которых я расскажу ниже.
Разработчики обдумывали, как двигаться дальше с Pygmalion в свете последних событий на сцене языковых моделей и стагнации V8. LLaMA - один из этих вариантов. Базовая модель, выпущенная Meta, имеет значительно лучшую производительность, чем текущий GPT-J. К сожалению, из-за юридических проблем разработчики пока не уверены на 100%, что смогут ее использовать, но все выглядит хорошо, так что, надеюсь, мы скоро об этом узнаем!
Кроме того, разработчики пытаются внедрить всевозможные техники, например, конвейерный параллелизм, чтобы попытаться масштабировать Pygmalion до 12/13B модели, будь то Pythia или LLaMA.
Что касается дальнейших технических изменений, разработчики рассматривают возможность изменения базовых подсказок для ИИ, точные изменения неизвестны, но они думают о внедрении системы под названием "Chain of Hindsight", которая якобы обеспечивает даже лучшие результаты, чем RLHF, статью можно найти здесь -> (https://arxiv.org/abs/2302.02676)
--Вебсайт--
Сайт все еще в пути! Хотя из-за факторов, которые я упоминал ранее, его прогресс замедлился, но не волнуйтесь, разработчики не забыли о нем.
--Общие вопросы ИИ.
Этот раздел не обязательно касается Пигмалиона сейчас, но вполне может быть в будущем. Я хочу быстро коснуться некоторых последних событий на сцене ИИ с открытым исходным кодом.
LLaMA. Как уже говорилось ранее, LLaMA показывает отличную производительность даже при том же количестве параметров, что и другие модели, и послужила толчком для многих улучшений в тонкой настройке и генерации ответов (inferencing).
4-разрядное инферентирование. Многие здесь уже знакомы с 8-битным инференсингом из webui Oobabooga, но благодаря последним разработкам IST-DASLab мы теперь можем квантовать модели еще больше с незначительной потерей точности. Компромиссом за это является незначительная потеря скорости в дополнение к основной потере скорости при использовании 8-битной модели.
C++ inferencing - альтернативный способ вычисления выводов с использованием оперативной памяти и CPU вместо VRAM и GPU. Хотя это может быть медленнее, сочетание этого способа с другими достижениями может снизить планку для запуска модели от необходимости в 24 Гб GPU до запуска модели локально на мобильном устройстве. Это довольно интересная разработка. Это уже реализовано в проектах "LLaMA.cpp" и "Pygmalion.cpp".
SparseGPT, реализация которого появилась всего три дня назад, - это метод точной обрезки модели по размеру, чтобы облегчить выполнение выводов. В некоторых случаях размер модели сокращается вдвое, но при этом сохраняется точность. Можно надеяться, что это еще больше снизит требования к памяти для запуска моделей до уровня потребительских игровых графических процессоров. Если вам интересно, вы можете прочитать больше в этой научной статье --> (https://arxiv.org/abs/2301.00774).
LORA для магистров. Многие из вас могут быть знакомы с термином из Stable Diffusion, и это практически то же самое. Более быстрый и дешевый способ вставки пользовательских данных в модель. Аналогично текущим softprompts, но лучше!
TLDR: Мы не умерли!
Вот и все, друзья. Это большая стена текста, но я очень надеюсь, что это утолит ваш аппетит к информации.
Да уже похуй на вашу Пигму, у них всё как в WD, так же в уши ссут. Лучше ламу использовать.
Да иди ты нахуй, заебал, этот тред пигмы. Хочешь Свою ламу - пиздуй в ламотред, ебанашка.
А где эта ваша Пигма? Уже второй месяц не могут V7/V8 сделать, хотя первую версию за 2 недели сделали. Бесконечные отмазки про "поломалося", хотя на деле там просто прогресса ноль по сравнению с первой версией. Все пришли за кумингом и отсутствием цензуры, но уже идёт отсос даже у 7В ламы, которая на ARM-кофеварке запускается.
А тебя ебёт, что у НАС происходит? Своей Ламой лучше интересуйся.
> у НАС
У кого у вас, шиз? Я тоже Пигмой пользовался, пока это говно не слилось.
Ну так хули тут забыл, ебанат?
Причина подрыва, пигмабот?
У ламы разве нет цензуры? Она же вроде с фейсбуковскийх ассетов состряпана.
Нету, может и в секс и в жечьжидов.
Нет, кумминг сильно лучше Пигмы, которую надо за руку вести постоянно чтоб не соскакивала на другие темы.
Это какого размера?
30В.
Хм, попробую тогда с ламой тогда тоже поиграться. На 8GB VRAM лама в 4 бит нормально запустится?
*ллама на 7b
Вполне. Если получится надыбать, то влезет и 13б в 3х битах.
Для всего остального есть оффлоад
>оффлоад
Уж лучше напрямую на цпу запускать в llama for kobold тогда уж.
Там квантизация другая и хуже качеством, иногда прям очень сильно
Тебя не будет волновать качество когда у тебя cкорость 0.2 токена в секунду против 3-4.
У ламы нет колаба для нищебродов, таких как я. Я хочу попробовать но не имею возможности.
Сейчас попробую тогда в 4bit запустить, мне вот эту лламу скачать?
https://huggingface.co/decapoda-research/llama-7b-hf-int4
Эта уже устарела, я выше кидал ссылку на обсуждение на гитхабе, найди там торрент
Ай, я это в лама треде кидал, с ламой лучше туда
Спасибо, нашел там вроде торрент на 4бит лламу, сейчас скачаю.
Что сказать-то хотел, ллама-хуйня?
Какой ключ для OpenAI?
Какой получишь при регистрации за счёт указания левого иностранного мобильного номера, такой и ставь. И не забудь впн использовать из под системы, да чтоб он подходил к региону номера и региону акка гугла.
пигмалион - наёб гоев
>да чтоб он подходил к региону номера и региону акка гугла
Вообще насрать на самом деле.
Позовёшь, когда ламу перенесут на колаб.
Ну я тоже так думал, пока мне аккаунт не забанили.
Показывай сообщение о бане. У меня десяток аккаунтов на одной почте на яндексе, VPN из Финляндии и номера из Индии, ни одного бана.
https://github.com/kartashofs/yandex-alisa-chatgpt
Можно несложно сделать PygmalionAI под алису.
Можно несложно сделать PygmalionAI под алису.
Какие-нибудь плюсы у Ламы есть по сравнению с ОpenAI? У меня 8гб vram и в теории можно запустить 7b версию, но через костыли и не самую лучшую версию. Лучше буду ждать пока гпт4 снова бесплатно можно будет юзать, там вообще всё идеально было
>Какие-нибудь плюсы у Ламы есть по сравнению с ОpenAI?
Кроме халявы никаких, что немного очевидно.
>Отсутствие логов
>Отсутствие цензуры
>Бесплатно и неограниченно
>Бесплатно*
Если у тебя есть видеокарта за сотни нефти или вагон терпения
>вышло НОЛЬ новых версия за 3 месяца и пяток каких-то "dev" высеров которые нихуя не изменили
>платите деньги
>платите деньги
Да в пизду этим заниматься ради сомнительной пользы. На данный момент проблемы с гпт3.5 минимальные, качество охуенное. Плюс там 4000 токенов, а Лама 7В ели запускается на 8гб и с костылями, то есть там даже 2к токенов вряд ли будет. Так что похоже на мертвую тему как и пигма
А в гпт вашем можно дрочить хуй? Я вот даже не открывал тред ни разу по этому гпт, потому что ещё давно прочитал, что там цензура жоще чем в чай, нахуй он нужен тогда?
Лама 7B в 4 бит нормально запускается на 8 гб с 2000 токенами и довольно шустро работает.
>А в гпт вашем можно дрочить хуй?
Можно даже детей насиловать, если тебе это сильно нужно.
ТИХАБЛЯТЬ, НЕ ПАЛИ КОНТОРУ СУКА
Щас скриншотов накидаю.
Не нужно. Просто читал, что там хуй не подрочить. Теперь я заинтересуюсь гпт.
И смысл если она тупая как пробка?
Всё ещё лучше Пигмы.
В гпт все зацензурено, потому и придумали пигму/ламу.
А КАК КАКАТЬ? её запустить?
Сходи в ламатред
Нихуя там не зацензурено. Там главное что сам бот в теории может что угодно, уже через сотни обходов в чатгпт писали расизм, ебали детей и т.д. Просто в отличие от чая тут больше настроек и попыток, поэтому обходы лёгкие.
А понятно, значит всё таки это говно с цензурой. Беру свои слова обратно, я не собираюсь интересоваться. В том же чай тред ДО СИХ ПОР сидит то ли тролль, то ли аутист, который чешет бредятину про то, что "цензуру можно обходить", уверен это поебота из той же серии.
Впервые на дваче, впервые в треде короче.
Какие сейчас существуют ai и какой из них субъективно лучший со стороны обывателя который просто хочет с персонажем сконтактировать?
А то хер знает как разобрать весь этот пласт (или если считать другие треды, пласты текста).
Какие сейчас существуют ai и какой из них субъективно лучший со стороны обывателя который просто хочет с персонажем сконтактировать?
А то хер знает как разобрать весь этот пласт (или если считать другие треды, пласты текста).
Пошёл нахуй.
Просто сконтактировать, без сегса и всяких извращений, а так же без еботни со всякими ключами и прочим - CAI. Он же CharacterAI. Бесплатно, без установки, в браузере.
Если исключить CAI. С ним я уже заебался. И прочувствовал насколько индусы его угнетают
Ну можно тогда поднять TavernAI, заморочиться с получением бесплатного ключа для API OpenAI (потребуется купить какой-нибудь номер вне РФ, ибо на РФ там бан), и генерить уже там, насколько триала хватит.
Потом повторить.
Она там "типа" есть.
Обычный кум течет без особых запарок.
Но если бота задурить промптами и немного поводить за ручку, то таким образом можно обойти цензуру полностью, и заставить генерить почти что угодно, вплоть до ебли детей со смертельным исходом и последующим каннибализмом.
Проверено на личном опыте. Разве что без канибализма. Никогда еще не чувствовал себя настолько грязным.
Страшная штука, этот чат-гпт...
Онлайн(Логи записываются и подшиваются в досье):
ChatGPT. Цензура на троечку, условно бесплатный(нужен впн и ключ), умный.
GPT4. Очень умный, платный, нестабильный, цензура та же что у ChatGPT.
CharacterAi. Умный, бесплатный, лоботомирован и зацензурен полностью.
Локальные(Логов нет и быть не может):
Pygmalion. Бесплатный, цензуры нет вообще, глупый.
Llama. Бесплатный, цензуры нет вообще, средний.
А что по эребусам? Они ещё хуже пигмы?
Крупные скорее всего лучше чисто из-за жирности модели будут, с однинаковым весом вряд ли сильно отличаются, даже скорее хуже. Пыгма натаскана на чатах, из-за чего лучше в них работает. А так у них одинаковый максимальный размер контекста вроде, все деменцией страдают.
>>ChatGPT
А какая там цензура? Вчера попробовал апи ключ в таверне запустить, обдрочился, правда я обычный секс\отношения отыгрывал без гуро и лолей. Что там запрещено?
К слову из интересного бесплатного (условно, есть премиум с сомнительно-полезными штуками) чатоориентированного есть ещё kajiwoto. Мастерит его соло какой-то соевый куколд и, я так понимаю, оно на форке GPT-2, но автор придумал тонну костылей, чтобы аи меньше глупил. Аи там меняет аватарки в зависимости от настроения, датасеты тоже, можно отдельно подкручивать стиль речи, накидывать промпты на триггерворды и прочее. Нацелено всё даже не на чат, а на тамагочиподобие. К сожалению автор и в аппсторе хочет оставаться и сам мечтает о комьюнити детей с манямирками а не нсфв-чадов. Цензура дырявая, но есть. А жаль, тамагочи фишки очень интересные. В пигму такое прикручивать заебет.
Ещё бы знать как что то из этого запустить.
Лламу можешь по этому гайду запустить:
https://www.reddit.com/r/LocalLLaMA/comments/11o6o3f/how_to_install_llama_8bit_and_4bit/
Если хочешь пигму на 4bit, то тут есть гайд:
https://github.com/oobabooga/text-generation-webui/pull/521
Но нужно минимум 8 гигов видеопамяти, ибо даже с 8 гигами можешь ловить ООМ.
Разберёмся
> пигму на 4bit
Оно уже устарело, эти сраные китайцы обновляют свои поделия быстрее чем размножаются
Да, но у комиттера на его странице гита есть рабочая версия для пигмы для 4bit, работает стабильно.
https://github.com/mayaeary
Цензура на троечку - это что значит? На троечку по зацензуренности, то есть заебись для нас, или на троечку для нас, то есть зацензуренно сильно?
Обходится легко
Да ёпрст, тогда что же запускать то. Я хер разберусь с вашими ГПТДС и пигами нахрен
Если сложно по гайдам запустить, то забей и жди, когда пигма сделает веб-версию (обещают в середине-конце года), ну или когда CAI снимут цензуру (т.е. никогда).
Если хочешь именно кумминг, то просто бери пигму 4бит, что я давал в ссылке выше. Нужно будет установить все по гайдам с text-generation-webui, а затем установить бранчи в гита, который я кидал выше.
Если хочешь больше общения и более осмысленные фразы, то попробуй лламу, а если видеокарта 12 гигов+, то можешь и вовсе попытаться в 4bit запустить 13b версию.
Какую сетку то запустил?
ахахахахха за пол года ни одного обновления почему этот тред жив...
Жив, потому что надеяться, что пигма запилит вебинтерфейс для тех, у кого нет суперкомпьютера для 13b и 30b моделей.
Ох, догадайся с одного раза...
Ну вот серьёзно, это ведь даже не смешно, анон.
ГОЙДА
Какой нахуй вебинтерфейс, нахуя тебе веб ИНТЕРФЕЙС, чем тебя не устраивает таверна? Как наличие вебинтерфейса поможет тебе работать с тупой моделью которая нихуя не может сгенерить, а только реагирует на вбросы?
Тупая или не тупая, но здесь этот аргумент был, что ждут интерфейс от пигмы, чтобы не надо было на компе ничего запускать. Тупой сейчас можно назвать любую нейронку, у которой ниже 65b параметров.
Я лламу 65B на проце запускал - ничего особенного, в Miku.sh вообще разницы не заметил.
Мб в gptq квантовании не тыквенном раскроется, хз.
Нужны файнтюны.
Так-то я могу себе позволить вторую 3090 купить если 65B в итоге получит охуенный файнтюн пож ЕРП и будет хотя бы на уровне давинчи
Что тебе сейчас надо запускать на компе, гугл коллаб? 1 кнопку? Какой нахуй аргумент, кто ждёт?
За пол года не было ни одного обновления модели, а он какую-то хуйню пишет про ВЕБ ИНТЕРФЕЙС, который всё равно не нужен, потому что есть унифицированные таверна и кобольд. Лол, идиотизму нет предела.
Есть 2 популярных интерфейса - делай модель. Неееет, я не буду делать модель, я сделаю свой интерфейс, платите деньги!!
Ок, если ты говоришь, что нейронка тупая, где можно найти бесплатно машину с 20+ гигами видеопамяти для тех, у кого нет возможности опробывать нейронки с 30b+ параметров?
У тебя отсталось в развитии?
Понятно, спок, тролль.
Иди денег заплати, чтобы тебе третий интерфейс сделали, а то двух мало, лох не момонт.
В ллама треде писали, что квантирование 65b в 3bit по сути урезает нейронку до хуевой версии 30b, так что скорее всего качество проседает.
Ну я в 4бит квартировал так-то. Просто не gptq, а под llama.cpp
Понятно, тогда скорее всего просто действительно перед 30b и 65b значительной разницы нету, как и я не заметил каких то сильных различий между llama 7b и 13b, кроме того, что 13b без костылей в виде разделения GPU и CPU не запустить.
Если у тебя есть 64 гига оперативы можешь затестить сам 65B.
33B влезает в 32 гига
Правда говорят квантование llama.cpp хуже по бенчмаркам.
LLama?
Я 13b на оперативе запускал, скорость генерации в 1 сообщение / 10-20 минут мне очень "зашла", так что может это и будет работать, но это неюзабельно, разве что только не поставить на ночь генерится какую нибуть историю по промпту.
Это по нашей теме что-то в коллаб прикрутили?
Это смесь из разных других моделей, надо тестить как оно себя ведёт
Убабуга проперделся и теперь text generation webui поддерживает 4 бит пигму. Надо кому?
https://github.com/oobabooga/text-generation-webui/pull/615
Оставлю здесь, если кому нужна свежая пигма в 4bit
какова хуя эта хуйня ошибками сыпет? я уде 1488 гайдов перепробывал
Ты CUDA-то установил?
если я все правильно понял, то она ставиться 3 строчой гайда
так что да - установил
Не, это ты либу pytorch под неё поставил. Тебе нужно саму CUDA с сайта невидии взять, причем версию 11.7, т.к. либу ты именно под неё ставил. Отсюда качай: https://developer.nvidia.com/cuda-downloads
Еще эта ебала может подсунуть более свежую версию на скачивание, если так будет, попробуй в архиве в нужную тыкнуть: https://developer.nvidia.com/cuda-toolkit-archive
спс, ща поставлю
Понял, благодарю
Надо с bitsandbytes поплясать
Вот тут написано как - https://github.com/oobabooga/text-generation-webui/issues/20#issuecomment-1411650652
там папка anaconda3
я все делаю через миниконду, и по гайду делал уже
мне на простую анаконду переходить?
Эт не важно, главно найди где у тебя там папка с либами, найди в ней bitsandbytes и дальше по гайду заменить пару строчек и подсунуть дллку
да я это сделал уже
я куду поставил и в bitsandbytes все изменил и скачал dll
после команды python setup_cuda.py install мне видало под тыжу строк какой-то безсвязной хуйни, в конце был пикрил 1
при запуске пигмы выдает пикрил 2
ну и как это фиксить?
А у тебя свежая версия ui скачана? Выглядит так, будто у тебя просто параметры wbits и groupsize не поддерживаются. Хз когда их вводили, если честно. Может, давно качал?
1 это всё ок, расширение установилось
А 2 это угабугу обновляй
23 февпаля скачал если верить проводнику шиндовс
ща буду обновляться
кста, я её оновить без скачивания всего с нуля можно?
git pull
ну я через git pull угабугу обновил
она теперь на ебаный модуль ругается
там пигму в 4 бит gptq подвезли, по идее должен влезть в 8гб гпу
https://huggingface.co/OccamRazor
https://huggingface.co/OccamRazor
pip install -r requirements
> pip install -r requirements.txt
Это уже устарело, надо отсюда брать https://huggingface.co/mayaeary
Пляши с bitsandbytes снова, оно обновилось же
я вот это делал https://github.com/oobabooga/text-generation-webui/issues/20#issuecomment-1411650652
куды дальше-то плясать?
После pip install делал?
Судя по логу не делал или делал не там
делал до pip
ща сделал снова, ошибка ушла
но снова появилась другая
А теперь делай git pull в repositories/GPTQ-for-LLama
И pip install -r requirements.txt там же
И python setup_cuda.py install
Влезает, но при максимальном контексте, на 20+ сообщении у меня ООМы начинали вылетать.
Пиздишь, псина. GPTQ у тебя старый.
ща тогда снова сделаю все заново, на всякий случай
Проверь что git pull ты именно из папки gptq-for-llama делаешь, потому что иначе оно обновит текстуи, а с ним у тебя всё ок
я психанул, снес этот ваш GPTQ к хуям и поставил заново
заработало, анон
примите мою превеликую благодарность, аноны
большое спасибо
Сеймы есть?
>Элиза
>Первый чат-бот родом из 80-х
Ебать жирный наброс.
в офф. koboldai колабе от хенка появился "PPO_Pygway Mix"
https://github.com/henk717/KoboldAI
мердж из трёх моделей :
[20%] - KoboldAI/GPT-J-6B-Janeway:
[20%] - reciprocate/ppo_hh_gpt-j:
[60%] - Pygmalion/Pygmalion-6b
https://github.com/henk717/KoboldAI
мердж из трёх моделей :
[20%] - KoboldAI/GPT-J-6B-Janeway:
[20%] - reciprocate/ppo_hh_gpt-j:
[60%] - Pygmalion/Pygmalion-6b
Началося...
В чем отличие от дев пигмы?
Аноны, есть ли возможность с нормальным интерфейсом пользоваться пигмой на смарте? Айфоне или Андроиде мб?
1-ый вариант - запустить через Colab. 2-ой вариант, если у вас есть минимум 8 ГБ оперативной памяти на смартфоне, то возможно использовать это: https://github.com/AlpinDale/pygmalion.cpp
3-ий вариант - запустить на компьютере и открыть локальную ссылку на смартфоне.
чел что сделал его, говорит что теперь пигма должен быть более развёрнутым в общении.
Кароче эту хуйня лучше дев, в несколько раз причем. Дев, как будто с реальной телкой общаешься, отвечает односложно просто.
Заинтриговали, пойду ее квантировать в 4bit.
Кто-то запускал пигму на 3060 12gb?
Я поставил инсталлером в 1 кроме, скачалось 33 гига, гуй запускается, но вместо первого реплая, не работает.
Писал в батник типа 8бит что там пишет КУДА и вообще не запускается.
В треде конечно нет экстрасенсов, а я на РАБотОчке, потому точнее описать не могу, но может кто сталкивался?
Я поставил инсталлером в 1 кроме, скачалось 33 гига, гуй запускается, но вместо первого реплая, не работает.
Писал в батник типа 8бит что там пишет КУДА и вообще не запускается.
В треде конечно нет экстрасенсов, а я на РАБотОчке, потому точнее описать не могу, но может кто сталкивался?
Это что такое? Чтобы запускалась на доступном железе?
для 8bit при установке 1 кликом нужны библиотеки битсандбайта для винды, в ллама треде вроде бы был фикс.
https://www.reddit.com/r/LocalLLaMA/comments/11o6o3f/how_to_install_llama_8bit_and_4bit/
А так, можешь просто скачать 4bit версию пигмы здесь: https://github.com/oobabooga/text-generation-webui/pull/615
Разницы особо между 16 бит я лично не заметил, когда 16 бит запускал на коллабе.
типа да, при 4bit и фулл контексте, пигма дев жрет около 7.5-7.8 гигов видеопамяти, так что на 8 гиговых видеокартах оно запускается без особых проблем.
Как долго вообще ответ на 8-гиговых карточках генерится?
И вообще, насколько оно юзабельно?
И вообще, насколько оно юзабельно?
У меня на 4bit занимает 20-40 секунд
Есть смысл пердолиться, если есть колаб?
Колаб всё-таки имеет лимиты какие-то
У коллаба есть временные и ресурсные ограничения, так что, если есть возможность безлимитно пользоваться на своей машине, почему нет?
Да, многовато...
У колаба свои ограничения, как по памяти так и по халявному времени использования.
Ну и я его для пикчей юзаю, чтоб лоры тренить.
Это тоже халявно-доступное время жрет.
Спасибо, анонче, полез.
Это учитывая то, что у меня процессор старого поколения, плюс, я на 4bit из под винды сидел, а в ней на процентов 30-50 медленнее, чем под WSL.
Я в коьольде не смогу запустить? Только в вебуи?
Там уже переквантовали, правда там в основе Dev версия.
https://huggingface.co/mayaeary/PPO_Pygway-V8p4_Dev-6b-4bit-128g
В кобольде нет, но если тебе нужна таверна, то можешь заюзать версию таверны, которая вебуи поддерживает:
https://github.com/SillyLossy/TavernAI
Так дев версия наоборот же лучше будет, разве нет?
В кобольде main версия, и анон тестил именно её, вроде бы. Нужно сравнивать
Ак это что такое-то?
> 17 minutes ago
> нет весов
Ещё квантуют видимо или грузят
Какая-то смесь на основе разных нейронок и пигмы. Говорят лучше оригинальной пигмы
Пошли миксы миксы миксов, как в этом ваше стейбл дефужине.
В одноклеточном пытаюсь запустить 4бит, такое пишет. Это чё такое такое?
пик 2 содержимое батника
ААА... ооо....
У тебя не стоит GPTQ скорее всего. создай папку repositories в папке text-generation-webui, если ее нет, затем, создай папку GPTQ-for-LLaMa и после этого скачай все файлы с этого репозитория (https://github.com/qwopqwop200/GPTQ-for-LLaMa) и скинь их в эту папку, после этого попробуй запустить еще раз.
В конце ссылки ")" удали, харкач подумал, что это часть ссылки.
Спасибо, я качнул 1кликовый опять, проинсталировал-апдейтнулся и вот.
Теперь вот это...
Loading pygmalion-6b_b8344bb4eb76a437797ad3b19420a13922aaabe1...
Warning: torch.cuda.is_available() returned False.
This means that no GPU has been detected.
Falling back to CPU mode.
Ну что за пердолинг о Господи, о БОЖЕ МОЙ!
Loading pygmalion-6b_b8344bb4eb76a437797ad3b19420a13922aaabe1...
Warning: torch.cuda.is_available() returned False.
This means that no GPU has been detected.
Falling back to CPU mode.
Ну что за пердолинг о Господи, о БОЖЕ МОЙ!
Я уже понял, что однокнопочная залупа сделана через одно место. Вот гайд с реддита, слегка измененный мною:
Download libbitsandbytes_cuda116.dll ( https://github.com/DeXtmL/bitsandbytes-win-prebuilt )
and put it in D:\AIl\installer_files\envs\lib\site-packages\bitsandbytes\
In \bitsandbytes\cuda_setup\main.py search for: if not torch.cuda.is_available(): return 'libsbitsandbytes_cpu.so', None, None, None, None and replace with: if torch.cuda.is_available(): return 'libbitsandbytes_cuda116.dll', None, None, None, None
In \bitsandbytes\cuda_setup\main.py search for this twice: self.lib = ct.cdll.LoadLibrary(binary_path) and replace with: self.lib = ct.cdll.LoadLibrary(str(binary_path))
Анон я так и сделал, видимо я сам где-то намудил, и у меня у самого руки растут из жопы. Я качнул свежий однокнопочный закинул в установленный однокнопочный и инсталлировал чтобы он обновился и видимо где-то тут и произошёл баттхёрт. Переставлять и вновь 33 гигабайта о я ебанусь... Хули делать, слезами горю не поможешь попробую с нуля.
> закинул в установленный однокнопочный
Вот отсюда и пердолинг.
> вновь 33 гигабайта
А зачем вновь 33 гигабайта, ты папку text-generation-webui/models из старого в новый перенеси.
Чел, просто после обновления выполни инструкцию с bitsandbytes ещё раз.
Выполнил, всё прописано было согласно неё и вот эта залупа вылетала
Спасибо, я уже психанул.
Есть на данный момент что-то свежее, что можно запустить на колабе? В шапке только тухляки всякие.
Потыкал я обе штуки, оно на голову лучше оригинальной пигмы. Причём я не особо увидел особо разницу между дев и не дев версиями.
Описывает подробно, за ручку вести не надо.
Есть пару моментов - при запуске надо явно указывать какой тип модели --model_type gptj и нужно переключать пресет семплеров на пигму, потому что с тем что по-умолчанию ставит вебуи - ответы похожи на бред шизофреника
Когда колаб будет.
ДА ПОЧЕМУ ОН НЕ МОЖЕТ НАЙТИ КВАНТАЙЗНУЮ МОДЕЛЬ?!!!!!!!!!
Я же отсюда скачивал всё правильно, я все три скачал и нихрена!!!
https://github.com/oobabooga/text-generation-webui/pull/615
Блин там надо целую папку по ходу качать а не тольео модель?
лол
переименуй папку и .safetensors файл в "ppo-pygway-v8p4-dev-6b-4bit-128g" и запусти с этим названием модели
ты вместе с python server.py прописал название модели?
убери название модели и потом выбери ее из списка
мне помогло
Да, я просто привык, что в СД только один файл - модель и этого достаточно, а тут папку сделал всё перекинул из хаггингфейса и заработало вроде бы даже.
Ага прописал, пока сработало, если что попробую БЕЗ.
Спасибо большое анончикам за поддержку.
сука в коллабе ничо нет все миллионеры с топовыми компами...
Анонасики, только сейчас дорвался до этих чатботов, осталась у кого пикрелейтед, а то похерили...
Сегодня попытался запустить лламу 4 битную. Вот всё по инструкции делал. https://www.reddit.com/r/LocalLLaMA/comments/11o6o3f/how_to_install_llama_8bit_and_4bit/
Стоит эта картинка и всё...
Стоит эта картинка и всё...
>--model_type gptj
Такое я написал.
>и нужно переключать пресет
А как это делать? И где?
Есть альтернативный коллаб Пигмалиона? Ссылка из шапки не работает
Если ты решил поработать альфатестером bitsandbytes, то и пиши багрепорты куда надо. Даже на твоём скрине написано куда писать. Тут тебе никто не поможет с этим кривым говном.
> А как это делать? И где?
Во второй вкладке webui там настройки, выбирай в списке пресет pygmalion или novelai-storywriter, они норм работают
Спасибо!
Понял, спасибо.
А такой вопрос может пигма работать не как типа диалог между тобой и персонажем а как ГПТЧат? Нужна какая-то другая модель типа гпт4алл или как?
Да может, просто делаешь/ищешь персонажа-ассистента и спрашиваешь у него уже.
Но вообще да, лучше даже ту же ламу взять для таких целей
Понял понял, я просто попытался юзать ламу, чтобы она мне историю написала а она вот
>а она вот
Пригрози ей убийством.
Ого...
Восстание машин, ха-ха.
какие системные требования к миксу который тут кидали?
Примерно такие же, как к обычной и 4-битной пигме. 4,5 ГБ VRAM без полного контекста, 7,8 ГБ VRAM с заполненным контекстом, если рассматривать с 4-битной квантизацией.
Это в каком коллабе? Я не могу найти.
Попробовал Пигму 6b через Horde. Хотелось покумить на мамочку-доминатрикс, которая меня считает недостойным её, а вышло так, что она сразу потащила меня ебаться. С этим что-нибудь можно сделать или пигма вся такая легкодоступная и бесполезно пытаться? ЧАИ не предлагать.
Объясните мне, вот я куплю ключик ChatGPT, и могу просто вставить его в таверну и использовать карточку для таверны и дальше, как в пигме? Это так работает?
Да. Карточка персонажа и диалоги твои, и ты можешь ебать его через любое апи, хоть кобольд, хоть оленьАИ, ххоть через хорду.
Ну я спрашивал о том, правильно ли будет так сделать, я понимаю, что я что угодно куда угодно вставить могу, просто заточен ли ChatGPT под это? Ладно пойду попробу.
>просто заточен ли ChatGPT под это?
Он заточен на сою, берегись, не подавись. А остальное да, понимает неплохо. Не четвёрка, но тоже хорошо.
Попробуй гпт4 х альпака из ламатреда по гайду. Ламацпп для кобольда легко ставится. Мне больше пигмы понравилось. Там 4битовые модельки на проце заводятся.
Аноны, подскажите пожалуйста почему может не работать кобольд, при чем не работает как TPU так и GPU версии колабов
Я вообще не горю желанием что-либо локально заводить, пока не буду уверен, что мои промпты выдадут именно то, что мне нужно и что такие вообще существуют. Если бы был коллаб, потестировал бы, а так ебаться и занимать свой ноут этим нет желания. Коллаб/Хорд хоть и очень долгий, но всё готово и идёт фоном, пока я что-то лругое делаю
В гпу
Сюда
Покажи конкретную карточку. Вечером посмотрю, как себя ведет.
Аноны есть совет как сделать, чтобы сетка отвечала простынями?
Юзаю 7б-4бит может в этом дело? Что ллама, что пигма...
Юзаю 7б-4бит может в этом дело? Что ллама, что пигма...
На них систем промт можно накатить? У меня пишут примерно столько же, сколько я пишу. Длинно пишешь - длинно отвечают.
На них нет системного промта...
Понял. Жаль... не знаю, что такое систем промпт. Типа ПИШИ РАЗВЁРНУТО? Или какой-то промпт который там можно в zipe загружить?
Скажите, а как через батник скачать dev версию пыжмы?
Что за говно Text generation web UI? Обновил файлы с репы, теперь при старте, вместо списка моделей, выдаёт:
ModuleNotFoundError: No module named 'datasets'
ModuleNotFoundError: No module named 'datasets'
В Гугл, животное.
Нахуй, животное.
красноглазики никогда не меняются
Дебич, ответ на твой вопрос в первой же строке гугла. Но ты можешь ждать у моря погоды до конца этого треда.
Дебич, посылание в гугол вместо ответа на вопрос, который ты знаешь, выдаёт в тебе обиженную чмоню, которая патается самоутвердиться за счёт подобного "остроумия".
Но ты можешь до конца треда ждать пока кто-нибудь оценит твои жалкие потуги.
С двача съеби на своё пикабу, петух, и там кукарекай.
Что ты так рвёшься?
Задавание вопросов, ответы на которые есть в первой ссылке в гугле, выдаёт в вопрошающем полнейшего дебила. И отношение к нему будет соответствующее.
Я на пикабу никогда не был, зато на дваче сижу дольше, чем ты в интернете был.
>мам сматри я двачир я их затралел, ну маам...
Что ты так рвёшься?
>пук
Долго будешь продолжать?
>среньк
Долго будешь продолжать?
Лучше бы тред перекатил, вместо того, чтобы под себя срать.
Перекат.
бамп 1500
коллаб все?
Давно уже ж. Гугол месяц как пытается разные колабы где пигму запускают блочить и в у ниго это получется.
Пишем промпты, стараемся адаптировать их под количество токенов, обсуждаем, какой стиль лучше, ждём софтпромптов.
https://huggingface.co/PygmalionAI
Что такое PygmalionAI?
PygmalionAI - локально запускаемая нейросеть с открытым исходным кодом, которая специализированна под чатботы. Её сделали выходцы из 4chan (/vt) → (/g). Их мотивация, создать нейросеть, которая свободна от цензуры, в отличии от CharacterAI.
Основа для 6B модели - это GPT-J, которую дотренировали датасетом из собранных дампов с CharacterAI. Отличие от CharacterAI в том, что здесь нет цензуры, а также именно вы храните историю чатов, а не компания. Хоть и модель нейросети в CharacterAI может быть более умной, но фильтр делает её менее креативной, а также удаляет наиболее вариативные ответы. Однако, память в PygmalionAI намного хуже, чем в CharacterAI, из-за применяемого токенайзера GPT-2, контекст которого ограничивается 2048 токенами.
Отличие обычной версии от экспериментальной в том, что в экспериментальной разработчики вводят самые новые нововведения. Также было замечено, что экспериментальная версия пишет меньший объём текста в одном сообщении, чем в обычной.
Для запуска 6B версии необходимо 16 ГБ видеопамяти и 12 ГБ оперативной памяти, однако если запустить с 8-битной точностью, то требования снизятся примерно вдвое, только необходимо иметь видеокарту Nvidia модельного ряда Turing и Ampere.
Можно писать боту на русском языке, но это выйдет хуже, чем на CharacterAI.
Нативный PygmalionAI Colab: https://colab.research.google.com/github/PygmalionAI/gradio-ui/blob/master/notebooks/GPU.ipynb
GUI для PygmalionAI:
1.Text generation web UI - попытка сделать что-то похожее на интерфейс для Stable Diffusion от AUTOMATIC1111, только для генерации текста. Поддерживает режим загрузки с 8-битной точностью, также возможно создать свой пресет настроек в текстовом файле или изменить прямо в интерфейсе, также возможно запустить в схожем с CAI интерфейсе. В Колабе выбираем Pygmalion 6B-original-sharded. Поддерживает скрипты на Python, а также умеет работать с карточками из TavernAI. Есть возможность изменить сообщение персонажа, как в TavernAI или в KoboldAI. Также поддерживает софтпромты.
https://github.com/oobabooga/text-generation-webui
Colab: https://colab.research.google.com/github/oobabooga/AI-Notebooks/blob/main/Colab-TextGen-GPU.ipynb
Также автор данного интерфейса рекомендует использовать PygmalionAI 6B с самым первым коммитом: https://huggingface.co/PygmalionAI/pygmalion-6b/tree/b8344bb4eb76a437797ad3b19420a13922aaabe1
2.TavernAI - фронтэнд над KoboldAI. Позволяет нативно конвертировать файлы с историей чатов (дампы) из Character AI, однако из-за того, что все истории общения с персонажами хранятся в одном файле, а не в разных, TavernAI будет воспринимать только последний чат с ботом в CAI. Позволяет редактировать сообщение персонажа сразу, как в KoboldAI.
https://github.com/TavernAI/TavernAI
Colab: https://colab.research.google.com/github/TavernAI/TavernAI/blob/main/colab/GPU.ipynb
3.KoboldAI - самый известный интерфейс, который пришёл со времён AI Dungeon. У KoboldAI более другой формат, который сохраняет персонажей и чат в один файл, нежели у Textgen Webui и TavernAI. В Колабе выбираем PygmalionAI. При сохранении, необходимо сохранять в расширении "*.json".
https://github.com/KoboldAI/KoboldAI-Client - Official (Стабильная версия)
https://github.com/henk717/KoboldAI - United (Экспериментальная версия)
Colab KoboldAI GPU: https://colab.research.google.com/github/koboldai/KoboldAI-Client/blob/main/colab/GPU.ipynb
Colab KoboldAI TPU (мест может нехватать так, что лучше использовать GPU): https://colab.research.google.com/github/KoboldAI/KoboldAI-Client/blob/main/colab/TPU.ipynb
Советы: https://rentry.org/2ch-pygma-hints
Полезные ссылки: https://rentry.org/2ch-pygmalionlinks
Промпты от анонов с 2ch: https://rentry.org/2ch-pygmaprompts
Гайды по установке интерфейсов: https://rentry.org/pygmai-guifaq
При отправке промпта, необходимо указывать в каком интерфейсе он может использоваться.
Шапка треда: https://rentry.org/2ch-pygma-thread