Ответ на пост «Как установить полноценный аналог ChatGPT на домашний ПК»

Товарищи, кто хочет рабочую версию ChatGPT4 на ПК и андроид, делаем проще. Обновляемся на 11ю винду. По мануалу с 4pda накатываем windows subsystem for android. Кто не хочет жестить с обновлением до 11й версии, используем известные эмуляторы Андроид для форточек. Затем оттуда же качаем эту apk и устанавливаем. Все. У вас взломанная версия gpt4 для андроида стоит ещё и на винде.

Ответ на пост «Как установить полноценный аналог ChatGPT на домашний ПК» Нейронные сети, ChatGPT, Windows, Android, Ответ на пост, Длиннопост
Ответ на пост «Как установить полноценный аналог ChatGPT на домашний ПК» Нейронные сети, ChatGPT, Windows, Android, Ответ на пост, Длиннопост
Показать полностью 2

Ответ soaqa в «Как установить полноценный аналог ChatGPT на домашний ПК»

Есть такая вещь как KoboldAI Horde, где доступны uncensored модели.
Так же его можно использовать как api для других приложений с нейронками, примеры таких есть на сайте проекта.
Среди моделей есть сетки даже с 60B параметрами, не чатГПТ конечно, с его скоростью, но 1-5 минут ожидания думаю лучше, чем ничего.
Ссылка на сам сайт проекта: https://horde.koboldai.net/
Ссылка на лайт версию: https://lite.koboldai.net/#  // Во вкладке  AI можно выбрать модель, там же и написано, насколько сейчас данный кластер с моделью загружен.


Так же есть небезызвестный  character.ai, но там  скорее по приколу пообщаться с персонажами из сериалов/книг etc.
Альтернативой к нему условно без регистрации будет TavernAI: https://github.com/TavernAI/TavernAI

Ответ на пост «Как установить полноценный аналог ChatGPT на домашний ПК»

Чтобы не заниматься всем этим, заходите на сайт https://poe.com/Sage и пользуйтесь ChatGPT 3.5 без регистрации и СМС.

Уже около полугода она служит мне отличным помощником в работе и хобби.

Как установить полноценный аналог ChatGPT на домашний ПК

Если последние пару лет вы хоть немного интересовались развитием технологий, то наверняка уже слышали о таком революционном инструменте на основе нейронных сетей, как ChatGPT. Инструмент вне сомнений потрясающий, ибо позволяет всего за пару кликов получить множество полезной информации на любую тему. Однако IT-гиганты не были бы сами собой, если бы не взяли столь полезный инструмент под тотальный контроль и не ограничили его итоговый функционал для широкой публики. В этой небольшой инструкции вы узнаете, как совершенно бесплатно установить на свой личный ПК полноценный аналог ChatGPT без какой-либо цензуры.

Как установить полноценный аналог ChatGPT на домашний ПК Нейронные сети, ChatGPT, Компьютер, Гайд, Длиннопост

Минимальные требования

  • CPU: Минимум 8-поточный процессор с поддержкой AVX (Лучше AVX2). Отлично подойдут процессоры семейства AMD Ryzen 1600+.

  • RAM: 8-16 Гб современной памяти стандарта DDR4/5.

  • GPU: Не требуется. Вся обработка происходит силами CPU.

Узнать характеристики своего ПК и поддержку процессором необходимых инструкций вы всегда можете с помощью бесплатной утилиты CPU-Z.

Как установить полноценный аналог ChatGPT на домашний ПК Нейронные сети, ChatGPT, Компьютер, Гайд, Длиннопост

AVX-инструкции

Установка

Для работы ChatGPT на домашнем ПК необходимо выполнить установку интерпретатора, чтобы компьютер понимал, как, собственно, ему работать с нейросетью, и отображал ответы в понятном человеку виде.

1. Скачачиваем программу Alpaca Electron с GitHub и выполняем её установку. Если вы используете Windows, то Alpaca-Electron-win-x64-v1.0.5.exe это ваш выбор. (Скриншоты в лучшем качестве доступны здесь).

Как установить полноценный аналог ChatGPT на домашний ПК Нейронные сети, ChatGPT, Компьютер, Гайд, Длиннопост

2. Запускаем программу.

Как установить полноценный аналог ChatGPT на домашний ПК Нейронные сети, ChatGPT, Компьютер, Гайд, Длиннопост

Пока перед нами всего лишь пустое окно с полем ввода и статистикой потребляемых ресурсов. Чтобы программа заработала, нам наобходимо скачать ей мозги (обученную модель нейросети).

3. Скачиваем модель без цензуры с веб-сайта huggingface.co, где люди делятся заранее обученными моделями. Для лучшей совместимости с ПО выбирайте модели с поддержкой библиотеки llama.cpp и файлы, в название которых есть GGML. В пути до модели не должно быть русских букв! Так же имейте в виду, что чем больше у выбранной модели квантов (q2, q4, q8), то тем больше ей требуется ресурсов ПК для беспроблемной работы.

Как установить полноценный аналог ChatGPT на домашний ПК Нейронные сети, ChatGPT, Компьютер, Гайд, Длиннопост

P.S. Дополнительно вы можете попробовать последнюю совершенную модель WizardLM-30B-Uncensored-GPTQ (Не протестирована). Подробней почитать о ней можно здесь. Я же только поясню, что возможности WizardLM-30B на 97,8% соответствуят возможностям ChatGPT 4. И всё это без какой-либо цензуры!

4. Открываем Alpaca-Electron и через левую вкладку Change model указывем ему путь до файла нашей модели. В моём случае это ggml-model-q41.bin.

Как установить полноценный аналог ChatGPT на домашний ПК Нейронные сети, ChatGPT, Компьютер, Гайд, Длиннопост

Вот, собственно, и всё! С этого момента в ваших руках кладезь знаний всего человечества. Вы можете попросить нейросеть написать вам реферат для института, исправить ошибки в тексте статьи или поискать нужную вам информацию. В общем, всё что угодно! Выключим интернет и зададим парочку вопросов для проверки работоспособности нейросети.

Внимание!

Для этой инструкции я умышленно ограничил выбор модели. Если вы хотите использовать версию с ответами на всё и вся и без каких-либо ограничений, то воспользуйтесь llama-30b-supercot-GGML/OpenAssistant-SFT-7-Llama-30B-GGML (Не проверены) или поиском.

Программа также принимает любые другие файлы моделей с 4-битным квантованием .bin. Если вы можете найти другие файлы моделей в формате .bin, вы можете использовать их вместо файла, рекомендованного в руководстве, чтобы экспериментировать с различными моделями. Как всегда, будьте осторожны с тем, что вы загружаете из Интернета.

Автор программы Alpaca Electron

Демонстрация

Как установить полноценный аналог ChatGPT на домашний ПК Нейронные сети, ChatGPT, Компьютер, Гайд, Длиннопост

Несмотря на то, что я забыл попросить её отвечать на Русском, она весьма точно ответила на все заданные вопросы. А если учитывать, что при этом был полностью выключен интернет, то это просто поражает!

Если не работает!

Если модель не хочет загружаться в Alpaca Electron, то обязательно попробуйте аналогичный интерпретатор Koboldcpp. Далает всё тоже самое, но модели переваривает намного лучше!

Как установить полноценный аналог ChatGPT на домашний ПК Нейронные сети, ChatGPT, Компьютер, Гайд, Длиннопост

1. Запускаем программу от имени администратора.

2. Выставляем количество потоков CPU.

3. Выбираем модель.

4. Пользуемся.

Проверенные модели

Заключение

Страшно представить, какими возможностями обладает ChatGPT лишённый ограничений. Тем не менее важно помнить, что это всего лишь инструмент, и только человек решает, как и для чего его использовать. Уважайте свободу, используйте проверенное ПО и ни в коем случае не предавайте себя!

Как установить полноценный аналог ChatGPT на домашний ПК Нейронные сети, ChatGPT, Компьютер, Гайд, Длиннопост

Оригинал - выложено с разрешения автора.

Показать полностью 9
Отличная работа, все прочитано!