ChatGPT + Разработка

В сети появилось видео первого приложения для очков Vision Pro, которое работает с ChatGPT внутри симулятора visionOS(xrOS). Приложение представляет из себя микс плоских элементов интерфейса, экранов и 3D объектов, где можно выбрать 3D модель помощника, задать вопрос СhatGPT голосом или ввести его с помощью виртуальный клавиатуры. Ассистент отвечает как текстом, так и голосом и есть возможность просмотреть историю чата с AI:

Стоит отметить, что особенностью приложений visionOS(xrOS) по сравнению с мобильными версиями приложений iOS является возможность работы в нескольких окнах одновременно, объемные 3D модели и использование специфики плана помещения (стен, окон и т. д) . Поскольку 3D пространство позволяет расположить окна в любом месте, полезного пространство для размещения контента становится намного больше, чем в случае плоского экрана.

C момента анонса на WWDC2023 Apple гарнитуры смешанной реальности Vision Pro прошло не более 3-х недель, а SDK для разработчиков было открыто в 22 июня 2023 года.

📊 Промежуточные результаты после 2 раундов:
🥇Bard – 3 балла;
🥈Bing, GPT4 – 2 балла;
🥉GPT3.5, Sage, Koala – 1 балл;
💩 Остальные по нулям.

Варианты всех моделей можно посмотреть в колабе.

На следующей неделе продолжение 🔜

Я занимаюсь разработкой своего ChatGPT Telegram бота на Python. Мне пришла идея использовать компьютерное зрение для поиска текста на изображение, для составления запроса в ChatGPT.

Реализация

Tesseract — это популярный движок OCR с открытым исходным кодом, который был предварительно обучен для поддержки более 100 языков. В этой статье мы используем Python-tesseract (pytesseract), оболочку Python для Tesseract, которая позволяет использовать Tesseract с Python.

Прежде чем использовать Tesseract, его нужно установить. Не забудьте добавить русский язык в параметрах установки.

pip install pytesseract

Вместе с ChatGPT получится что то такое

pip install openai

Примеры

Все примеры будут показаны в моем Telegram боте, так как это удобнее, чем через консоль, ну и ради продвижения, конечно же...

Бот бесплатный. Имеет большой функционал. Всю информацию найдете внутри.

Telegram бот может обрабатывать фотографию в двух режимах:

• Получение текста с изображения без запроса в ChatGPT. Для этого нужно написать команду /text в подписи к изображению или оставить это поле пустым.

• Обработка текста с использованием инструкции для ChatGPT. Инструкция (запрос) пишется в подписи к изображению.

Попробуем распознать текст с этой фотографии документа, сделанной на телефон.

Есть неточности, но в целом не плохо

Попробуем решить тестовое задание с применением ChatGPT.

Как насчет рукописного текста

Рукописный текст печатными буквами распознает крайне плохо, пропись нет смысла даже проверять.

Что то из очень смешного

Обработка теста с изображения

Текст с картинки можно озвучить, используя функцию озвучки бота в настройках

Как по мне, вполне себе применимая штука получилась. Может пригодится. Все примеры вы можете опробовать сами, воспользовавшись Telegram ботом.

Забавная версия))

@ChatGptT01_Bot