Лига программистов

Ограничения существующих решений

Не поймите меня неправильно, Chat GPT и Claude AI - отличные помощники для многих задач. Но когда дело доходит до работы с реальными проектами, их ограничения становятся очевидными.

1. Узкое контекстное окно.

Эти модели могут обработать только небольшой объем текста за раз. Для больших проектов это просто не работает и я быстро упираюсь в лимит.

2. Отсутствие понимания структуры.

Без доступа ко всей кодовой базе Chat GPT и Claude AI не могут учесть взаимосвязи между различными частями проекта.

3. Неточные ответы.

Когда речь заходит о специфических вопросах по проекту, часто видишь: "Извините, но мне нужно больше информации". Или получаешь неверный ответ из-за слишком большого количества ненужной информации в контексте.

Я пытался обойти эти ограничения разными способами. Например, копировал весь код проекта в запрос, либо руками по частям, либо с помощью инструмента codebase_contex, который собирает весь код проекта в одном текстовом файле. Но и тут возникали проблемы:

• терялась структура проекта;

• большие проекты не влезали в контекстное окно.

В поисках идеального решения

После всех этих экспериментов я понял, что нужен инструмент, который может:

1. Анализировать весь проект целиком, а не отдельные куски кода.

2. Понимать структуру и взаимосвязи в проекте.

3. Давать точные ответы на конкретные вопросы о коде.

Поэтому я решил создать свой инструмент, который решил бы все мои задачи - встречайте, Documate! Он не просто анализирует отдельные файлы, а понимает весь проект в целом.

Сравнение нейросетей

Давайте сравним, как различные AI-помощники справляются с задачами, связанными с анализом кода в контексте большого проекта.

• Chat GPT и подобные модели
  Плюсы: Отлично справляются с общими вопросами о программировании, могут помочь с простыми задачами и объяснением концепций.
  Минусы: Без контекста кодовой базы часто отвечают, что не знают правильный ответ или не могут предоставить точную информацию. Это особенно заметно при работе со специфичными для проекта вопросами.

• Популярная LLM + весь код репозитория
  Плюсы: Частично решают проблему нехватки знаний о коде путем копирования всей кодовой базы в запрос.
  Минусы: Весь код репозитория может не влезть в контекстное окно языковой модели. Также теряются важные детали о структуре проекта и взаимосвязи между компонентами.

• Documate
  Плюсы: Создан для работы с полными кодовыми базами. Понимает структуру проекта, взаимосвязи между компонентами и дает точные ответы на конкретные вопросы о коде.
  Минусы: Реализован в виде бота в Телеграм, что может быть неудобно для ряда сценариев.

Давайте сравним на паре примеров Documate и Mistral NeMo, которая видела весь контекст проекта.

Пример 1: Вопрос о специфическом методе в проекте.

Пример 2: Анализ взаимодействия между компонентами.

Как видно из этих примеров, Documate лучше показывает себя при работе с реальными проектами. Он возвращает ответы, основанные на полном понимании структуры проекта. В то время как популярная LLM ограничивается общими ответами или путается в попытке учесть весь контекст (в том числе ненужный).

Заключение

А что думаете вы? Сталкивались ли с подобными проблемами? Какие инструменты используете в своей работе? Пишите в комментариях.

На этого бедного человека вываливается весь вот этот список тем, который действительно выглядит очень пугающе. Для учеников я тут могу посоветовать то, что я уже когда-то советовал - прошерстить вакансии, выписать список самых часто встречающихся тем и сконцентрироваться именно на них, оставив остальные темы уже за рамками первичного обучения и либо доизучать их уже в боевых условиях, когда вы реализуете свою главную цель - устроиться на работу❗️. Либо изучить их в процессе прохождения собеседований, имея под собой уже достаточную базу.

Главное тут понять, что вам нужно попасть в боевой проект, начать работать, получать реальный опыт - а вся, условно, "лишняя" теория, которую вы могли бы изучать бесконечно, с этим не сильно помогает. Важны лишь 6-7 конкретных скиллов, про которые всегда спрашивают на собесах (тут именно речь про СА). И список этих тем почти не изменился с тех пор, как я писал о них в последний раз, можно до сих пор на них ориентироваться (см. закрепленные посты в тг или тут в серии постов).

Для менторов же могу посоветовать в целом тоже самое - избавиться от перфекционизма, не пытаться вылепить из менти идеальную копию себя. И сконцентрироваться именно на обучении тем темам и скиллам, которые будут ему нужны для прохождения собеседовани и (❗️), самое главное, в процессе первых трех месяцев работы.

2️⃣ Внутренний самозванец или неуверенность

Тоже очень часто встречающаяся штука, которую я подмечаю и среди своих менти, в том числе. Т.е. человек даже пройдя обучение\курсы\самостоятельную подготовку сознательно или бессознательно откладывает начало процесса прохождения собеседований. Причины тут могут быть разные, у каждого свои:

➖Недостаточная уверенность в своих силах;

➖Мысль, что он недостаточно хорошо выучил все темы и ему еще рано выходить на рынок - кстати, это плохая мысль.

Тут есть два тезиса: во-первых, прохождение собеседований это скилл, который невозможно заработать иначе, чем проходить собеседования; во-вторых, нет смысла "заучивать" темы - когда ты машинально отвечаешь на вопросы заученным текстом, это очень хорошо видно и появляется сильное желание копнуть внутрь. И тут обычно стоит только чуть-чуть вопрос по-другому сформулировать - соискатель часто сыпется. Поэтому тут самое важное это именно понять тему и понять то, что вы должны уметь рассказать своими словами ее и размышлять, даже если что-то не помните. Поэтому "зубрить" - не нужно, инфа 146%.

И у меня был вполне конкретный кейс, еще в самом начале моего менторства, когда человек прошел все темы, я провел ему тестовый собес (и он был готов). Однако, он все не мог решиться на отклики, прохождение собеседований, постоянно заучивал теорию - по итогу выгорел уже на этом этапе и так никуда и не устроился (и даже не попытался, что обидно).

P.S. Понятно, что у разработчиков другое количество тем для обучение, нужна, как правило, более обширная база - но в любом случае ее можно (и я считаю, что нужно) ужать до определенного количества.

P.P.S. Если есть вопросы - пишите мне сюда. Большое количество информации есть в закрепах.

Теперь любой новый клиент читает эту информацию, выполняет по ней действия и так как это оферта, то автоматически соглашается с условиями обслуживания, а я автоматически должен выполнять обязательства. Без долгих обсуждений через электронную почту. Мне только нужен факт подписки на услугу, указанную в оферте.

Тут я и познал этот дзен юридических механизмов. Можно было писать хитрые модули, составлять формы, опросники и еще миллион разных мелочей, которые в итоге не упростили бы, а только усложнили дело. При этом я мог бы погрузиться в доработки и исправление ошибок в этой подсистеме. Заключил бы себя в ловушку собственной придумки, которая нужна сама себе.

А тут элементарная страница с текстом, которую я составил за полчаса и готово! Налажен целый бизнес-процесс.

Вывод

Важно не только уметь программировать, но еще и принимать обманчиво простую логику взаимоотношений между людьми. Стремиться не создавать сложные программные модули раньше времени, а сначала продумать, как бы это можно было сделать через простую понятную обычному человеку инструкцию.

С учетом того, что сейчас такой недостаток специалистов, любой опытный человек заработает себе как минимум несколько офферов и уже из них будет выбирать лучшее для него по финансам\условиям на проекте;

3️⃣ Когда ты выбираешься за рамки сеньора и внутри компании тебе некуда расти - ты грустишь.

Потому что прям ОЧЕНЬ интересных предложений на рынке мало и ты такой их перебираешь: ага, ну опять сеньор на финтех, скука; и вот тут предлагают сеньора на финтех - эх, тоже скука; может хоть тут? А нет, вообще какая-то ерунда типа gambling, хоть и с очень большими деньгами. Но об этом чуть позже, тут мне есть что рассказать;

4️⃣ В плане финансов тоже особо ничего не изменилось в среднем, вилка как была год назад, так и осталась, тут никаких неожиданностей. Хотя ряд предложений на обычные сеньорские позиции меня очень приятно обрадовал и даже немного удивил$

5️⃣ Для рядовых позиций тоже не очень изменилась ситуация.

Однако, (субъективно, исходя из наблюдений за своими менти), мне показалось что количество конкурентов среди людей без опыта стало меньше. То ли поток обучающихся на массовых курсах стал меньше, то ли количество компаний ищущих себе джунов стало больше, то ли мне просто так показалось - но вот делюсь.

Если подытожить, глобально ничего не поменялось за +\- год, с того момента как я последний раз делал срез. Если вы опытный человек, вы можете найти работу на почти любом проекте линейным аналитиком без проблем. Если вы начинающий, вам все также придется постараться, чтобы пробиться сквозь барьер из конкурентов и попасть на первую работу, но при грамотном подходе, терпении и определенном количестве времени, все более чем возможно.

А, еще момент, тоже субъективный: в целом собесы стали еще строже в плане проверки тех. скиллов и вашего опыта. Вопросы стали более комплексными и глубокими, их вариативность стала больше и больше практических задач, над которыми надо подумать в онлайне. И, как минимум, один вариант из-за чего это может быть у меня есть - расскажу отдельно.

P.S. Спасибо большое тем людям, которые тыкали в меня палочкой (не знаю, что за функционал на Пикабу, но мне приходили уведомления, что от меня жду постов оО).

Если есть вопросы - где меня найти, вы знаете.