Автор: Знакомая картина: на панели горит ошибка, в интернете десять форумов с десятью разными ответами, а заводской мануал — PDF на сотни страниц, где нужное прячется между схемой проводки и таблицей моментов затяжки.
Языковые модели оказались неплохим поисковиком по такой документации. Схема называется RAG: документы режут на фрагменты, система находит подходящие куски, и модель отвечает уже по ним, с указанием страницы. Спрашиваешь, что значит P0171 и что проверить в первую очередь, и получаешь ответ из своего мануала, а не пересказ форумного спора.
Для автосервиса это ещё полезнее. Мастера работают с разными марками, у каждой своя сервисная литература, и опытный диагност половину держит в голове. Новичку такой помощник экономит часы. Важно, чтобы модель отвечала только по загруженным документам и честно говорила «в документации этого нет», а не сочиняла. Это задаётся в инструкции к модели и проверяется на десятке вопросов с заранее известным ответом, прежде чем пускать её в работу.
Сервисную документацию часто распространяют по лицензии, и выкладывать её в публичные чат-боты не стоит. Поэтому модель обычно запускают у себя, на своём компьютере или арендованном сервере. Первый вопрос — хватит ли памяти видеокарты. Небольшие модели на 7–8 миллиардов параметров укладываются в 8–12 ГБ, но со сложной технической документацией заметно лучше справляются модели покрупнее. Сколько памяти нужно под конкретную модель и длину контекста удобно прикинуть в калькуляторе видеопамяти вводите размер модели точность и длину контекста и сразу видно какая карта подойдёт.
Крутить гайки всё равно придётся самому. Зато где стоит датчик и какого цвета у него провод, находится за минуту, а не за вечер на форумах.
