Transcript of Создавай ИИ-агентов при помощи n8n локально: Llama 3.1, Gemma, Phi 3,5

создадим и Агента который целиком и полностью будет работать на вашем устройстве то есть локально научим его работать с файлами и снабдим инструментами люди роботы Привет Это прод совет Сегодня я расскажу как при помощи No CDE или Low код решений сделать даже самую замыслова Агент ную систему я покажу Как реализовать всё с помощью локальных моделей например ama gemma фи Но если вам это не к чему то можете использовать API любого LM провайдера например Open entropic и делать ещё более мощных и умных агентов но понятно что за придётся платить даже если вы новичок в этой теме и с трудом понимаете что такое API Что такое нокод платформы мейки запе и так далее оставайтесь я покажу всё по шагам либо расскажу где изучить подробнее и Вы точно узнаете много нового и интересного погнали вскользь выше я только что сказал про Make и zer мы будем работать в другой платформе которая называется n8n это сервис который как и его аналоги позволяет использовать такой кавас с нодами где каждая нода отвечает за тот или иной функционал изначально n8n являлся таким же сервисом автоматизации и связывания разных программ приложений но сейчас тут большой набор и функций у него есть несколько преимуществ по сравнению с конкурентами Почему я и решил рассказать именно про него во-первых прелесть его в том что он работает на базе Long Chain и по сути это и есть Long Chain который просто упакован в нокод интерфейс сервис может работать как в Облаке но за него придётся платить так и локально Когда вы размещаете его на своём сервере например вашем компьютере тут очень много интеграция если нужных вам нет то можно всё это на кодить API вебхуки и так далее вы сами знаете Если знаете Давайте начнём с установки отправляемся на github находим n8n все ссылки я добавлю в куда-нибудь определённо добавлю это будет либо наш бот в Telegram либо Наш канал в Telegram В общем сходите в описание этого ролика и там будет написано где все ссылки которые я использую в этом ролике инструкции дополнительные знания статьи методички где их все взять на гитхабе есть простая быстрая понятная инструкция как это всё установить либо как я уже упомянул Вы можете использовать это через облако Либо вы можете разместить это двумя способами на вашем устройстве локально это либо при помощи Command line то есть запуск через терминал либо всё это дело Нужно разместить в докере мы с вами будем использовать первый вариант он быстрее проще и понятнее Рекомендую вам прямо следовать за тем что я делаю Открывайте github находите эту инструкцию и переходите по ссылочки чтобы установить node JS просто нажимаете на эту кнопку происходит установка и больше вам ничего делать здесь не нужно после того как Вы установили noe JS Нам необходимо открыть терминал и ввести следующую команду npx n8n И после этого у вас начнётся установка то есть будет что-то здесь происходить появляться новые строчки буквы цифры и так далее Но поскольку у меня уже всё это нов то он мне просто показывает кстати он мне показывает что нужно ещё что-то до установить но давайте послушаем его видимо обновился сам сервис N1 и сейчас он закидывает сюда новую версию после того как произошла до установка или в вашем случае установка всех необходимых пакетов и этого сервиса Он предлагает нажать кнопочку о для того чтобы сервис открылся в браузере и если вы можете посмотреть написано здесь Local Host И вам необходимо будет зарегистрироваться Я это уже делал в другом окне моего брау после того как пройдёте эту короткую регистрацию вы увидите примерно такой интерфейс коротко ознакомимся с интерфейсами здесь У вас есть окошко где вы будете делать собственные мы будем с вами делать workflow есть окошко credentials это то куда вы заносите все сервисы API все ваши логины пароли когда подключаете тот или иной сервис но про это поговорим чуть позже для того чтобы сделать новый workflow нажимаем Add workflow и у нас появляется тот самый кавас где можно добавлять огромное количество разных интеграций нот сервисов приложений связывать их и настраивать что бы то ни было как я говорил Я планирую сделать Агента который будет работать оффлайн точно так же будет размещаться и работать за счёт мощностей нашего чайника самовара микроволновки Ну или желательно компьютера для того чтобы загрузить модель я буду использовать сервис омы я не буду очень долго останавливаться на том как этим пользоваться потому что вот в этом ролике я подробно рассказал про установку lam и использование сервиса улама здесь мне интересно потестить такую модельку которой всего 3,8 млрд параметров напомню у ламы который мы там запускали было 8 млрд параметров но учитывая что я делаю скринкаст и мой Mac M1 не очень любит когда я совмещаю эти задачи то я скачаю модельку поменьше по идее она будет требовать меньше мощности для того чтобы всё работало снова открываем наш терминал и здесь Нам необходимо запустить программу Ома Если вы уже её скачали отлично запускаете её Если вы её ещё не скачали то сначала загрузите ому а потом её запустите в вашем терминале почему-то он сначала немного начал ругаться говоря что тот порт на котором я пытался запустить улама Уже занят но вроде сейчас всё заработало для того чтобы нам скачать модель Нам необходимо необходимо ввести следующую команду ama Pool и название той модели название я скопировал с списка всех моделей на сайте ума нажимаем Enter и происходит скачивание если моделька небольшая та которую качаю я фи - это майкрософта ся модель фи 3,5 они выпустили её причём совсем недавно она должна быть достаточно мощная на 3 млрд параметров то и скачается она достаточно быстро занимает она место всего лишь 2,2 Гб на вашем компьютере и Если у вас есть хотя бы 8 ГБ оперативы то это чудо должно пыхтеть Ну или даже достаточно свободно дышать пока происходит скачивание Давайте я покажу вам какую систему мы построим я буду использовать вот этот шаблон который называется Ask questions about PDF fusing ai я оставлю ссылку на этот шаблон в описании Вы можете нажать использовать шаблон выбрать где его запустить если запускаете так же как и я локально то это будет видно И здесь нужно ввести все эти самые credentials данные сервисов которые мы будем подтягивать но Мы это сделаем немножко позже перед нами появляется вот такой шаблон вот эта часть нам в принципе не понадобится Ну или мы самостоятельно сделаем что-то похожее А вот здесь Нам необходимо поработать для того чтобы выдать модели какие-то инструменты либо снабдить её базой данных Нам необходимо эту базу данных где-то достать И это будет векторная база данных от провайдера pcon Наверное это самый известный и качественный провайдер таких решений в этот самый pcon мы будем загружать данные с нашего Google диска с Google драйва и поэтому нам необходимо настроить каждую ноду начнём с настройки Google драйва Когда вы открываете ноду у вас появляются три таких поля в центре вы всегда вводите информацию и определённые настройки этой ноды слева вы добавляете откуда информация приходит а справа Вы видите что у вас получается на выходе Нам необходимо подвязать API нашего Google драйва он у меня здесь уже подвязали у вас этого ещё не сделано то вам нужно выбрать поле Create New credential выбрать систему oau 2 не знаю почему не работает сервис аккаунт но они сами говорят в своей документации Что лучше использовать почему-то oau 2 после этого мы отправляемся в так называемый Google консоль для того чтобы вот так это называется Google Cloud console.cloud.google.com здесь переходим во вкладку API и сервисы создаём новый проект Назовите его как вам заблагорассудится ждём после этого по кнопочки Library ищем необходимый намм API помните нам нужно API Google драй чтобы мы могли с нашего драйва подгружать какую-то дату нажимаем enable То бишь включить И после этого создаём credential то есть какую-то аутентификацию чтобы можно было получить доступ со стороннего сервиса к этому API я не буду заполнять сейчас все эти Поля это занимает какое-то количество времени но вообще проблема возникнуть у вас не должно просто Следуйте везде инструкциям главное запомните что после того как вы провели всю Вот эту вот создание этих самых credential этих самых ключей oau Вам необходимо ещё сделать так называемый ОА consent Давайте я покажу как у меня это выглядит на другом аккаунте Где где я всё это уже сделал Вот у меня есть эти credentials которые я создал вот он N8 and getting started после того как я создал этот O 2.0 O consent Я тоже прошёл все шаги чтобы это чудо заработало дальше важный момент вот в этом клиенте Когда вы его сделаете необходимо ввести так называемый redirect URL сюда ввести ту ссылку по которой вы будете связывать эти два сервиса эта ссылка у вас предоставляется здесь в настройках Вот она эту ссылку мы копируем и здесь Как видите она у меня уже введена она у меня здесь и живёт потом нажимаете сохранить и теперь нам нужно заполнить ещё два поля Client ID мы находим вот здесь вот эти Циферки мы просто их копируем и забрасываем сюда а секретный ключ вы получите если на нажмёте вот на эту кнопку скачать уклин у вас там будет написано секретный ключ секретный ключ я скопировал и тоже вношу в соответствующее поле далее нажимаем sign in with Google выбираем аккаунт с которого хотим войти Да нажимаем что это всё не авторизованного ешьте на нас Google Но мы сейчас всё разрешим и все кнопочки протыкает читайте что успех всё получилось шаг номер два работаем с Пайн коном здесь кажется всё попроще эта нода выглядит следующим образом нам также нужно добавить credentials у меня это всё уже установлено но я покажу вам где и как это найти заходим на сайт pcon нажимаем регистрация в моём случае это просто залогинится и дальше нам необходимо создать новый индекс вы попадаете в такое меню вот один индекс у меня уже создан но я создам ещё один индекс вот здесь нажмите кнопочку setup Model и запомните какой eding модель то есть та Модель которая будет брать информацию с Google драйва и запихивать её превращать её в векторный векторную дату и запихивать в векторную базу данных давайте выберем Text embedding 3 Small at Open ai он автоматически показывает вам размер после этого для того чтобы бесплатно этим чудом пользоваться я выбираю aws провайдера virginia US East и создаём новый индекс после того как вы создали инкс у вас их будет один у меня их два сходите в поле API ключ и скопируйте свой API ключ для того чтобы соединить два сервиса возвращаемся в n8n вводим создать новые credentials и вводим сюда свой собственный API ключ Но поскольку у меня этот API Ключ уже сюда введён то я просто выберу свой аккаунт поле ниже у вас появится выбор этих самых индексов вот индекс который я только что сделал и далее вот эти вот ноды которые мы с вами сейчас настраивали называются Root ноды но есть ещё дополнительные ноды для того чтобы Root ноды работали нам также нужно добавить сюда eding модель Нам необходимо ввести данные API это Open ai быстро вспомним где всё это достать заходим на platform open.com organization overview API ключи и если API ключ У вас ещё не создан то создаём соответствующий API ключ и копируем его после этого возвращаемся в n81 и выбираем ваш аккаунт Ну точнее создаём все эти credentials вводим сюда ваш API ключ и дальше выбираем модель если помните там создавая pcon мы выбрали вот такую модель Я думаю что стоит выбрать ровно такую же и здесь ещё Обратите внимание на настройки векторной базы данных здесь есть определённые моменты которые в целом можно не трогать но есть ещё вот такая нода где можно выбрать Чан Сай то есть какое количество символов будет в одном куске который будет просматривать модель и так как у нас модельки маленькие Я бы здесь всё-таки выбирал достаточно коротенькие куски Ну может быть даже по 400 Я думаю что это не токен это именно кте скорее всего это это именно количество но если вы работаете с большими моделями у вас большое количество знаний текста данных в вашей базе данных то выбираете е chans Chun S побольше 500 пусть будет для того чтобы загрузить информацию в векторную базу данных Если вы использовали такой же шаблон то необходимо Вот в это поле внести ссылку на ту дату которую вы хотите и загрузить далее нажимаем протестировать шаг и можем заметить что Всё пошло поехало по нашей линии с поля Input вытягиваем нужную нам назовём то переменную а и также Тестируем Шаг в Google драйве всё отлично Всё правильно обсидиан Data выгрузка моего обсидиана в формате pdf сейчас связалась с Google драйвом И теперь мы можем загрузить её в нашу векторную базу знаний также нажал протестировать шаг и увидел что вся моя база данных знаний весь мой PDF был разделён на 404 айтемы сердце Лона пазуха жилище about Ух ты что у меня там и всё загорелось зелёным А это очень хороший знак пришло время подключать Нейрон по быстрой клавише Tab можно получить доступ к меню со всем функционалом и нам необходимо выбрать один из вариантов вот в поле ai noes я выберу question and Answer Chain благодаря этому функционалу у нас и получится с вами сделать агент который будет общаться с векторной базой данных в поле ретривер То бишь базу данных Нам необходимо выбрать Vector Store retriever здесь теперь выбираем сам Vector Store в нашем случае это тот самый pcon который мы уже настроили не забываем выбрать здесь нужный нам индекс в нашем случае это n8n yt и также eding модель я использую Open ai eding 3 Small такая кракозябра получилась Ну и теперь наконец-то выбрать нейрон который будет общаться с базой знаний вы можете выбрать например openi и подтянуть подпи нуть подтянуть сюда API openi например gpt 4 Mini либо большую их модель Я хочу пообщаться Очень сильно с локальной Нейрон и выбираю ama Model здесь Как видите у меня уже всё подтянутость поле Create New credentials и внести сюда Ну по сути всю эту информацию ставить такой которая она здесь есть если что-то у вас не получается не сохраняется у меня так было просто сотрите последнюю цифр внесите её снова и нажмите Save и тогда у вас всё должно сложиться потому что улама также работает на Local Host и у неё вот такой вот порт по умолчанию после того как вы это сделаете у вас появится возможность выбрать модель как помните мы скачивали с вами модель она у нас скачана наша фишечка и вот эта фишечка здесь и появляется Давайте её и потестить и вносим наш вопрос Помните у меня там было что-то прон ложе пазуху и Ау и именно это я сейчас и попробую спросить у модели но в целом комп ещё дышит смотрите всего лишь 7,4 ГБ оператива я сейчас использую но немножечко он пыхтит и вот такой ответ Я получил кстати относительно Быстро давайте посмотрим что здесь есть во-первых здесь мы видим так называемые логи то есть можем посмотреть какие процессы произошли и мы видим что модель э задала такой вопрос Что такое about векторная база данных откликнулась и выдала Всё правильно то есть выдала правильный кусочек был найден правильный кусочек из моей базы данных но ещё большое количество какой-то Мета даты сюда было скормлены И после этого модель получила по сути вот такой промт Используй данный кусок контекста чтобы ответить на вопрос Если не знаешь ответа Просто скажи что ты его не знаешь всё правильно смотрите этот контекст был скорн то есть The Lord resid а но по сути она нашла этот самый пример что-то там перевела она посмотрела на тот контекст который она нашла и вы вы дало мне вот такой ответ Если этот ответ Меня не устраивает но он меня очевидно не устраивает Это потому что во-первых всё на русском и модели явно работает хуже на русском а во-вторых я не задавал Абсолютно никакой промт и не показывал модели А как мне отвечать насколько это должен быть большой ответ и не скармливали я ещё никакие примеры но вот вы можете видеть что это чудо заработало заработало локально модель обратилась к векторной базе данных вытащила оттуда определённые куски и выдала нам коротенький ответ на основе этой информации как же теперь начать общаться то в конце концов с этой моделью понятно что это всё у нас находится Ну в такой стадии разработки это не очень удобный интерфейс но у n8n есть такой формат вы просто нажимаете сделать чат публичным копируете эту ссылочку и отправляетесь в новый браузер для того чтобы получить ошибку конечно вначале стоит сделать ваш workflow активным всё это чудо запустить потом ещё раз скопировать ссылку и получить уже не ошибку а получить э такой вот интерфейс где можно общаться вот в этом поле слева Вы да же можете настроить аутентификацию здесь у нас hed Chat всё правильно базик аутентификация Окей и какой-то приветственное сообщение которое будет в этом интерфейсе сообщаться по идее если сейчас мы зайдём сюда снова он откроется так же как и было почему сохранить смотрите он меня не пускает Отлично Почему Потому что я ещё не взломал пароль и не ввёл крти о Чёрт пароль-то неправильный В общем друзья функционал невероятное количество и я надеюсь я сумел вам показать хотя бы один пример ты создания такой агентное системы Дальше можно развлекаться как вашей душеньки угодно можно выдать определённые инструменты модельки например выбрать такую ноду ai агент который позволяет вам выбрать во-первых модель во-вторых добавить ей память в-третьих добавить какой-нибудь инструмент например поиск калькулятор либо использование какого-то другого сервиса который вы через Open API или другую схему сюда подтянет Википедия фра Альфа и так далее вместо модельки которую использую я фи 3,5 кстати он показывает что здесь 8 ЛР параметров но это не так вы можете использовать либо ламу если у вас мощный комп Используйте ламу на 70 млрд параметров Она явно мощнее либо Используйте API anopic Open ai хоть перплексус сурсы гайды темплейты которые Я использовал в этом ролике будут в описании там будет информация Где их взять и если у вас остались вопросы расскажите в комментариях какой функционал осветить Что рассказать подробнее какую тему затронуть А лучше сходите в наш Telegram канал и там в чатике Напишите потому что там мы его читаем активнее и всем стараемся отвечать С вами был дядя д Спасибо за просмотр увидимся в будущих выпусках пока