iFlexible

А вот пример работы эмоций. Они ещё не до конца настроены. Так же ещё не настроек персонаж, его характер. Думаю после полноценной настройки персонажа, характера, стилей общения, эмоций это будет именно Джокер. Но даже сейчас, частично настроенными эмоциями ощущается персонаж. Выше я выкладывал Харли, где не были включены эмоций, и была стандартная озвучка. Контраст на лицо. И это только настроены несколько эмоций у персонажа, так что дальше лучше

Хочу показать пример реализации стилей общения. Я описывал их ранее. Они нужны для того, чтобы модель умела подстраиваться под контекст и эмоции. На скринах не выводится сообщение пользователя, потому что тестирую. Для тестов сделал автоматическую генерацию ответа пользователя на сервере, чтобы упростить отладку и не орать постоянно в микрофон. И так, между двумя этими сообщениями пользователь говорит "Stupid!" (Глупый!). На скриншоте в аэропорту включены коммуникационные стили у персонажа. Он определяет, что пользователь раздражён и подстраивает стиль общения под эту эмоцию. Что интересно, задача модели при этом быть максимально деликатной (так как это сотрудник у стойки). Поэтому она ищет баланс. На скриншоте в кафе, стили выключены. Модель формирует ответ в рамкам общего диалога и не способна адекватно реагировать на стиль общения пользователя. Коммуникационные стили, это микро диалоги. Они нужны, чтобы модель отвечала в соответствии с контекстом. Они зависят от эмоций контекста пользователя.

Сейчас шаг за шагом пробую собрать кисть , где использую разработанное мною оборудование и технологию тянущейся электроники. Ключевыми элементами в ней являются - тянущаяся электроника для связи элементов, и в качестве кожи. - искусственные мышцы. Сейчас провожу ряд опытов, чтобы было компактно и без серво моторов. В основе углеродные нанотрубки. - внутренняя часть, материалы для "костей", "жира", "мяса". Так как они должны превратиться в единое целое, а жир играть роль охлаждающего желе и уменьшить износ. В качестве жира тут специальные смазки. В качестве мяса, свой состав силикона. Пока тестирую, сколько я смогу выжать максимум в кг усилий от мышц при компактности и энергоэффективности. Параллельно шлифую корпус варианта робота на серво. Кто то скажет, что распыляюсь. Но это не так. Большую часть времени у всего что я делаю, приходится на обдумывание как сделать. Реализация отнимает мало времени. А вот идею, могу вынашивать и год. Шлифуя её, изучая другие исследования, покупая материалы.

Пока пытаюсь сделать аналог безумного голоса. В данной модели не настроены эмоции. Поэтому определяет в целом. Не настроены стили общения, поэтому выдаёт какой то длинный текст. Посмотрим, что буде после настройки эмоций у данной модели. Изображения генерирует автоматом, не всегда идеально (видны текст от комиксов), надо добавить в негативный промпт, чтобы не выводила их. Мне не нравиться, так как на безумца это не похоже. Надо настроить характер под безумного персонажа. Буду добавлять: - безумный смех и прочие подобные вещи - нарушение эмоций, когда они гиперболизированы и очень яркие. А так же блокировки других (у психов, нет некоторых эмоций). Без настроек выходит плохо. Явно не то, что я ожидал. Данной модели не хватает экспрессии, агрессии. Посмотрим, на сколько я смогу это улучшить. Думаю поверх своей модели эмоций на нейронках, добавлю ещё сверху свою синтетическую модель, построенную на вздохах-выдохах, так как она показала себя очень качественно. Но её я пока сделал только у русской речи.

Послушав умных людей в комментариях, решил что надо добавить больше бесплатного функционала в приложение изучения иностранных языков, но так чтобы не грузило gpu. Поэтому сделал тренажёр речи и перевода, для бесплатного использования. Накидал MVP быстро, чтобы проверить идею. 1) свои gpu нагружать не хочу, так как это бесплатный функционал, чтобы удержать пользователей 2) поэтому сделал через vosk и sileno. Качество там ужас, но хоть что то. Пришлось для точности написать несколько веб сервисов, где распознание идёт сразу несколькими. Иначе мусор. Сейчас хочу прикрутить ещё потоковое распознавание от Сбера. Да, оно не бесплатное, но при распознавание слов и небольших фраз терпимо. Чтобы оно было третьим распознавателем. Сейчас худо бедно распознаёт, но ради улучшения качества пришлось сильно поднять framerate. Теперь надо подумать, как уменьшить скорость ожидания, так как объём данных раздуло. Графика тоже очень мешает микрофону, пришлось уменьшить fps, сделать шейдеры. Всё же js не для этого.

Игры закончились. Отлил нормально без пузырьков. Всё как описывал ранее. Сначала дегазация, затем вращение. Крапинки на оптике связаны не с воздухом. Это износилась форма после множества заливок эксперимента. В ней на границах был мусор. А так же сама она была не идеальная. Сейчас отолью новую форму и в ней линзу. Данная оптика пойдёт на замену у старого прототипа, аналога real wear. Он был готов, но меня не устаревший, так как непрозрачный монокуляр (копия real wear). Поэтому увеличил угол обзора до 40 градусов. Из плюсов относительная дешевизна. Пока 3и варианта: - продавать только оптику, где сам монокуляр просто как демо её возможностей - продавать её как конструктор, где другие смогут использовать как шаблон для своих устройств - продавать как продукт Меня устроит любой вариант. Конструктор ar очков, закончу через пару дней. Не успел, так как закончился силикон для отливки пары деталей корпуса и ждал его. Там тоже три модели.

Выше ранее я описывал идею, улучшения ллм. Реализовал приложение для тестирования данной механики. И результат оказался выше моих ожиданий. Белуга 7b, которая гораздо слабее openAi и прочих, справилась лучше других, при использовании данной механики. Она дала верный ответ В то время как ГигаЧат и Яндекс отвечают: 778 год (потому что обучены на вики, а там есть цитата явная, что он там был в этом году). иногда 844 (глюк - он умер в 814) - причем так стал отвечать ГигаЧат с подключенным GigaSearch, в добавок ещё и ссылку на вики даёт левую) правильный ответ 769 год В тесте 10 ллм. При 3 ллм, результат нормальный, но спорный в плане трактовки ответа (в Европе считают так, в мире так, или вообще мало данных). Но глюки и бред, убирают даже 3и модели. Я сейчас уверен, что два полушария выключают в себя данную механику. Так как идея об их логике и творчества опровергли. Но каждое содержит много дублирующий информации. Почему 2 ллм? Бред отсеивают, а много ллм скорость сильно падет и большой расход ресурсов

Последняя смола, в рамках опыта по отливке разными смолами. Poly glass - Нидерланды. В документах написано про усадку 1%, в принципе её не увидел. Результат виден на фото. Напомню, что отливки делались без дополнительных обработок, без дегазации или других подходов. Цель: - посмотреть смолы доступные на рынке РФ - посмотреть на их усадку - воздействие уф со временем - хрупкость - прозрачность, мутность, будут ли оттенки - на сколько хорошо смолы справляются с выходом воздуха, чтобы уменьшить уровень брака - стоимость - доступность Это был долгий эксперимент, который был начат в начале декабря. (Почти 5 месяцев). На рынке осталось несколько иностранных смол poly xxx и некоторых других. Но в целом, я вижу что они редкие, дорогие и их уровень ниже уже опробованных. Поэтому смысла в них не вижу. Да есть смолы в сша, юж Кореи (гибкие) которые могут дать лучше результат, но сейчас их сложно достать. Поэтому использовать их для массового производства в РФ не выйдет. Теперь делаю отчёт по всём смолам.

В принципе все сделал, осталось поправить баги, проверить, всё подготовить. Займёт 2-4 недели. Цель была сделать sdk для ar очков. Чтобы всё это тестировать под нагрузкой и вычистить баги, я сделал приложение изучения языков. Его функционал выходит за требования приложения. Это микро сервисная архитектура, где для демонстрации возможностей подключения внешних сервисов (получение новостей для интервью, или словарт), работа с графикой через создание визуального контекста в диалогах и его сохранение, игровая часть с переходами между сценами (подобие уровней), эмоции, характеры персонажей, стили общения и тд. Я хочу добиться создания сложных личностей. Это сложная задача. У подобных людей нарушены реакции эмоций, а стиль их общения совершено не похож на нормальный. На неделе закончу 3-ое AR очков на продажу. Вернулся к сборке голографического принтера, установка механики. Так же мышц для робота. 5 месячный тест смол для оптики. Работа над новой тянущейся электроникой. Будет много постов об этом👌

Как и обещал ранее, результат эксперимента литья оптики в трёх разных режимах. 1) ультразвуковая ванная, 30 минут 2) вибро режим, 60 минут 3) вращение 15-30 минут К моему удивлению, вибро дал самый плохой результат. Он совершенно не помог выходу воздуха. Очень удивил утра звук, так как он дал лучше результат чем вибрация. Ну и на первом месте это вращение. Тут можно увидеть лишнюю линию у третьего слоя. Это из за того, что при первой попытке вся смола вылилась от вращения. Во второй раз плотно закрыл все сверху. 1 - слой ультразвуковая ванна 2 - слой вибро мотор 3 - слой центрифуга на малых оборотах (ставил на пластилин, поэтому на сильных оборотах форма вылетает из центрифуги). Так что для усиления эффекта качества литья подходит либо ультразвук либо делать конструкцию вращения.

Сейчас я добавляю эмоции в русскую озвучку. К сожалению, ресурсов и времени, чтобы обучить русский датасет с эмоциональными метками пока нет. Так как для этого надо делать искусственный дата сет. А это время. С английскими эмоциями у меня как раз через метки. Как я решаю это для русской озвучки? 1) вздохи и выдохи. Вздох это пауза, выдох это речь. Для каждой эмоции они свои 2) громкость, она зависит от силы эмоции 3) тон, он зависит от эмоции, голосовые связки 4) скорость, ускорение - зависят от эмоции, времени на выдох, сколько слов можем сказать и тд 5) переходы, они сглаживаются по параметрам, так как мы не можем мгновенно начать говорить иначе. 6) адаптация текста озвучки. То как мы пишем и как говорим, это разная транскрипция 7) междометья (над ними пока работаю), это паразитные слова, которые усиливают эмоции Примеры, приложу в комментариях

Хотелось бы поделиться следующей идеей. Принятие решений об ответе от ллм. Вчера пришла следующая идея. Сегодня сформулировал её подход. Суть следующая. Объясню на примере трёх ллм. Пусть есть ллм1, ллм2, ллм3 У нас есть вопрос Q. Задаём его каждой ллм1-3, и получаем на него три ответа A1, A2, A3 Берём ответ A1, и просим ллм2 и ллм3 оценить его правильность Да/Нет или процент точности ответа. Если ответ Да, то это +1 очко в пользу ответа. Если нет, то 0. То есть можно набрать 0,1 и 2 балла. Получаем Score1 Берём ответ А2, и просим ллм1 и ллм3, оценить его. Всё так же. Получаем Score2. Аналогично для А3, получаем score3. И так, у нас теперь есть вопрос Q, три ответа А1/А2/А3 и их вес Score1/score2/score3. Выбираем ответ с максимальным весом. Если же очки одинаковые, то 1) можем задать уточняющий вопрос и так же проверить ответ, таким образом оценить экспертнлсть сетки. Чем больше вопросов уточняющих и она набирает больше баллов дальше, тем более экспертный ответ мы получили 2) либо выбрать случайным образом Чем больше ллм участвуют в ответе, тем вероятнее что выбор будет один из ответов. Второй момент, мы таким образом выбираем более экспертный ответ. Так как по сути делаем ещё один шаг для его оценки. Мы даже можем сетки просить задать уточняющий вопрос, если баллы одинаковые, и получить N шагов оценки. Это будет работать даже на одной ллм, но с разным seed. Но лучше использовать разные ллм. Где это полезно? 1) обучение сетки. Мы таким образом получаем более качественный ответ для обучения. Без этого подхода обучение сетки на ответах другой сетки приведёт к её отуплению. 2) мы уменьшаем проблему с галлюцинациями, когда сетка врёт. 3) мы получаем более качественный ответ. А при нескольких шагах его качество должно вырасти. 4) мы можем совмещать ответ специализированных сеток. Более верные ответы в теории должны набрать больше баллов. А галлюцинации с большой долей вероятности отсеяться другими моделями. Чем больше ллм участвуют в ответе, тем более вероятно получить качественный ответ, где возможно и случайная идея имеющая право на жизнь. Я хочу опробовать данную модель при экспериментах. Хотелось бы услышать мнение других. Возможно данный подход можно использовать и для других решений.

Про литье. Я сейчас использую два варианта при отливке 1) заливаю пластик в первую форму и закрываю второй. Через дырки вытекает лишнее. Для этого подхода пришлось делать каналы идущие вбок. Иначе прижав сверху, получим толстый слой пластика между формами, а значит толщина стенок детали тоже изменяется. 2) литье под "давлением". Условно, шприц и трубка. В дырки заливаем через шприц. Между слоями мало пластика, он уходит через дырки. Но, внутри всё равно остаются места с воздухом. Так времени жизни 2-3 минуты, то сложно убрать везде воздух. Быстро становится вязким после смешивания. Черная отливка, пластик производство Германия. Более вязкий, но лучше держит форму и заполняет. Белый пластик - Россия. Жидкий. Но из за этого в нём пузыри воздуха. А дегазировать времени не хватит. До этого был белый, от них же, но с гораздо большим временем жизни (успевал дегазировать). Есть ещё бежевый, Россия, но надо добавлять краситель. В целом качество - ок. Сейчас жду белый пластик с большим временем жизни.

Немного для затравки. Вот одно из фото, теста с литьём с использованием вибромотора. Там три слоя, разными методами. Задача была посмотреть, какой лучше уберёт пузырьки со стенок. Другой метод, вращением. Позже выложу результат. Там три слоя - ультразвуком - вибро - вращение

Пока тестирую всё и отлаживаю. Всё тесты идут в рамках приложения для изучения языков. Потом сервера будут для очков. Для примера сделаны сервисы: - игровой. Он генерирует изображения по диалогам, меняет локации, персонажей, генерирует сценарий, локации - сервис новостной. В нем берутся RSS новости с разных популярных сайтов, формируется образ журналиста, генерируется голос, подбирается характер и формируется диалог интервью. - сервис для работы со словарями и статистикой. В нём можно пройти тесты, выучить новые слова. Задача всех web-сервисов снизить нагрузку на gpu, так как они вынесены и кэшируются. Будь то голоса, или новости, или переводы. Зачем? Нужны внешние микро сервисы. Пришлось развернуть ещё один gpu. Итого 4-е gpu на ~200 человек. Причина: расстановка ударений, разбивка на предложения, и другие мелочи. Паралельно лью корпус очков. По отливке будет отдельный пост. Сделал два подхода. По оптике, тоже будет пост по сравнению методов ультразвука, вибрации и вращения. Материалы готовы.

Пока тестирую всё и отлаживаю. Всё тесты идут в рамках приложения для изучения языков. Потом сервера будут для очков. Для примера сделаны сервисы: - игровой. Он генерирует изображения по диалогам, меняет локации, персонажей, генерирует сценарий, локации - сервис новостной. В нем берутся RSS новости с разных популярных сайтов, формируется образ журналиста, генерируется голос, подбирается характер и формируется диалог интервью. - сервис для работы со словарями и статистикой. В нём можно пройти тесты, выучить новые слова. Задача всех web-сервисов снизить нагрузку на gpu, так как они вынесены и кэшируются. Будь то голоса, или новости, или переводы. Зачем? Нужны внешние микро сервисы. Пришлось развернуть ещё один gpu. Итого 4-е gpu на ~200 человек. Причина: расстановка ударений, разбивка на предложения, и другие мелочи. Паралельно лью корпус очков. По отливке будет отдельный пост. Сделал два подхода. По оптике, тоже будет пост по сравнению методов ультразвука, вибрации и вращения. Материалы готовы.

Сейчас паралельно шлифую корпус. Покрыл пластиком. Сейчас прохожусь шлифовальной машиной. Затем надо покрыть лаком, снова шлифовка и снова лак. И затем лить цельный корпус. Пока в первозданном виде. Затем задача заменить детали на тянущуюся электронику. Очень хочется так же моторы заменить на сплав никеля с титаном - нитинол. Погрузив их в антифриз. Они сокращаются при подаче тока на 3-4%. Антифриз позволяет быстро охладить и вернуть форму. В лабораторных тестах время срабатывания 7-8 мс. Пока не знаю, хватит ли этого сокращения для пальцев, если протянуть до плеча. И для суставов. Но идея такая есть. Хочется его так же подать в массы. Печать корпуса на АБС в режиме нон стоп (днем) на одном принтере, занимает 4-6 месяцев. Поэтому хочу лить его. Сейчас сборка такого подхода себестоимости выходит ~120-150 тыс руб. Поэтому очень надеюсь на нитинол, чтобы уменьшить его стоимость до ~80 тыс руб.

Пример явного обмана. Продают как смолу из Южной Кореи. Но похоже на одну из Китайский смол. Особенно в описании: Абсолютная прозрачность Превосходный показатель выхода пузырей. Прозрачность и пузыри явный обман. У меня сложилось сильное ощущение, что разливают китайскую смолу и пишут что Корейская. Сейчас пока жду смолы других стран, попробовал залить акрил. Тоже пока плохо, не застывает вторые сутки. Всё надо проверять, некоторые материалы с большей вероятностью испортят заготовки, чем принесут пользу. Это касается смол, силикона, акрила и других материалов. Так что тест смол продолжается.

Хочу вспомнить компанию Kopin. Обычному обывателю она мало знакома, но именно их компоненты и базу мы видим во многих выходящих продуктах. Компания купила разных производителей микродисплеев. Является одним из лидеров новых продуктов. Основной доход kopin, это армия сша. Они выпускают дешёвые TFT дисплеи, которыми напичканы военные очки, приборы. Делает различную оптику для этого. Например у компании есть потребительские очки. Они являются примером, что можно сделать покупая у них комплектующие. Из ярких примеров очки solo для велосипедистов. Другой пример I-golden, на базе которого собран real wear и Motorola. Так же есть пример vr очков, для демонстрации возможности их дисплеев. Компании покупают лицензию комплектующие, дорабатывают продукт и выпускают под своим брендом. Сама Копин большое специализируется на дисплеях и частично на оптике для них. Но их комплектующие считаются продуктом двойного назначения. Поэтому не всё так просто. Например 90% видео очков, построены именно на дисплеях kopin

Первые отливки некоторых деталей корпуса на нормальных формах. Но как оказалось, в них тоже есть косяки. Сами детали стыкуются идеально, при такой точности и толщине это отлично. Но вот верхняя часть не годится. Надо переделывать закрывающую форму, из за стыков. Так же дужка вышла не правильной. Не заметил при отливке верхней части, что она немного поднялась, буду переделывать. У модуля оптики тоже странный узор спереди. То ли налил пластика мало, то ли брак формы. Буду разбираться. В остальном корпус модуля получился хорошо. Но надо будет попробовать сделать заливочную форму перевернув деталь. Возможно часть косяков уберутся сами собой.