Изучение языков с помощью ИИ

The ESL Assessment Pro system После того, как наладил Claude Skills для оценки языкового уровня (об этом ЗДЕСЬ), решли я посмотрел, а как собственно Claude эту оценку производит и можно ли на эту оценку полагаться в экспериментах, а не для простых ученических нуждах. С этого момента я на неделю и пропал. 1. Первым делом, проанализировал (с помощью нейронок) те коды, которые Claude Skills применял для лингво оценки. Выяснилось, что он использовал самые базовые метрики и подтягивал очень малые вокабулярные датасеты (около 400 слов) для определения уровней CEFR. В результате оценка получалась более, чем грубая. Но далее Claude уже включал свою генеративную сущность и интерпретировал результаты уже как нейрока. В исследовательских целях на такую интерплетацию полагаться нельзя, так как результаты всякий раз будут разные, да и повехностные. Хотя их может быть достаточно для непрофессиональных целей. 2. Но мне стало интересно разработать исследовательский инструмент, который будет давать более надежные и стабильные результаты, независящие от флуктуаций генеративных моделей. То есть, разработать комп.программу лингвоанализатора и оценки уровней CEFR для английских текстов. 3. Подобный опыт разработки у меня уже имелся, когда анализировал результаты первого нейроэксперимента с немецким языком и ИИ-тьюторами. Тогда навайбкодил простую программу анализа немецких текстов, которая делала анализ по десятку основных метрик. Но тогда я не смог подключить библиотеки оценки уровней языка и еще массы полезных метрик. 4. В этот раз решил чуть больше заморочиться и сделать более сложную программу. Сделать - означает в моем случае, создать программу в режиме ИИ-разработки, то есть, сам код я не пишу, но руковожу процессом. Некоторые навыки в этом деле у меня за последние полгода прибавились. 5. Мой энтузиазм был поощрен тем, что в Kiro - программа редактора кода от Амазон, у меня обнаружились подарочные 1000 кредитов. Да и повод оказался подходящим, чтобы и Kiro проверить в деле. 6. Чем Kiro порадовал сразу - в него уже встроен фреймворк SDD - spec-driven development. 7. В общем, я взял как исходный проект, то что уже было создано Claude Skills и решил его наворотить до большой качественной программы-лингвоанализатора. Это была моя ошибка. Надо было начинать с полного нуля. Поэтому сократить путь не получиось, а скорее только удлинилось за счет борений с исходным проектом. 8. Мои действия - те библиотеки и датасеты, что были в Claude Skills я заменил на более качественные и продвинутые. Добавил еще ряд других библиотек и увеличил датасет до несколько миллионов слов, чтобы делать более точный анализ по CEFR и по другим метрикам. Число анализируемых лингво метрик увеличилось до 90 штук. Использовал только открытые библиотеки, репозитории и датасеты. Благо сейчас их много, особенно для английского языка. 9. Далее был долгий и нудный процесс ИИ-разработки, который занял неделю мытарств с утра до вечера, чтобы все модули этого лингвоанализатора протестировались, заработали и начали выдавать отчеты в том виде, как я это себе представлял. Готов был уже бросить, но было жалко. Потом исчерпал бесплатные 1000 кредитов, докупил еще столько же. 10. Сейчас программа дошла до более-менее рабочего состояния (есть что еще отлаживать), запускается из терминала, выделяет из исходного документа реплики ученика, анализирует их и генерирует два вида отчета: базовый и профессиональный (с анализом по всем метрикам) в тех форматах: md, json и pdf. (Пример ЗДЕСЬ ) Готов уже модуль и грамматического анализа, но еще не подключен (в отчете его нет). 11. Аналогов такого рода исследовательскому инструменту я не находил, а к платным и доступ часто закрыт для частных лиц, нужно региться от имени какого научного центра. 12. Получил хороший опыт ИИ-разработки, обнаружил у себя кучу пробелов в этой области, ликвидацией которых и планирую дальше заниматься. ➖➖➖ Изучение языков с помощью ИИ | Тысячедневка Мультиделания | 10 языков за 1000 дней | Миллион слов за 5 лет