Физика и лирика))

Собрался рассказать про векторный (смысловой) поиск - а он не работает. Оказалось, что при сборке одна из библиотек-компонентов не подтянулась в инсталлятор. Пришлось все заново пересобирать - заодно внедрил и добавление баз, чтобы эта функция стала возможной прямо из интерфейса, без перезапусков программы. Вполне удобно получилось. Снял 8-минутный ролик, включающий загрузку, распаковку и запуск программы, индексацию-поиск в предустановленных шести книгах, сборку новой базы из книг Граней и подключение в поисковую систему ещё девяти баз, их индексацию и затем поиск слова "индекс" во всех 16 базах:



Кнопку "Собрать базу" теперь точнее будет переименовать в "Добавить базы" и ещё один глюк обнуления списка отобранных индексов заметил - после снятия с них галочек поиск был все ещё возможен. Но это уже позже при случае подправлю. Вообще в программировании, как и в остальных областях, мысль требует времени на кристаллизацию - ее созревание форсировать не получится. А тут за неделю столько других мыслей проносится, что и не вспомнишь - на чем в разработке программы остановился) Дальше покажу свои подходы к векторному поиску.

 

Геометрия качеств, кристалл сознания, смысловое пространство, вибрационные или числовые ключи понятий Учения, узлы ментального тела, Вихри Знания...
"Именно, когда упомянуто не только одно слово, встречающееся на определенных страницах, но и все сочетания его, т.е. когда приведены два, три слова, следующие за ним, указующие на новую комбинацию его". (из письма Е.И.Рерих о составлении симфонии всех книг Учения)
На видео простая модель FastText, обученная на книгах Граней Агни Йоги:

 

Новая наука чтения мыслей

Новая модель искусственного интеллекта под названием Brain-IT способна «считывать» активность вашего мозга и восстанавливать увиденное с поразительной скоростью и точностью.

Стадион полон, мяч в воздухе – и все взгляды прикованы к бэттеру, готовому взмахнуть бейсбольной битой. Это сцена, богатая деталями и символическим смыслом, мгновенно узнаваемая болельщиками. Модель искусственного интеллекта «чтения мыслей» под названием Brain-IT , разработанная в лаборатории профессора Михала Ирани в Институте науки Вейцмана, может воссоздать эту сцену, основываясь исключительно на мозговой активности человека, наблюдающего за ней. Brain-IT научилась распознавать паттерны мозговой активности, которые повторяются в разных областях мозга разных людей при обработке изображений, что позволяет ей научиться «читать» нового человека с беспрецедентной скоростью и исключительной точностью.

В последние годы ученым удалось восстановить способность общаться с людьми, страдающими тяжелым параличом, используя персонализированные модели искусственного интеллекта, обученные на десятках часов записей их мозговой активности. Эти технологии меняют жизнь, но они все еще далеки от чтения мыслей, поскольку адаптированы к конкретным людям и требуют длительного обучения. Brain-IT, напротив, распознает паттерны мозговой активности, общие для всех нас, и преобразует их в изображения.

«Сегодня существуют модели, которые преобразуют активность мозга в изображения, и они даже могут создавать впечатляющие реконструкции, достаточно хорошо сохраняющие семантическое значение изображения», — говорит Ирани. «Однако они, как правило, допускают ошибки в таких основных характеристиках, как композиция и цвет. Разработанная нами новая модель превосходит их в реконструкции как содержания изображения, так и его деталей. Более того, в то время как любой другой модели требуются десятки часов сканирования мозга, чтобы научиться «читать» нового человека, нашей модели достаточно одного часа».

Путь к разработке Brain-IT, который в этом году был выбран для презентации на Международной конференции по обучению представлениям (ICLR), одной из ведущих мировых конференций по искусственному интеллекту, был непростым. Команде Ирани из отдела компьютерных наук и прикладной математики Вейцманского университета – Роману Белию, Амиту Зальчеру, Джонатану Когману и Навве Вассерману – пришлось столкнуться с острой нехваткой данных.

Для обучения такой модели ИИ с целью достижения оптимальной производительности требуется огромное количество изображений в сочетании с данными функциональной магнитно-резонансной томографии (фМРТ), регистрирующими активность мозга во время просмотра участниками этих изображений. Но для создания таких наборов данных исследователям необходимо поместить большое количество участников в клаустрофобные аппараты МРТ на длительное время. Соответственно, самый большой набор данных, доступный в настоящее время исследователям в этой области, содержит данные фМРТ не более чем восьми человек, каждый из которых просмотрел несколько тысяч изображений — не так уж много, если говорить об обучении алгоритмов ИИ.

Решение, разработанное Ирани и ее командой для решения проблемы нехватки примеров, напоминает двуязычный словарь. Вместо того чтобы разрабатывать только «декодер», который учится восстанавливать изображение по данным МРТ, они также разработали « кодировщик », который учится предсказывать результаты МРТ по изображению.

В процессе обучения кодировщик выявил 128 функциональных областей, общих для всех людей и выполняющих специфические функции в обработке изображений.

«Мы поняли, что, осуществляя преобразование туда и обратно — от случайного изображения, которое никогда не просматривалось на аппарате МРТ, к прогнозируемому снимку мозга, а затем обратно к исходному изображению, — модели фактически создадут огромный набор данных», — объясняет Ирани. «План состоял в том, чтобы подавать на вход кодировщика изображения, которые никогда не показывались человеку в МРТ-сканере, генерировать для них приблизительные снимки мозга и передавать эти снимки декодеру, который попытается восстановить исходное изображение на их основе. Таким образом, во время обучения модели научатся генерировать снимки, которые эффективно кодируют изображения, даже несмотря на то, что эти МРТ-сканирования фактически никогда не проводились».

Главная сложность при разработке кодировщика заключалась в различиях между отдельными мозгами: одно и то же изображение может вызывать разные паттерны активности у разных людей. Решение заключалось в разложении проблемы на составляющие. Вместо того чтобы пытаться закодировать изображение в виде целого сканирования мозга, исследователи разделили мозг примерно на 40 000 «мозговых вокселей» — крошечных трехмерных единиц объема — и измерили, как каждый из них реагирует на разные изображения. Одновременно они использовали модель искусственного интеллекта для извлечения из изображений основных визуальных характеристик, таких как цвет и местоположение, а также семантических характеристик, отражающих смысл изображения — например, продукт питания или лицо. На этом уровне детализации начали выявляться паттерны мозговой активности, которые повторялись в разных мозгах и были связаны с определенными характеристиками изображения — открытие, которое позволило создать универсальный кодировщик мозга.

Оказалось, что кодировщик мозга — это гораздо больше, чем просто технический шаг на пути к разработке декодера. «В процессе обучения кодировщик естественным образом выявил 128 функциональных областей, общих для всех людей и выполняющих определенные функции в обработке изображений», — объясняет Ирани. «Некоторые из них знакомы нейробиологам, но другие совершенно новые. Например, мы обнаружили разделение функций в области мозга, обрабатывающей изображения мест — PPA — где одна часть реагирует на сцены в помещении, а другая — на сцены на открытом воздухе».

«Сила кодировщика заключается в его способности идентифицировать области, выполняющие схожие функции в разных отделах мозга, даже если их анатомическое расположение различается», — добавляет она. «Еще одно преимущество — это возможность контролируемого тестирования различных характеристик. Например, можно подать на вход одно и то же изображение в цвете и в черно-белом варианте, выявить различия между прогнозируемыми результатами МРТ и на основе этого сделать вывод о том, где в мозге кодируется цвет. В будущем кодировщик также может помочь нам понять, как разные области взаимодействуют и как формируется восприятие».

В лаборатории Ирани сейчас работают над расширением этих методов «чтения мыслей» на расшифровку слуховой информации. Видео может стать еще одним перспективным направлением. «Особенно сложной остается расшифровка видео — например, во время сновидений», — объясняет она. «Десятки изображений меняются каждую секунду, в то время как МРТ-сканирование занимает около двух секунд. Если мы преодолеем все эти препятствия, возможно, в будущем мы даже сможем читать сны».

В исследовании использовался общедоступный набор данных Natural Scenes Dataset, включающий МРТ-сканы 8 участников , каждый из которых просмотрел тысячи изображений . Составление набора данных было чрезвычайно трудоемким процессом: каждый участник принял участие в 30-40 сеансах сканирования. Каждый сеанс включал 6 МРТ-сканирований, каждое длительностью около 10 минут, и во время каждого сканирования участники просматривали примерно 40 изображений. Полученный набор данных содержит около 73 000 пар «изображение-МРТ».

Источники:

The New Science of Mind-Reading

Brain-IT: Image Reconstruction from fmri via Brain-Interaction Transformer

 

Спасибо. Интересно. Много задач приходится решать ученым.
Хорошо бы, чтобы разрабатывая новые программы, не попали в ситуацию, которая описана в рассказе Роберта Шекли "Страж-птица".

Роберт Шекли, Страж-птица - [читать полностью]

 

И вам спасибо за отклик. Жаль, что сейчас только на свою ветку времени хватает, да и то с недельными перерывами. Но однажды, надеюсь, дойду и до остальных веток) А то разгонюсь что-то из стихов-музыки на них публиковать - а, окажется, что такое уже там было)

В рассказе Роберта Шекли удивило, что принцип самообучения техники был предсказан ещё в 50-е годы. Я впервые узнал за него из статьи Генри Киссенжера - он случайно попал на лекцию по ИИ, и уже думал с нее уйти, предполагая, что это только для молодежи. Но момент про обучение программ его остановил. Так это было может лет семь назад. Но, впрочем, честное размышление вполне может предсказывать новые области развития техники, ничего тут сверхъестественного нет. Сейчас не редкость и полицейские электронные собаки, и беспилотники. А в сети скоро и не такое начнется..

Неограничены и неисповедимы пути Эволюции. Сдвинуть цивилизацию с мертвой точки вполне могут и диалектический материализм, и искусственный интеллект, и многие другие подручные, "малодуховные" с виду инструменты. Но по общей схеме вещей такие способы будут на время.

В рассказе есть глубокое замечание, что с такими страж-птицами "равновесие в природе улетит к чертям". И, на человеческий взгляд, совершенно непонятно, чем можно исправить к лучшему мир в его нынешнем положении. Слишком многое на планете необходимо одновременно сдвинуть, иначе спасения мира и близко не просматривается.

Это явно задача для Высшей Воли. Можно предположить, что для старого мира однажды сложится "идеальный шторм" - когда одновременно будут происходить частичные катаклизмы и станет очевидной невозможность возврата к прежней жизни, когда начнут летать тела в уплотненном астрале и созреют условия для перехода к формату общины, когда наука дойдет до снимков ауры и состоится Приход. Только все это множество в комплексе, смещение по различным плоскостям согласно принципа равновесия. По отдельности же - возникнет локальное неуравновесие, а мир остается стоять на месте.

Да, все достижения могут быть обращены на зло. Из очевидной пользы - отдельные модели ИИ сейчас запросто обходят закостенелость и предубеждения науки, выводят компьютерное программирование с технического на творческий уровень, помогают разбираться в новых предметах. И, обучая модели, невольно оказываешься в положении Творца. А это дает возможность глубже понять работу человеческого разума, явлений учебы или, наоборот, необучаемости.

Но, конечно же, ИИ-моделирование усиливает разрушительные или доводит до абсурда примитивные наклонности человечества. Думаю в грядущем "идеальном шторме" цивилизации вклад ИИ будет немалым. Если к тому времени конфликты не разрушат энерготопливную сферу жизни настолько, что ресурсов для полноценной работы ИИ уже не останется. Ведь обучать модели - довольно энергозатратное занятие. Доступное сегодня может исчезнуть завтра - такое уже много раз было.