Как я и предсказывал, создание гигантских моделей, типа BERT и GPT-3 приостановилось. Ни Амазон, ни Salesforce, ни IBM на это не купились. Почему?
1. Такая модель создается из огромного количества несвязанных тематически текстов, написанных на различных интеллектуальных, культурных, эмоциональных уровнях. Т.е. безо всякой персонализации (или как говорят, дезинформируя, в Америке — безо всяких BIOSов.) Затем, поиск в этих миллионах текстов идет на основе только поискового запроса, обычно состоящего из 2-5 слов, редко из 6-7 слов. То есть нужно найти один текст из миллионов, относящихся к теме поиска, на нужном культурно-образовательно-эмоциональном уровне. Чтобы затем на основании найденого текста аннотировать, разъяснить поисковую фразу десятками и сотнями.
Любой, кто хоть раз пользовался Гугля, знает что это нереально: аннотировать при помощи BERT или GPT-3 невозможно.
Так почему возникли эти мастодонты? Для дезинформации конкурентов, и компаний и стран.
2. Правильный путь это создание персональных профилей и аннотирование поисковых фраз через них. Персональные профили узко ориентированы, в них очень просто найти нужные куски текста и расширить поисковую фразу, скажем с 1-5 слов до 100-500 поисковых фраз. Персональные изначально содержат в себе все мыслительные и эмоциональные особенности, что отражается в качестве разъяснений поиска.
Технология объяснена в моих патентах, засекреченных военной разведкой США.
3. Россия может создать базу данных всей информации в Рунете, используя эту мою технологию. И я знаю как это можно сделать практически бесплатно и очень быстро. Я также знаю как это сделать в Американском сегменте, но меня вышвырнули из него на помойку. Не разрешили...
Так что BERT и GPT-3 это мертворожденные монстры. Майкрософт скорее всего купил GPT-3 как отполированную технологию для создания именно личных профилей, сама модель ему не нужна. Действительно, Майкрософт вместе с GPT-3 купил так нужный ему словарь.
