Все что есть в компе — есть и сводится к языку. Числа, знаки, формулы, графики, картинки и тексты есть язык, иногда выражаемый для удобства аббревиатурами. Как числа и знаки, например, есть аббревиатуры. А любой язык программирования есть структурированный в понятный компьютеру формат повседневный человеческий язык, где каждая компонента имеет однозначное толкование (что означает что она объяснена только одним контекстом и известными-же подтекстами).
Раньше, с самого начала существования компа, для структурирования языка применялся только n-gram разбор. А в ходе NIST TREC QA мною был открыт и применен ИИ-разбор, благодаря чему мне удалось побить IBM, и разрушить монополию n-gram разбора. Победить именно в поиске информации, когда информация находится в ее контексте и подтекстах, то есть разъяснениях, то есть аннотированная разъясняющими текстами.
Сейчас эту мою запатентованную технологию используют все: OpenAI, Microsoft, Salesforce, Google, FB и т.д. Например для компьютерного перевода.
Итак, все сводится к технологии «поска» информации в ее контактах и подтекстах, что невозможно без структурирования текста.
К примеру есть предложение
-- Шлема и Ривка весело смеются, она любит это.
n-gram разбор получает 2-3 фразы (паттерна) из предложения. Например:
- Шлема и Ривка весело смеются
- она любит это.
ИИ-разбор получает следующий набор (уже осмысленных фраз):
- и Шлема весело смеётся 0.25
- и Ривка весело смеётся 0.25
- она любит смеятся 0.5
- Ривка любит смеятся 0.5
- она любит это 0.5
- Ривка любит это 0.5
- это любимо ею 0.5
- это любимо Ривка 0.5
- смех любим ею 0.5
Видите разницу? Чисто количествено n-gram дает две фразы, а ИИ-разбор — десять. Имея ИИ фразы компу легче искать и найти информацию. Так что ИИ это об «поске».
