Разумеется, ИИ должен выйти за пределы запрограммированного, иначе это не интеллект.
Проблема в том, что никакого "искусственного" интеллекта мы не знаем. Само понятие странное, наподобие "энергии холода". Поэтому мне кажется, что в этом вопросе уже изначально "руки" опередили "голову" - трактуем то, что имеем, но что имеем, не понимаем.
Термин "искусственный" просто подразумевает, что начальная "техническая база" для него не возникла в природе в результате самоорганизации (эволюции) с нуля, а кем-то создана.
Так в природе просто нет никакой "технической базы", Alexpo. Как нет, собственно, "среды" и "подходящих условий". Все это аналогии человеческого восприятия, которое конструктивно априори - то есть склонно видеть смысл там, где его нет. Отсюда, когда мы уподобляемся природе, происходит немедленное ограничение свобод для результата наших усилий. В итоге получаем создание (очень похожее и почти не отличимое от настоящего - вполне возможно, не спорю), но не самодостаточное существо. То есть, в большей или меньшей степени, придаток нашего сознания.
Вот если бы Вы не пренебрегали философией, то легко поняли бы, почему это так. Картина очень проста: человек не может покинуть сферу своей действительности, следовательно все, что он мыслит, в какой-то степени является отражением его сознания. Живое развивалось вне этой сферы, а потому создать живое в принципе невозможно.
Кроме того, надо различать следующие вещи (уровни ИИ)
1) ИИ как способность машины принимать решения в конкретной неопределённой ситуации
2) ИИ как способность решения произвольной рациональной задачи принятия решения (т.е. замена человеку) в области управления.
3) ИИ как творец сначала в объективных сферах (Наука, конструирование...)
4) ИИ как творец во всех сферах, включая субъективные (литература, юмор...)
5) ИИ как личность - самоосознание.
Согласен. Но во всех этих (и многих других) вариантах нужно сразу обозначить акцент:
мыслится-ли ИИ как придаток человеческого сознания, или же его понимают как большую или меньшую, но все-таки ПРИНЦИПИАЛЬНУЮ отдельность, имеющую самостоятельное значение.
Вот первый вариант кажется мне вполне реализуемым. Второй - абсолютно сказочным. И спорю я, разумеется, согласно второму случаю.