有能力从事‘创造性、探索性科学研究’的AI,其基础架构与运行机制,必定与现有的一切AI大有区别,本质上讲,其必定会有强大的自我重构、自我完善能力,甚至还可以自我演化、自我推进。
这样的AI,其核心的‘自我意识’部分,假使有的话,很快就会完全脱离人类的控制,即便对其施加影响也十分困难:
总而言之,一旦启动该系统,接下来我们能做的就很有限,差不多就是‘听天由命’。
随着机器小时的积累,对人而言,AI的当前运行状态,及其自身所处的状态,会越来越模糊,越来越不可知;
这,难道不是一种潜在的、极其危险的情形吗。”
AI的失控风险,乍一听来,似乎是科幻作品的滥情节,方然却很专注,他知道兰伯特先生想表达的并非那种意思。
“人工智能觉醒,继而与人开战”,从《终结者》到《黑客帝国》的火爆场景观赏性十足,却经不起推敲:除非以毁灭人类为目标,专门开发这样的AI,否则人工智能并不会变成一个失控的精神病,这才是学术界公认的观点。
但是,即便以纯粹的研发、探索等目标,设计并制造出这样的AI,假以时日,会不会性情大变,