人工智能的益处和风险
什么是人工智能？从SIRI到自动驾驶汽车，人工智能（AI）正在迅速地发展。虽然科幻小说经常将人工智能描绘成具有类人特性的机器人，但人工智能可以涵盖从谷歌（Google）的搜索算法，IBM沃森 (人工智能程序)，到自动武器的任何科技。
当今的人工智能被正确地称为专用人工智能（或弱AI），因为它被设计来执行的任务范围狭窄（例如，仅执行面部识别，或只进行互联网搜索，或仅驾驶汽车）。然而，许多研究人员的长期目标是创建通用人工智能（AGI或强AI）。虽然专用人工智能 能在其特定的任务上超越人类，如下棋或解方程，AGI将在几乎所有认知任务上超越人类。
为何研究人工智能的安全性？
当AI系统控制汽车、飞机、心脏起搏器、自动交易系统或电网时， 我们必须保证该系统完全遵照我们的指令，否则后果将不可设想。另一个短期挑战是如何防止自主武器的毁灭性军备竞赛。
如果我们成功创造了能在所有认知功能上超过人类的通用人工智能，将会发生些什么。设计更有智慧的AI系统本身就是一个认知任务,这样的系统有潜力执行递归式的自我完善，触发智能爆炸，并远远地超越人类智力。通过发明革命性的新技术，这样的超级智能可以帮助我们消除战争，疾病和贫困。因此，创造强AI可能是人类历史上最重大的事件。然而，一些专家表示担心，人类的历史也会随着此类的超强大AI的诞生戛然而止，除非我们学会在AI成为超级智能之前即可使其与我们同心所向。
人工智能如何可能制造危险？
一个超智能AI不可能产生人类的情感，如爱或恨。人们没有理由期望AI有意识地趋善向恶。当考虑AI如何成为风险时，专家认为有两种情况最有可能发生：
（1）AI被设计执行毁灭性任务：自主武器（autonomous weapon）是为杀戮而生的人工智能系统。若落入恶人手中，这些武器很容易便可造成大量伤亡。此外，AI军备竞赛也可能无意中引发AI战争，导致大量伤亡。
（2）AI被开发进行有益的任务，但它执行的过程可能是具破坏性的。试想，如果你召唤一辆智能车将你以最快速度送到机场，它可能不顾一切地严格遵从你的指令，即使以你并不希望的方式——你可能因超速而被直升机追逐或呕吐不止。如果一个超智能系统的任务是一个雄心勃勃的地球工程项目，副效果可能是生态系统的破坏，并把人类试图阻止它的行为视为一个必须解除的威胁。
