1987WEB视界-分享互联网热点话题和事件

您现在的位置是:首页 > 人工智能AI > 正文

人工智能AI

OpenAI 偏爱哪些类型的研究,无论是学术研究还是其他研究?

1987web2023-05-05人工智能AI336
以下主题和问题总结了OpenAI感兴趣的研究领域:对齐:我们如何理解模型最好理解为追求的目标(如果有)?我们如何增加该目标与人类偏好一致的程度,例如通过提示设计或微调?FairnessandR

以下主题和问题总结了 OpenAI 感兴趣的研究领域:

对齐:

我们如何理解模型最好理解为追求的目标(如果有)?我们如何增加该目标与人类偏好一致的程度,例如通过提示设计或微调?

Fairness and Representation:

如何为语言模型中的公平性和代表性建立性能标准?如何改进语言模型以有效支持特定部署上下文中的公平和代表性目标?

跨学科研究:

人工智能的发展如何借鉴哲学、认知科学和社会语言学等其他学科的见解?

可解释性/透明度:

这些模型在机制上是如何工作的?我们能否识别他们使用的概念,或从模型中提取潜在知识,对训练过程做出推断,或预测令人惊讶的未来行为?

滥用可能性:

像 API 这样的系统如何被滥用?我们可以开发什么样的“红队”方法来帮助我们和其他 AI 开发人员考虑负责任地部署这样的技术?

模型探索:

像 API 服务的模型具有我们尚未探索的各种功能。我们对许多领域的调查感到兴奋,包括模型限制、语言特性、常识推理和许多其他问题的潜在用途。

鲁棒性:

生成模型的能力表面不均匀,具有出人意料的强大和出人意料的能力薄弱区域的潜力。大型生成模型对提示中的“自然”扰动有多稳健,例如以不同的方式表达相同的想法或有/没有错别字?我们能否预测大型生成模型更有可能稳健(或不稳健)的领域和任务类型,以及这与训练数据有何关系?是否有我们可以用来预测和减轻最坏情况行为的技术?如何在少样本学习的背景下衡量稳健性(例如提示的变化)?我们能否训练模型,使其即使在对抗性输入下也能以非常高的可靠性满足安全属性?