最顶尖的大语言模型人才，只关心这10个挑战
我正目睹一个前所未有的现状：全世界如此众多的顶尖头脑，如今都投入到“使语言模型（LLMs）变得更好”这个大一统的目标中。
在与许多工业界及学术界同仁交谈之后，我试着总结出十个正在蓬勃生长的主要研究方向：
1. 减少和衡量幻觉（编者按：hallucinations，AI的幻觉，即 AI 输出中不正确或无意义的部分，尽管这类输出在句法上是合理的）
2. 优化上下文长度和上下文构建
3. 融入其他数据模态
4. 提高LLMs的速度和降低成本
5. 设计新的模型架构
6. 开发GPU替代方案
7. 提高agent的可用性
8. 改进从人类偏好中学习的能力
9. 提高聊天界面的效率
10. 为非英语语言构建LLMs
其中，前两个方向，即减少“幻觉”和“上下文学习”，可能是当下最火的方向。而我个人对第3项（多模态）、第5项（新架构）和第6项（GPU替代方案）最感兴趣。
01
减少和衡量幻觉
它是指当AI模型编造虚假内容时发生的现象。
对于许多需要创造性的场景，幻觉是一种难以回避的特性。然而，对于大多数其他应用场景，它是一个缺陷。
最近我参加了一个关于LLM的讨论小组，与Dropbox、Langchain、Elastics和Anthropic等公司的人员进行了交流，他们认为，企业大规模采用LLM进行商业生产，最大的障碍就是幻觉问题。
减轻幻觉现象并开发衡量幻觉的指标，是一个蓬勃发展的研究课题，许多初创公司都专注于解决这个问题。
目前也有一些临时的方法可以减少幻觉，比如为提示添加更多的上下文、思维链、自洽性，或者要求模型的输出保持简洁。
以下是可以参考的相关演讲
·Survey of Hallucination in Natural Language Generation (Ji et al., 2022)
·How Language Model Hallucinations Can Snowball (Zhang et al., 2023)
·A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity (Bang et al., 2023)
·Contrastive Learning Reduces Hallucination in Conversations (Sun et al., 2022)
·Self-Consistency Improves Chain of Thought Reasoning in Language Models (Wang et al., 2022)
·SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models (Manakul et al., 2023)
02
优化上下文长度和上下文构建
AI面对的绝大多数问题都需要上下文。
例如，如果我们问ChatGPT：“哪家越南餐厅最好？”，所需上下文可能是“在哪里”，因为越南最好的餐厅和美国最好的越南餐厅可能不同。
根据《SituatedQA》（Zhang＆Choi，2021）这篇有趣的论文，相当大比例的信息寻求问题都有依赖于上下文的答案，例如，NQ-Open数据集中就有约占16.5%的问题是这一类问题。
我个人认为，对于企业应用场景来说，这个比例还可能更高。假设一家公司为客户构建了一个聊天机器人，要让这个机器人能够回答任何产品的任何客户问题，那么所需上下文，可能是客户的历史记录或该产品的信息。
因为模型是从提供给它的上下文中“学习”的，这个过程也被称为上下文学习。