【论文笔记】024 LongMemEval - Benchmarking Chat Assistants on Long-Term Interactive Memory
这篇论文的核心贡献是提出了 LongMemEval，这是一个专门用于全面评估聊天助手在长期、持续交互中五项核心记忆能力（信息提取、多会话推理、知识更新、时间推理和拒答）的基准测试，并揭示了当前最先进的模型在处理此类任务时存在显著的性能缺陷。
#基准测试
该标签下的全部文章。
【论文笔记】017 PersonaFeedback - A Large-scale Human-annotated Benchmark for Personalization
本文推出了 PersonaFeedback，这是一个包含 8298 条人工标注测试用例的大规模基准测试，通过解耦人格推断与个性化生成，精准评估大语言模型（LLM）在给定显式用户画像时提供个性化响应的能力，并揭示了现有模型在复杂个性化场景下的局限性。
【论文笔记】018 PersonaLens - A Benchmark for Personalization Evaluation in Conversational AI Assistants
论文的核心贡献是提出了 PersonaLens，这是一个全新的基准测试框架，通过模拟具有丰富人口统计特征、个人偏好及交互历史的虚拟用户，系统性地评估 AI 助手在多轮、跨领域的任务导向对话中实现个性化定制服务的能力。