为不同研究方法建立
共同的进步语言
作者看到的缺口
HCI 借用心理学、社会学、设计、工程和计算机科学等传统，却缺少一个能够解释这些传统如何追求共同目标的账户。结果是：研究者难以说明 HCI 是什么、什么算好研究，以及不同工作怎样比较和协作。
核心假设
只要把“问题”和“解决方案”定义得足够宽，经验发现、理论解释、设计概念与工程实现都能在同一框架内讨论。论文把 Larry Laudan 的经验与概念问题扩展为适合 HCI 的三类问题，并增加 confidence 作为第五项评价标准。
作者试图回答的四个问题
围绕人类使用计算时的经验、概念与构造缺失进行问题解决。
针对重要问题，产生有效、高效率、可迁移且可信的解决方案。
用 2015 CHI Best Papers 的目的性样本观察当时的贡献分布。
加强连接经验与构造工作的概念桥梁，明确写出问题，并用五项标准生成改进方向。
三类问题，九种缺失
作者把 research problem 定义为：对人类使用计算的某种现象缺少理解，或无法为了期望目的构造交互技术。分类对象是研究所声明的缺失，因此不能机械地把 qualitative 等同于 empirical、把 theory 等同于 model、把 constructive 缩减为一般工程实现。
| 主类 | 论文定义 | 三个子类型 | 典型响应与例子 | 常见误读 |
|---|---|---|---|---|
| Empirical 经验问题 | 创建或细化对人类使用计算时真实世界现象的描述。 | 1. unknown phenomena 2. unknown factors 3. unknown effects | 观察新现象；识别构成因素；量化因素的效果。论文举探索式学习、Distance Matters、fisheye menu 可用性为例。 | 使用访谈或民族志并不会自动决定贡献类型；关键是它填补了什么经验缺失。 |
| Conceptual 概念问题 | 解释交互中此前未被连接的现象，处理理论、概念、方法、原则和模型中的二阶问题。 | 1. implausibility 2. inconsistency 3. incompatibility | 解释直接操控为何感觉直接；修正把隐私当作静态属性的观点；处理 pointing throughput 指标中的不可兼容解释。 | 概念贡献不限定为形式模型，也不要求直接描述世界中的新现象。 |
| Constructive 构造问题 | 为了人类使用计算的某种目的，产生关于如何构造交互制品的理解。 | 1. no known solution 2. partial, ineffective, or inefficient solution 3. insufficient knowledge or resources for implementation or deployment | Tangible Bits 探索没有已知方案的交互概念；SenseTable 改进既有技术；WeSpace 处理实现与部署知识。 | 制品完成本身不自动构成研究贡献；贡献落在制品体现的知识、原则或可转移构造理解。 |
五项标准评价解决能力
Significance
问题对利益相关者有多重要：受影响人数、问题成本、发生频率、相对当前方案的改善幅度。新技术情境常只能作推测性论证。
Effectiveness
解决方案是否覆盖问题的核心部分，评价指标是否与真正优先事项相匹配。只证明制品存在可能遗漏现实条件。
Efficiency
创造、应用或部署解决方案所需的努力与资源，相对于获得的收益。它涉及工具、价格、规模和组织成本，范围超过运行时间。
Transfer
方案能否跨用户、任务、设备和情境复用，以及能否进入性质不同的新情境。大量应用示例只能提供一部分迁移证据。
Confidence
方案成立的可信程度。经验工作关注 validity、reliability、replication 和 reproducibility；构造工作还要说明 robustness 与情境适用性。
没有统一总分
五维没有共同量纲、统一权重或作者给出的聚合公式。把它们加权成一个数字会引入价值判断，也会掩盖利益相关者之间的冲突。
Table 1：作者给出的完整评估与改进启发式
| Criterion | Evaluation criteria | Heuristics for refining ideas |
|---|---|---|
| Significance | 利益相关者数量；改善对他们的重要性；没有获得改善时产生的成本。 | 面向不同或更多利益相关者；争取比当前 baseline 更大的改善；直接与 baseline 方案比较。 |
| Effectiveness | 是否捕捉问题的核心方面；评价指标与优先事项是否匹配。 | 采用多种评价标准与更丰富情境；验证评价标准；处理被忽略的现实困难。 |
| Efficiency | 创造或部署方案所需的努力与资源；scalability；size。 | 为实践者开发工具；共享数据集与代码；降低价格或成本。 |
| Transfer | 方案适用的用户、任务与情境数量；能否应用于性质不同的新情境。 | 识别并面向新用户群、情境或任务；展示广泛 generalisability。 |
| Confidence | Empirical validity；reliability；replicability；reproducibility；robustness。 | 在不同情境复现；报告判断 validity 与 reliability 的多种指标；允许重新分析。 |
21 篇 CHI 2015 Best Papers 的目的性分析
两位作者阅读每篇论文的 central parts，以最突出的 problem type 独立编码。首轮有 4 篇分歧，随后讨论形成 consensus。论文没有公开完整 codebook、逐篇分类表或 Cohen’s kappa 等可靠性统计。
根据论文给出的计数，样本内部比例为 \(12/21\times100\%\approx57.1\%\) 经验型，\(8/21\times100\%\approx38.1\%\) 构造型，\(1/21\times100\%\approx4.8\%\) 概念型。百分比由页面计算，原论文报告的是 12、8、1 的计数。
经验型占多数
包括社区语音论坛、3D 打印辅助技术、互动表面协作因素等现象与因素研究。作者认为这类论文通常能清楚说明 significance，但 effectiveness 与 transfer 较难证明。
构造型次之
BaseLase、Affordance++、ColourID 等围绕新概念或既有方案不足。部分工作只展示 solution，让 research problem 保持隐含。
概念型仅一篇
Borst 等人以整合认知理论解释相互冲突的 interruptions 发现。作者又扫描 98 篇 honorable mentions，只报告其中“few”篇概念型，没有给出精确数量。
混合贡献的真实例子
用访谈研究 Facebook newsfeed algorithm 的可见性，同时构造 feed transparency 系统让参与者看到算法后果：经验问题与构造问题并行。
用 Tiree Energy Pulse 原型帮助理解可再生能源预测：构造制品服务于经验理解。
多种应用用来论证 transfer，但应用展示仍弱于跨情境系统评测。
证明 sentence-level decoding 可在交互速度运行，同时坦承 2 GB language model 与八核服务器开销；效率没有成为主问题。
两个研究史案例
1990 年代结果随情境变化而难以迁移；2000 年代把 interruptability 连接到工作记忆和认知线程；后来出现理论驱动、面向驾驶与桌面场景的设计。作者认为该方向提升了解释与构造能力，但对新设计空间探索较弱。
该方向产生大量输入输出技术，一部分进入实际使用；作者同时引用领域内部对 point designs 的批评：研究常难以解释超越单项技术的通用原则。这个案例与 interruptions 的强项互补。
作者的建议与保留条件
建立 integrative conceptual glue
投入更多概念、理论、方法与模型，把经验发现连接到构造方案；假设应能启发设计，设计应体现经验证据支持的假设。
明确 research problem
写作应交代问题本身及预期提升的能力，避免只呈现新技术、方法步骤或“we know little”式空缺宣告。
使用五项 criteria 生成方向
分别追问利益相关者、核心覆盖、应用成本、迁移情境与可信证据；同一组问题也能用于个人项目和整个子领域。
重新审视 novelty
novelty 与 problem-solving capacity 只有相关关系。旧问题与旧方案不会因技术浪潮自动失效，新颖制品也可能没有带来解决能力。
谨慎要求 design implications
设计启示可能帮助 transfer，也可能退化成互不连贯的 if-then 清单并琐碎化经验发现。作者明确反对把它作为每篇论文的强制要求。
保留多种贡献路径
作者鼓励经验与构造桥接，同时承认构造工作无需预先拥有 hypothesis，理论也可能没有直接构造用途；框架容纳这些路径。
Fitts’ law 的示范性诊断
作者肯定其 significance 与 transfer：它处理普遍的 aimed movement，并跨设备与情境成立。作者也批评其 effectiveness、efficiency 与 confidence：任务级数据聚合忽略认知目标和运动动态；参数需逐任务与情境校准且较脆弱；由此可能局限于现有数据内插。这里是作者用五项标准生成研究问题的案例，不能解读成对全部 Fitts’ law 研究的总体否定。
九组反对意见与作者回应
| 反对意见 | 作者回应 | 仍然留下的问题 |
|---|---|---|
| 1. 会走向 technological solutionism | research problem 比 design problem 或 user problem 更宽；纯粹为了理解、探索设计或学习现象都在框架内。 | 宽定义降低了 solutionism 风险，也增加了分类解释空间。 |
| 2. 没有划定 HCI 与其他学科的边界 | HCI 应由研究对象、目的和特性界定，无需枚举组成学科。 | 当研究对象与相邻领域重合时，实际归属仍需要社区判断。 |
| 3. 忽略艺术 | 一部分艺术实践可描述为构造问题，例如触发某种体验的装置；作者承认艺术家可能拒绝这种描述。 | 框架无法消除艺术价值与工具性目标之间的张力。 |
| 4. 好奇心产生发现，框架只强调解决问题 | 好奇心可帮助识别问题，这是未来方案的前提。 | 作者明确承认框架对“如何产生问题”保持沉默，也不会鼓励好奇心。 |
| 5. 用户体验等主观质量无法测量 | 主观性会减慢能力提升，却不会阻止概念逐渐被定义和测量；cognitive workload 与 NASA-TLX 是例子。 | 可测量化过程仍包含构念与价值选择。 |
| 6. HCI 是 ill-defined / wicked problems | 新领域初期可以模糊，研究仍应逐步形成更清楚的问题与方案。 | 某些价值冲突无法仅靠更精确的问题表述消除。 |
| 7. Memex 与 ubiquitous computing 属于 vision | 愿景可落入概念或构造的 subtype 1：implausibility 或 no known solution。 | 框架承认愿景的重要性，也承认它不会教研究者怎样生成愿景。 |
| 8. 评价充满“on one hand / on the other hand” | 没有 significance 共识时，problem-solving capacity 的部分判断必然主观；不同 stakeholder 对重要性和效率会有不同看法。 | 缺少统一标尺正是框架最弱处之一，跨价值比较仍待解决。 |
| 9. HCI 目标包括社会与产业 impact | 可从外部 stakeholder 评价能力，关键是把社会或产业问题转换成 research problem。 | 作者承认 Laudan 对转换过程几乎没有指导，并质疑大学是否应直接解决产业问题。 |
这篇论文真正证明了什么
共同语言具有生成性
三类九问题把经验、理论、设计和工程放进同一套问题语言；五项标准促使作者与评审把“重要、有效、低成本、可迁移、可信”拆开讨论。框架还提供了从缺失类型生成研究问题的具体启发。
实证支持很窄
21 篇 purposeful sample 规模小且不代表全部 HCI；没有完整 codebook、逐篇判断表、可靠性统计或外部编码者；conceptual 与 empirical / constructive 的边界依赖解释。
五维难以跨价值比较
stakeholder 之间可能对 significance、cost 与 acceptable evidence 持相反立场。Table 1 适合诊断，却没有给出冲突解决、权重选择或跨领域比较程序。
论文没有验证的结果
没有证据证明该框架提升 reviewer 一致性、论文质量、长期实际 impact 或 HCI 的理论产量；“约 95%”是愿景式范围声明。
用 earPod 做一个受限示例
earPod 可被表述为 constructive subtype 2：既有 eyes-free menu selection 在速度、错误与注意负担上存在不足，论文构造触摸加反应式音频的方案；其用户实验还产生 empirical evidence。用五维检查时，stationary laboratory task、固定菜单与学习效应会限制 transfer；条件差异与输入机制可能形成 confound，影响 confidence。HCI Research as Problem-Solving 本身没有讨论 earPod，这里只展示如何使用框架。
可以形成后续研究的方向
建立公开编码手册与已裁决语料，检验研究者对三类九问题的 inter-rater reliability，并分析分歧来自贡献混合还是定义模糊。
让不同 stakeholder 分别排序五项标准，研究价值冲突怎样改变评审结论；输出多维 profile，避免形成虚假的统一总分。
追踪同一研究方向十年以上的经验、概念与构造贡献流动，检验“概念 glue”是否能预测后续 transfer、复现与实际采用。
来源与复现边界
- 作者网站提供的 12 页论文 PDF：全文、Figure 1–2、Table 1、21 篇编码分析和限制。
- University of Copenhagen Research Portal：正式标题、作者、CHI 2016、ACM、页码 4956–4967、DOI、会议日期和 12 页记录。
- 本地归档 PDF：
Reading/Papers/2858036.2858283.pdf，12 页，SHA-25657B214C744953954634980C571EDB178C7246EC4DD142ABAFAFDFE69588F2648。页面制作时完整读取正文与参考文献；两张图直接从归档 PDF 提取。
本页没有重新读取 21 篇 Best Papers 或 98 篇 honorable mentions 的全文，因此对 Eslami、Simm、Borst、ColourID、Acoustruments 与 VelociTap 的描述限定为本文作者的引用与例证。原文没有 supplementary appendix、公开编码材料、训练配置或可执行实现。