PAPER READING · INTERACTIONS 2016 · 23(3) · 38–44

HCI 研究贡献的七种形态

从知识产物、证据标准到研究定位:七类框架、CHI 历史表格与多标签统计的完整精读

Jacob O. Wobbrock · Julie A. Kientz · University of Washington

01 · 论文身份与阅读结论

一篇 HCI 论文的贡献,不等于它做过哪些工作,而是完成这些工作之后,别人获得了什么此前没有的、可以理解和利用的知识。Wobbrock 与 Kientz 用七种知识形态组织这个问题,并为不同产物配上不同的评价依据。

七类知识

Empirical、Artifact、Methodological、Theoretical、Dataset、Survey、Opinion。它们可以共同出现在一篇论文里,不构成从低到高的排名。

八个投稿标签

CHI 2016 将 Empirical 拆成「研究系统使用」与「研究人」两类,形成八个可选标签;七与八描述的是不同层次。

证据要匹配主张

系统、输入技术和设计愿景同属 Artifact,但不必使用同一套评价。统计显著、做过用户研究或上传代码,都不是自动成立的贡献证明。

Paper Verified:正式标题为 Research Contributions in Human-Computer Interaction,作者按顺序为 Jacob O. Wobbrock、Julie A. Kientz,均署名 University of Washington。发表于 Interactions 23(3),2016 年 5–6 月,刊页 38–44,DOI 10.1145/2907069。用户原文件共 7 页,第一页是开篇插图,正文从刊页 39 开始;没有额外附录,也没有机器学习模型、训练实验或消融表。

版本核验:作者网站的 2016 正式文章 PDF与用户原 PDF 的七页提取文本逐页完全相同;文件字节不同,原文件及已有标注保持原样。旧笔记的 Wobbrock-2012.pdf是另一份单作者、6 页的未发表白皮书 Seven Research Contributions in HCI,当前可下载版注明最后更新于 2015-11-06。不能用这个链接替代双作者 2016 文章的书目信息。

Our Interpretation:本文最实用的作用是让作者把「贡献陈述」与「证据责任」连接起来,让评审先理解工作的知识产物,再判断验证是否充分。它不是投稿成功预测器,也没有证明七类穷尽所有未来 HCI 研究。

阅读基准:用户原 PDF 全部 7 页及参考文献;原图 1–2、原表 1–3 全部保留。以下标记分别表示 Paper Verified(原文事实)、Author Claim(作者主张)、Our Interpretation(分析判断)、Research Extension(尚未验证的研究建议)。

02 · 研究问题、论证结构与贡献单位

HCI 的参与者来自计算机科学、工程、设计、心理学、社会科学等传统。同样叫「好研究」,不同传统可能重视发现、可运行系统、理论解释、研究方法或设计表达。如果把一种传统的验证方式当成统一门槛,就容易把有价值的工作排除在外;如果只强调多元,又可能使评价缺乏清楚的依据。本文尝试在开放性与可判断性之间建立一张概念地图。

作者实际做了三件事

  1. 概念整理:总结来自早期白皮书的七种知识贡献,给出各类定义、评价标准与具体例文。
  2. 历史梳理:展示 CHI 投稿分类如何从混合工作活动、研究对象与方法的长描述,逐渐转向较简洁的知识类型。
  3. 描述性统计:报告 CHI 2016 作者自选标签的投稿与录用分布,展示这一届会议产生、传播的知识结构。

因此,本文的「方法」应理解为概念分析、历史材料整理与会议元数据描述,而非训练一个分类模型。文章没有报告系统检索协议、双人编码一致性实验、随机对照教学研究或分类法有效性的受控检验。CHI 投稿系统采用这套标签,是实际使用的证据,但不是分类互斥、完备或能改善评审质量的独立证明。

不要把活动、载体与贡献混为一谈

层次例子应追问什么
研究活动访谈、写代码、训练网络、收集数据、做设计工作坊这些活动最终产生了什么新知识?
传播载体论文、视频、演示、原型、数据文件他人通过它理解或复用的内容是什么?
研究贡献新的行为发现、交互可能性、可靠方法、解释框架、代表性资源相对于已有知识,它新增什么;凭什么相信;适用边界在哪?
贡献价值重要性、可信性、启发性、可迁移性、实际用途这项新知识为什么值得研究共同体保留和进一步使用?

Our Interpretation:一项用户研究可能只是为系统主张提供验证,也可能同时得到值得单独保留的人类行为发现。反过来,代码量再大,如果没有解释新能力、新机制或可迁移知识,也不能仅凭工程投入确认研究贡献。判断单位是主张和知识增量,而不是论文里出现过哪些材料。

原文刊页 39–40:知识贡献、学科多样性与文章目标

03 · 七类贡献的完整判断框架

下表按原文顺序保留全部七类,并把定义、评价依据与常见误判并列。最后一列是本页的操作性解读,不是原文给出的机械评分规则。

类型知识产物原文核心评价依据容易混淆之处与判断边界
Empirical
实证
经观察和数据收集得到的新发现发现的重要性;产生发现的方法是否严谨、精确,是否受到混淆因素影响不等于定量实验;访谈、民族志、日记、日志等同样可能形成实证贡献
Artifact
交互制品
通过系统、架构、工具、技术、草图或愿景揭示的新可能性依据制品类型:系统看能力与实现;输入技术看人类表现;设计表达看洞察、说服力、创新与权衡可运行产品不是唯一形式;用户研究也不是统一的必要形式
Methodological
方法学
关于如何研究或实践、如何发现/测量/分析/创造的新方法知识效用、可复现性、可靠性、效度;通常需要反复验证仅使用一个方法不等于提出方法贡献;需要把方法的改进及适用性本身作为主张
Theoretical
理论
新的或改进的概念、定义、模型、原则、框架新颖性、合理性与描述/预测/解释能力;科学理论应可检验、可证伪一组概念不自动成为成熟的解释理论;覆盖所有现象却无法排除任何情况也可能失去区分力
Dataset
数据集
对共同体有用的新语料或资料库,常附特性分析与基准对测试和测量的用途、代表性及社区可用性数据是实证研究的输入时,不自动同时构成独立数据集贡献
Survey
综述
对一个研究主题已有工作的综合,揭示趋势与空白组织已知内容与暴露研究机会的能力;完整性、深度、成熟度、组织性文献多不等于综合强;调查问卷与文献综述在这里是不同概念
Opinion
观点/论证
以证据和论证改变读者看法,促使反思、讨论、争论论证强度、证据可信度、公平对待反方、议题广泛相关且易于理解不是「无需证据的个人意见」,也不要求观点已经获得普遍赞同

原文并没有给这七类设定互斥的决策树。一项工作可以由 Artifact 主导,同时贡献新的 Empirical 发现;一套共享语料可以伴随新的抽样 Methodological 贡献。多种贡献需要分别提出和举证,不能把同一个结果重复命名七次来扩大贡献数量。

Our Interpretation:可以用一个问题快速定位:删掉所有实验过程、工具名称和实现细节之后,读者还带走什么?若答案是一个发现,偏实证;是一种实现新交互的办法,偏制品;是一种可迁移的研究做法,偏方法学;是一套解释或组织概念,偏理论。这个启发式仅用于整理主张,不能替代细读。

原文刊页 40–42:七类定义及评价标准

04 · 实证与制品:同样有实验,知识目标可能不同

实证贡献:方法严谨与发现重要,两个条件都不能省略

实证知识来自观察与数据收集。原文明确容纳定性或定量、实验室或田野,以及带有不同认识论立场的数据。列举的来源包括实验、用户测试、田野观察、访谈、问卷、焦点小组、日记、民族志、传感器和日志。这些方法的共同点不是数字多,而是结论与材料之间有可审查的关系。

严谨不等于只报告统计检验:一个定性研究同样需要交代参与者、情境、材料来源、分析过程与解释边界。这些具体实践是本页对「方法合理」的展开,原文并未规定统一操作清单。即使某个差异具有统计显著性,若问题无关紧要或效果缺乏实质意义,也不能凭显著性本身说明贡献重要。

Our Interpretation:系统可用性测试可能告诉我们「此系统在这些任务下可用」,但这不必然产生可迁移的人类行为发现。若要另列实证贡献,需要说明发现相对于已有研究的新意、其解释范围及方法是否足以支持该范围。

制品贡献:评估要随着制品所承载的主张变化

原文区分的制品主要要证明的东西原文评价方向本页建议的证据组织
系统、架构、工具、工具包哪些事情因此成为可能,以及怎样实现整体评价能力、结构与实现方式解释机制、代表性能力演示、与已有方案的实质差异、适用限制;若宣称效能提升,再增加与该主张匹配的证据
新输入/交互技术人类操作表现的收益精确、定量地隔离性能收益合理基线与受控任务、学习/熟练度、时间和错误的权衡;不能只展示好看的演示
草图、模型、愿景等设计表达设计展示的洞察、创新与未来可能性表达是否有洞察和说服力;是否处理相互冲突的优先事项呈现设计理由、情境、竞争目标和取舍;不要把未来愿景当作已部署系统的效果证据

原文说制品贡献常伴随实证研究,但并非必须如此,有时甚至不应如此。这里的重要限制是评价方式与主张相称:对设计愿景强行测量完成时间可能答非所问;对明确声称让用户更快的输入技术,却拒绝任何人类表现证据,也不成立。原文引用 Greenberg 与 Buxton 对可用性评价的讨论,并以 Olsen 的系统研究评价工作为依据;它没有授予所有系统论文免于验证的权利。

对于材质编辑工具,一段能生成图的程序、一个可交互原型,以及一项「艺术家能够以更低认知负担完成有意图的编辑」的研究主张,是三个不同层次。前两项可以支撑第三项的研究,但不能直接替代第三项所需的证据。这个例子是对框架的应用,不是本文做过的实验。

原文刊页 40–41:Empirical 与 Artifact

05 · 方法、理论、数据:区分研究手段与可复用知识

方法学:为什么别人也能照着做、得到可信结果

方法学贡献指导研究或实践如何开展:发现、测量、分析、设计、制造都在范围内。原文的例子既有方法应用、创新和改造,也有新度量与新量表。因此,新意不必表现为全新算法,但必须清楚说明旧方法为什么不够、改动了什么、怎样知道改动有效。

原文标准本页的操作性解释不足以单独证明它的材料
Utility 效用方法解决了研究或实践中的真实困难只有流程图,没有展示在哪种困难上提供帮助
Reproducibility 可复现性他人能根据充分描述重做关键程序仅公开一个入口脚本,关键采样或解释规则仍隐藏
Reliability 可靠性在应当一致的条件下产生稳定结果只在单个案例、单次运行或同一研究者手中成功
Validity 效度方法支持所宣称的测量/推断目标把便于计算的代理量直接当成目标构念

原文强调这些属性需要重复验证,未把「一次实验看起来有效」当成充分条件。在程序化材质研究里,若要贡献新的可编辑性度量,需要证明它测到了编辑能力,而不只是节点数量、图大小或渲染相似度。

理论:概念组织、预测与解释不是同一个成熟程度

理论贡献包括概念、定义、模型、原则与框架,既可定性,也可定量。作者用「如何做」与「做什么、为什么做、预期什么」区分方法学与理论,又用「观察到什么」与「解释为什么」区分发现与成熟理论的目标。两类工作会相互支持,不应理解为经验研究不允许解释,或理论研究不能含有实验。

过窄的理论只能解释原始情境,迁移价值有限;过宽的理论对几乎任何结果都能自圆其说,也可能没有真正的区分力。原文提出科学理论应能被检验和证伪,理论验证通常依靠实证工作。与此同时,它列出的理论类例子也包含设计空间和思考框架。因此,将一个有用框架归入 Theoretical,并不等于声称它已经成为成熟的预测性或因果理论。

Our Interpretation:本文自身的七类框架主要提供分类与评价语言,没有给出能预测单篇录用结果的定量理论。检验它,可以研究不同使用者是否理解一致、是否能识别原本遗漏的知识、能否改进贡献陈述;这些尚未由本文验证。

数据集:贡献的是共同资源的使用价值与代表性

数据集应提供有用的新语料,通常伴随特性分析;基准测试可以帮助统一比较。原文强调「有用且有代表性的共同语料」,并指出数据集常伴随访问工具或新方法。Dataset 与 Methodological 可以同时成立,但两者的知识主张应分开:资源覆盖了什么,与资源怎样构造或评价,是不同问题。

Research Extension:材质图数据若要作为独立 Dataset 贡献,应明确材质族、图结构、节点类型、参数与编辑操作覆盖,记录数据生成或筛选过程,并说明许可、划分和已知偏差。合法执行率与材质族多样性不能替代人类编辑需求的代表性;这个检查表是本页建议,并非原文公开了某个材质数据集。

原文刊页 41–42:Methodological、Theoretical 与 Dataset

06 · 综述与观点:综合知识与改变看法各有标准

Survey 是综合,不是问卷的英文同名

本文的 Survey Contributions 指文献综述与元分析:综合一个研究主题已有工作,揭示趋势、缺口及进一步研究机会。问卷调查作为数据收集方法,出现在 Empirical 的方法列表中;仅因英文都用 survey,不能把问卷论文归入文献综述类。

原文说综述通常适合已经达到一定成熟程度的主题,但其例子也包含「Emerging topic」。这里的成熟度应理解为已经有足够材料支持有意义的综合,而不是要求领域必须很老。好的综述需要完整性、深度、组织性,并帮助读者看见研究空间;堆砌上百条引用并不能取代比较维度与综合结论。

Our Interpretation:检验一篇综述,不仅看纳入多少论文,也要看遗漏是否系统性影响结论、分类是否有解释力、相邻方向能否比较、研究空白是否由材料支持。本文给出通用评价语言,但没有规定系统综述的数据库、检索式、纳入排除标准或元分析统计流程。

Opinion 的区别在目的,不在是否有研究依据

观点贡献通过论证促使读者改变理解或实践,目标包含反思、讨论与争论。它可以调动实证、理论、历史等多种材料,评价依据是论证能否成立:证据是否可信、是否公平处理相反观点、问题是否具有广泛相关性、表达是否易于理解。

原笔记写到议题「广为接受」容易产生误导。原文要求议题具有广泛兴趣、文章易于读懂,并不是要求论点已经成为多数人的共识。提出有力的异议,恰好可能是 Opinion 的价值。另一个误区是把「论点新颖」当成充分条件:新颖而没有论据、忽略显而易见的反例,仍是薄弱论证。

本文将 Oulasvirta 与 Hornbæk 的 HCI Research as Problem-Solving列为 Opinion 的 Definition 示例。这揭示了分类可以针对论证目的:一篇文章即使提出概念框架,也可以通过说服读者采用一种学科理解而体现 Opinion 贡献。标签边界不是固定的学科户籍。

原文刊页 42–43:Survey、Opinion 与例文

07 · 原文的全部 35 个例子

每类贡献各有五个例子。下面保留全部原始子标签、论文标题与来源,便于看到同一知识类型内部的多样性。中文最后一列只解释为什么作者把它放在这里,不对这 35 篇论文的完整结果、实验质量或全部贡献作二次认证。本次完整精读对象仍是 2016 这篇文章。

类型原文子标签作者/出处原例论文它示范的知识产物(本页释义)
EmpiricalInterview studyBurke, Kraut & Williams · CSCW 2010Social use of computer-mediated communication by adults on the autism spectrum访谈产生关于特定人群交流实践的知识
EmpiricalDiary studyCzerwinski, Horvitz & Wilhite · CHI 2004A diary study of task switching and interruptions日记记录帮助描述任务切换与中断
EmpiricalQuantitative lab experimentLee & Zhai · CHI 2009The performance of touch screen soft buttons受控实验测量触屏软按钮的人类操作表现
EmpiricalCrowdsourced studyPandey et al. · CHI 2015How deceptive are deceptive visualizations?: An empirical analysis of common distortion techniques众包数据检验可视化失真产生的影响
EmpiricalQualitative field studyPoltrock & Grudin · TOCHI 1994Organizational obstacles to interface design and development: Two participant-observer studies参与式观察揭示组织层面的界面开发障碍
ArtifactInput deviceBaudisch, Sinclair & Wilson · UIST 2006Soap: A pointing device that works in mid-air输入设备展示新的交互能力
ArtifactSystemDixon & Fogarty · CHI 2010Prefab: Implementing advanced behaviors using pixel-based reverse engineering of interface structure系统架构与实现展示可实现的新行为
ArtifactHardware toolkitGreenberg & Fitchett · UIST 2001Phidgets: Easy development of physical interfaces through physical widgets工具包使物理界面开发成为可复用能力
ArtifactInput techniqueGrossman & Balakrishnan · CHI 2005The Bubble Cursor: Enhancing target acquisition by dynamic resizing of the cursor’s activation area输入技术的主要主张需要人类表现证据
ArtifactEnvisionmentIshii & Ullmer · CHI 1997Tangible bits: Towards seamless interfaces between people, bits and atoms设计愿景揭示新的交互可能性
MethodologicalMethod applicationConsolvo & Walker · IEEE Pervasive Computing 2003Using the experience sampling method to evaluate ubicomp applications已有方法用于新研究情境,需要证明适用性
MethodologicalMethod innovationDruin · CHI 1999Cooperative inquiry: Developing new technologies for children with children提出新的参与式设计研究做法
MethodologicalMethod adaptationMillen · DIS 2000Rapid ethnography: Time deepening strategies for HCI field research调整田野研究过程以满足研究限制
MethodologicalNew measuresSoukoreff & MacKenzie · CHI 2003Metrics for text entry research: An evaluation of MSD and KSPC, and a new unified error metric测量定义与分析方式本身成为知识产物
MethodologicalNew instrumentSuh et al. · CHI 2016Developing and validating the User Burden Scale: A tool for assessing user burden in computing systems量表开发及验证说明测量工具如何成立
TheoreticalThought frameworkBellotti et al. · CHI 2002Making sense of sensing systems: Five questions for designers and researchers组织设计思考的问题框架
TheoreticalDesign spaceCard, Mackinlay & Robertson · CHI 1990The design space of input devices用维度组织输入设备的设计空间
TheoreticalConceptual modelLee & Paine · CSCW 2015From The Matrix to a Model of Coordinated Action (MoCA): A conceptual framework of and for CSCW对协同行动提出概念组织方式
TheoreticalDesign criteriaNathan et al. · DIS 2008Envisioning systemic effects on persons and society throughout interactive system design把系统性社会影响纳入设计判断
TheoreticalQuantitative modelWobbrock et al. · CHI 2008An error model for pointing based on Fitts’ law模型把输入任务条件与错误表现联系起来
DatasetTest corpusMacKenzie & Soukoreff · CHI EA 2003Phrase sets for evaluating text entry techniques共享文本测试语料支撑可比较评价
DatasetBenchmark tasksMyers et al. · unpublished 1997Using benchmarks to teach and evaluate user interface tools可重复执行的基准任务;原文标注未发表稿
DatasetCorpus creationPaek & Hsu · CHI 2011Sampling representative phrase sets for text entry experiments: A procedure and public resource代表性抽样程序与公共资源共同构成价值
DatasetRepositoryPlaisant, Fekete & Grinstein · TVCG 2008Promoting insight-based evaluation of visualizations: From contest to benchmark repository把竞赛资料转化为社区基准资源
DatasetGlobal datasetReinecke & Gajos · CHI 2014Quantifying visual preferences around the world跨地区偏好数据支持后续比较研究
SurveyTechniquesBalakrishnan · IJHCS 2004“Beating” Fitts’ law: Virtual enhancements for pointing facilitation组织指向辅助技术的研究空间
SurveyEmerging topicCoelho & Duarte · Computers in Human Behavior 2016A literature survey on older adults’ use of social network services and social applications综合新兴主题中的用户群体与应用知识
SurveyToolsJohnson et al. · Foundations and Trends in HCI 2009Computational support for sketching in design: A review把草图设计的计算支持研究整理成整体
SurveyDomainMacKenzie & Soukoreff · HCI 2002Text entry for mobile computing: Models and methods, theory and practice综合一个领域的方法、理论与实践
SurveyTechnologyShaer & Hornecker · Foundations and Trends in HCI 2009Tangible user interfaces: Past, present and future directions通过历史、当前状况与未来方向组织技术研究
OpinionEvaluationBernstein et al. · CHI EA 2011The trouble with social computing systems research针对研究评价提出有证据的论证
OpinionPrioritizationDourish · CHI 2006Implications for design重新审视研究结论与设计之间的期待
OpinionApplicationGreenberg & Buxton · CHI 2008Usability evaluation considered harmful (some of the time)质疑特定情境下过早或不匹配的可用性评价
OpinionVisionNewell & Card · HCI 1985The prospects for psychological science in human-computer interaction论证学科发展的愿景
OpinionDefinitionOulasvirta & Hornbæk · CHI 2016HCI research as problem-solving通过论证给出 HCI 的元科学理解

这份例子清单是教学性地图,不是系统抽样的 HCI 全集,也不是每种类型的排名。单看论文题目往往无法完成分类:一篇包含工具的文章可能主要贡献一种研究方法,一篇提出模型的文章也可能以说服读者采用新观点为目标。应回到具体主张及支撑材料。

原文刊页 40–43:全部 Examples,7 类 × 5 篇。原文对部分 CHI 2016 文献标注 To appear;此处保留 2016 年与会议身份,不将写作时态误解为另一出版年份。

08 · 三张原表:CHI 分类怎样从工作描述转向知识类型

Paper Verified:1996–2001 年,CHI 要求作者标示论文类型,但还未称作贡献类型;1996 年的例子包括 experience papers 和 systems papers。作者指出,1998 年的征稿启事首次出现 contribution 一词;到 2000 年,已有较长的贡献描述。2002–2008 年要求提交 30 词的 contributions and benefits statement,供会议程序使用。

2009–2013 年投稿时从清单选择类型;2014–2015 年类型仍列于征稿启事,但不能在提交时选择。2016 年转成可选投稿关键词,由 Frank Bentley 与 Jofish Kaye 制定,并受早期白皮书影响。以下是论文对历史材料的整理,不是本页对当前投稿系统的规则说明。

原 Table 1 · CHI 2006–2008:长描述

完整保留九项及 2006、2007、2008 的原文差异。原表只有描述列;这里新增短标签与中文释义用于阅读,没有删除或合并条目。该时期同时要求 30 词贡献与收益陈述。

原条目完整原始描述(保留年份差异)中文释义
Case studiesCase studies of the development and use of interactive systems that provide new insights for HCI research [2007, 2008: or practice].系统开发与使用案例;2007/2008 明确也可为实践提供新认识
Interaction technologiesInteraction technologies—A new technique or device [2006: or other component of the user interface].交互技术、设备;2006 包括其他界面组成部分
Interactive systemsInteractive systems—Descriptions of the architecture, interface, and evaluation of a new interactive system.新系统的架构、界面与评价
Methods and toolsMethods [2006: Methodologies] and tools—New methods, processes, techniques, and tools for use in interactive system design, development, and deployment.用于交互系统设计、开发、部署的研究/实践方法与工具
MetricsMetrics by which the performance of interactive technologies can be measured and compared more meaningfully.使交互技术性能的测量、比较更有意义的度量
Reflective AnalysesReflective Analyses—Thought-provoking, well-substantiated analyses of HCI issues.有根据、促使反思的 HCI 议题分析
Reports of Fieldwork and EthnographyReports of Fieldwork and Ethnography—Findings, guidelines, and so on, from studies of real-world settings, or of technology use in such settings, with clear relevance to the design and deployment of interactive systems.真实场景或其中技术使用的发现、指南,并连接系统设计和部署
Laboratory Studies ReportsLaboratory Studies Reports—Tests of theory, explorations of new phenomena using well-designed controlled studies of human-computer interactions. [2006: Results from Laboratory Studies—Findings, techniques, methods, and so on, from controlled studies of systems, techniques, and other phenomena relevant to HCI.]受控研究检验理论、探索现象;2006 描述还混合发现、技术、方法等结果
Theories and ModelsTheories and Models—Presentation and critical analysis of HCI theories, including but not limited to formal approaches. [2006: Theories and Models—Descriptions and evaluation of HCI theories, models, and other formal approaches.]呈现并批判分析理论;2006 版本偏向描述和评价理论、模型及形式方法

原 Table 2 · CHI 2009–2015:准贡献类型

九行是跨年份的并集,不代表每一年都同时具有九种选项。Experience 仅标示于 2009/2010,Validation and refutation 仅标示于 2014/2015;Opinions 在 2011–2015 年名为 Argument。年份列是对原表方括号的展开。

原标签适用年份中文释义
Understanding users2009–2015理解用户;偏研究对象/目的
Development or refinement of interface artifacts or techniques2009–2015界面制品或技术的开发/改进;偏工作活动
Systems, tools, architectures and infrastructure2009–2015系统、工具、架构和基础设施;偏产物
Methodology2009–2015方法论
Theory2009–2015理论
Innovation, creativity and vision2009–2015创新、创造力与愿景;未清晰限定知识形态
Experience仅 2009、2010原表以方括号标示适用年份
Validation and refutation仅 2014、2015验证与反驳;研究活动及论证方向
Opinions [2011–2015: Argument]2009、2010 为 Opinions;2011–2015 为 Argument观点/论证的名称变迁

原 Table 3 · CHI 2016 与七类框架的对应

原表的 Empirical 单元格跨越两行;重建时在两行都写明 Empirical 以避免读者误以为第二类没有对应项。八个投稿标签对应七类知识,差异正是 Empirical 的拆分。

CHI 2016 投稿标签Wobbrock (2012) 对应类中文释义
Empirical study that tells us about how people use a systemEmpirical系统使用实证研究
Empirical study that tells us about peopleEmpirical关于人的实证研究
Artifact or systemArtifact交互制品/系统
MethodMethodological方法学
TheoryTheoretical理论
DatasetDataset数据集
Meta-analysis / Literature surveySurvey元分析/文献综述
Essay / argumentOpinion论说/论证

Author Claim:早期分类混合了知识类型、工作类型、实质关注点与方法路径,后来的简短标签更聚焦于产生的知识。Our Interpretation:「越来越简洁」并不自动证明分类更准确;本文没有给出跨年份一致性编码或决策质量实验。三张表最有力地支持的是命名方式与组织原则发生变化,而不是一套分类法已经取得可量化优越性。

原文刊页 43:Table 1–3 与历史叙述

09 · 两张原图与完整 CHI 2016 统计

原 Figure 1 · 问的是 primary,却允许零选、单选、多选

原 Figure 1:CHI 2016 投稿表单的八个可选复选框
原 Figure 1 · CHI 2016 投稿表单的八个可选复选框。由用户原 PDF 第 7 页裁切,保留原始数据与图形;作者公开原文,刊页 44

表单标题使用「primary contribution type」,但作者明确说明可不选、选一个或选多个。不能根据问题措辞把结果当成单标签分类。2,316 篇投稿中,130 篇未选择标签(5.6%),1,481 篇选择一个(63.9%),705 篇选择多个(30.4%);平均 1.29 个标签,标准差 0.66。百分比四舍五入后相加为 99.9%,不是漏了 0.1% 的论文。

原 Figure 2 · 灰、蓝、橙三种柱子的分母不同

原 Figure 2:CHI 2016 各贡献类型的投稿占比、录用项目占比与类内录用率
原 Figure 2 · CHI 2016 各贡献类型的投稿占比、录用项目占比与类内录用率。由用户原 PDF 第 7 页裁切,保留原始数据与图形;作者公开原文,刊页 44

灰色是该标签在全部投稿中的占比;蓝色是该标签在全部录用论文中的占比;橙色是该标签自身投稿的录用率。图按投稿数递减排列,整体 2,316 篇投稿、546 篇录用,整体录用率为 23.6%。下面把原图全部八类、两个计数与三个比例重建为可读表格,没有只保留最高或最低值。

贡献类型投稿数占全部投稿录用数占全部录用该类录用率
Empirical Study of System Use102044.0%24044.0%23.5%
Empirical Study of People65728.4%17331.7%26.3%
Artifact or System56124.2%13424.5%23.9%
Method44519.2%7914.5%17.8%
Theory1426.1%254.6%17.6%
Essay / Argument883.8%193.5%21.6%
Meta-Analysis / Literature Survey562.4%101.8%17.9%
Dataset301.3%50.9%16.7%

计算关系:为阅读而重建,不是原文提出的模型

令 \(S=2316\) 为全部投稿数,\(A=546\) 为全部录用数,\(S_t\) 和 \(A_t\) 为带标签 \(t\) 的投稿数与录用数。三列百分比分别是:

\[ p_{\mathrm{sub},t}=100\frac{S_t}{S},\qquad p_{\mathrm{prog},t}=100\frac{A_t}{A},\qquad r_t=100\frac{A_t}{S_t}. \]

例如 Method 的三个百分比依次来自 \(445/2316\)、\(79/546\)、\(79/445\),得到 19.2%、14.5%、17.8%。它们不能互换。整体录用率是 \(100\times546/2316\approx23.6\%\),并非八个类别录用率的算术平均。

Paper Verified:「系统使用实证」标签最多,占投稿与录用项目均约 44.0%;「关于人的实证」录用率最高,为 26.3%;Artifact 录用率 23.9%,与总体接近。Method、Theory、Essay/Argument、Survey、Dataset 的类内录用率都低于总体。后五类中 Essay/Argument 最高,为 21.6%;Dataset 最低,为 16.7%,同时投稿数只有 30、录用数只有 5。

Our Calculation:八类投稿计数相加为 2,999 次标签出现,录用计数相加为 685 次。相应占比之和约为 129.49% 与 125.46%,超过 100% 是多标签结构导致的正常结果。\(2999/2316\approx1.2949\) 与原文平均 1.29 相容。没有逐篇标签组合,无法从这些边际计数独立重算标准差 0.66,也不能求各标签交集或精确的「任一实证」总人数。

原文刊页 44:Figure 1–2、所有计数、比例及描述

10 · 数据究竟证明了什么,哪些推断不能做

问题或说法现有证据可支持的结论不能越过的边界
哪些知识标签在 CHI 2016 更常见?全届投稿的自选标签边际计数这一届作者怎样标示其工作,以及录用项目的标签分布不是研究者独立复核后的客观贡献分类,也不代表整个 HCI 领域
各类论文的录用率不同吗?带同一标签的投稿数与录用数描述观察到的类内比例差异没有控制质量、主题、作者群体、评审分配等因素,不能归因为标签导致录用
理论或数据集是否不被重视?该届较低投稿量和录用率数量与当届接受机会较低的现象值得进一步研究没有长期影响或引用数据,不能推出学术价值更低;作者也明确提醒不要混淆活动量与价值
分类法可靠、完备吗?概念定义、例子、投稿系统采用提供了可使用的组织语言未做独立编码者一致性、覆盖率、歧义或实际决策改进实验
多写几个贡献标签会提高录用机会吗?只有零/一/多标签的投稿总数知道作者选择行为的总体分布未给不同标签数量组的录用结果,更没有因果干预证据

三个统计细节尤其重要

  1. 类别不是独立样本。一篇论文可能同时进入系统、方法、实证等多个行。比较两行时,不能直接假设它们是互不重叠的两组论文;总体录用率又包含每个子类自身。
  2. 选择标签不是随机分组。作者对类型的理解、投稿策略与工作的性质都可能影响勾选;未选标签的 130 篇也未必随机缺失。标签不是随机施加的处理变量。
  3. 小类对少量决定敏感。Dataset 的分母为 30;固定分母下多录用一篇会改变约 3.33 个百分点。这是读者的敏感性计算,不是原文置信区间或显著性检验。

原文没有报告分类间的假设检验、置信区间、回归模型或去混淆分析。本页不补造 p 值,也不把「最高」解释为统计显著优于所有其他类别。该统计是对 CHI 2016 当届记录的描述;推论到下一届、其他会议或未来 HCI 需要额外设计与材料。

概念论文的可核验性应该怎样检查

本次可直接复核的是:七类定义与各类标准是否完整,35 个例子是否归位,三张历史表是否忠实,八类统计能否从计数复算,以及作者主张是否超出这些材料。原文没有给出逐篇投稿记录或对应分析脚本,因此不能复现标签交叉关系、未标注录用情况、标准差或混淆因素分析。

「基础模型、参数量、训练集划分、学习率、推理采样、模型消融」不适用于这篇文章。历史表是演化材料,不是算法基线;七类是知识框架,不是网络模块。若提出未来分类实验,应另写实验设计,并标为研究延伸。

数据与作者的价值提醒:原文刊页 44。统计边界、敏感性计算与再分析建议为本页判断。

11 · 与 Problem-Solving 框架对照,以及本文自己的贡献定位

补充一手核验:Oulasvirta 与 Hornbæk 的框架区分实证、概念、建设性研究问题,再以问题解决能力评价结果;其五个方面是重要性、有效性、效率、迁移和可信度。它明确包含理论与概念问题,并非只适用于产品或现实应用。因此,旧笔记中「三类贡献、偏实际应用、因而不够灵活」的概括需要修正。对照原文,正文 4956–4959 页

Our Interpretation:比较时应先区分两个问题:「留下了什么知识产物?」与「解决了什么知识缺口、解决得有多好?」七类框架适合前者。对于本文,可以先描述它提出的组织框架、历史综合与统计材料,再追问这些材料是否真的缓解研究定位和评价困难。这个顺序比给两个框架做普适的优劣排名更有操作性。

本文组成部分本页建议的贡献定位依据与边界
七类知识产物及评价语言主要:Theoretical 中的概念组织/框架整理可供思考的概念和区分;不是新数学理论,七类也已有早期白皮书来源
倡导按知识类型理解、评价 HCI重要的 Opinion 维度文章希望影响研究者和评审的看法;这与框架贡献并存,不一定需要强行排出唯一主类
CHI 2016 投稿与录用分布次要:Empirical,描述性元研究证据对学术共同体活动提供新描述;缺少因果、质量控制及长期影响分析
历史表与代表例文次要:有界的综合与历史整理有 Survey 性质,但不是报告了可复现检索流程的系统综述
评审与写作的实践用途方法学启发,尚不能据此认定为已验证的新评价方法文章没有反复验证一套操作流程的可靠性和效度
未报告的部分不主张新的交互 Artifact 或独立 Dataset 贡献表格本身不是新的交互系统;聚合计数公开不等于提供了可独立复用的投稿级数据集

以上是本页的分类判断,不是作者自选标签,也不是出版社的官方类型。若写一段英文贡献评价,可以表述为:The paper primarily offers a conceptual framework for distinguishing forms of HCI knowledge and their evaluation criteria. Its descriptive analysis of CHI 2016 and its historical synthesis provide secondary contributions. Its argument for contribution-sensitive evaluation also has an opinion-oriented dimension. 这里的 primary 表示本页为写作聚焦作出的选择,不排除另一位读者基于文章说服目的把 Opinion 作为主类。

两套框架都不应被简化成自动贴标签器。对自己的论文,先提出确切主张,再选能暴露证据缺口的分析方式;不要先选有利标签,再回填贡献故事。

本文七类与对照论文被列为 Opinion 示例的依据:原文刊页 43。对照资料只用于纠正旧笔记中的框架混淆;不替代对另一篇文章的单独精读。

12 · 把框架变成写作与评审的工作表

Research Extension:以下六步是基于本文编制的工作方法,尚未通过用户研究验证。它用于检查贡献陈述是否清楚、证据是否对应,不是本文发布的标准化评分量表。

  1. 写出研究缺口。指出此前不知道什么、解释不了什么或做不到什么。区分「我还没做过」与「已有研究尚未解决」。
  2. 写出可反驳或可质疑的具体主张。把「我们开发了工具」改写为工具让哪种能力成为可能;把「做了用户研究」改写为发现了什么、适用于谁和什么情境。
  3. 给每条主张选知识类型。先选最能表达主要增量的一类;只有存在独立知识产物时再标注次要贡献。
  4. 明确相邻工作的差异。新系统与旧系统、新发现与旧解释、新方法与旧程序都需要可辨别的比较;综述和观点也要说明组织或论证超出了什么。
  5. 逐条配证据和边界。说明哪项材料支持哪条结论、还存在哪些替代解释,以及哪些情境没有被研究。
  6. 做反向核对。若删掉一项证据,主张是否仍被充分支持;若删掉一条贡献,论文是否只是换了说法而没有损失知识?这样可以识别证据空缺和重复计数。
弱陈述更可评价的陈述骨架由此产生的证据责任
我们做了一个新的材质工具通过机制 A,使用户在约束 B 下完成此前难以完成的操作 C展示 A 如何工作、C 是否可实现、与现有工具相比增加何种能力、B 的限制
用户喜欢我们的系统在某类任务和参与者中,用户给出偏好 D,并报告原因 E交代招募、任务、偏好收集、相反意见与情境;不直接外推生产效率或长期采用
我们提出一个新指标该指标测量构念 F,并在条件 G 下保持可重复且与独立证据一致构念定义、可靠性与效度验证;不只报告与另一个相似代理量的相关
我们建立了新理论概念关系 H 能组织已知现象,并提出有边界的预期 I处理反例、解释与预测范围、与现有概念的关系;没有完成这些时称为框架或假说更准确
我们总结了很多论文沿维度 J 组织已有结果,由材料揭示冲突 K 或缺口 L说明范围与选择理由,展示跨工作的综合,而非逐篇摘要相加

评审先读「要证明什么」,再判断「证据够不够」

对于强调交互可能性的系统,可以要求机制和能力边界清楚,但不应自动要求一种无关的人类速度实验。对于声称降低用户负担的系统,也不能因为归为 Artifact 就放弃对负担主张的验证。对理论框架,可以要求边界、反例与对已有知识的增益;对综述,则需要检查综合深度和覆盖合理性。

同样,不宜把研究工作划分为「做系统的」与「做用户研究的」两个阵营。一个工作组合可以让系统揭示可能性,让实证材料说明使用情境,再让概念分析解释何时这些能力有意义。贡献陈述应让这些层次形成关系,而不是只形成标签列表。

基础标准来自原文七类评价描述;六步流程与陈述工作表均为本页提出,未宣称验证有效。

13 · Reviewer Commentary:价值、薄弱点与可检验改进

Strengths · 贡献与证据匹配是最强的实践价值

本文把跨学科的评价冲突转译成具体知识产物,帮助读者理解为什么一个系统、一个方法和一个理论不能完全依靠同一套证据标准。每类配备多个例子,且 Artifact 内部继续区分系统、输入技术与设计愿景,比只罗列七个词更有教学价值。

三张历史表将分类变化放在投稿制度中理解;两张统计图则展示概念如何在真实学术流程里被使用。作者没有把较低的录用率等同于较低的研究价值,并明确提醒不要用分类限制未来想象。这些边界使文章更适合用作讨论起点,而不是领域准入规则。

Weaknesses · 概念实用性尚未转成独立验证

这些批评是对框架使用边界的分析,不是声称文章本应成为机器学习基准。作为七页的学科反思文章,它提供的清晰概念语言有独立价值;若把它用于定量科研评价,才需要补充更强的编码与效度证据。

Potential Improvements · 可以怎样真正验证框架

待验证问题可执行研究设计(本页建议)需要观察的证据避免的误判
不同研究者会一致理解类别吗?从不同 HCI 传统选取论文,先独立标注主张与可多选类别,再记录分歧和理由逐类一致性、边界案例、对定义的不同理解、未覆盖知识形式强迫单选得到的低一致性不能直接否定允许多标签的框架
框架能改善贡献陈述吗?比较使用框架前后的写作;由不了解条件的评阅者按预先说明的标准评价主张清晰度、证据匹配、遗漏或夸大减少情况、学习成本参与者觉得有用,不等于实际文本质量提高
录用差异来自哪里?在获授权与保护隐私的前提下,跨年份分析投稿级标签、主题、评审与结果类别共现、样本与流程差异、不同模型假设下的稳健性仍不能把观察关联直接称为歧视或因果效应
框架如何适应新研究形式?主动寻找不能清楚归类的作品,与其作者讨论实际知识目标是否需要调整定义、加入横向维度或保留开放类别硬把所有工作塞入七类会掩盖真正的新知识形式

这些研究应以明确问题、材料选择与评价依据开始;本文没有提供样本量或效应量,不能从它推导出一个保证充分的参与人数。具体规模应根据研究设计、资源与所需精度确定。

Reviewer Commentary 全部为本页判断;被审查事实的依据为2016 全文。

14 · 对 Procedural Material Generation 的研究启发

Research Extension:本文没有研究程序化材质、节点图或生成模型。下面把它的贡献语言用于 PMG 研究规划,目标是使「图像生成效果」「图结构可编辑性」与「人类创作能力」各自承担清楚的证据责任。

可能的知识类型可以提出的 PMG 研究主张对应证据与公开产物常见短路
Artifact一个交互机制让用户在保留结构约束时表达并执行材质修改意图图表示、交互动作、执行流程、示例与失败边界;若主张人类效益,再补匹配评价只证明能渲染一张相似图,就声称支持专业创作
Empirical艺术家如何形成编辑意图、理解节点关系以及修复生成错误真实任务材料、观察/访谈/操作记录、分析过程、反例与适用情境小样本偏好投票被写成普遍创作规律
Methodological可重复地评价材质图的可控性与编辑成本构念、任务协议、度量与重复验证,跨工具或数据检验把节点更少或执行更快直接定义为用户更容易控制
Theoretical用概念关系解释意图表达、结构约束、反馈与修改策略之间的关系概念边界、对已有现象的解释、可检验预期、反例给系统组件画一张框图就称为解释理论
Dataset代表性材质图、编辑目标和操作过程组成可复用研究资源覆盖分析、来源与许可、划分、工具、失败及偏差记录大规模合成图数量替代了研究任务代表性
Survey把材质生成研究按表示、控制能力、执行与人类评价组织,揭示证据断层明确范围、比较维度、综合推论与遗漏说明按模型名称分组后逐篇摘要,没有新的整体认识
Opinion论证 PMG 的评价应纳入持续编辑和创作自主性证据、反方观点、适用边界与对现有视觉指标的公平讨论简单宣布渲染指标毫无价值,忽略不同任务的合理需求

一个聚焦的候选研究:可解释的局部图编辑

假设系统允许用户选中材质局部属性,表达目标变化,查看候选节点与影响范围,再通过渲染反馈逐步修正。其主贡献可先聚焦于 Artifact:新的交互能力及实现机制;如果观察揭示了新的编辑行为,再单独提出 Empirical 次要贡献。无需在一篇论文中追求七类齐全。

需要公开的机制包括:图中允许哪些节点和边、怎样表示可编辑参数、用户动作如何映射到修改、执行失败如何反馈、哪些内容自动决定、哪些内容仍由用户选择。若使用 Agent,还需区分系统建议、用户确认、执行结果和失败后的恢复;这些界面机制不能用隐藏的人工挑选来证明。

把算法能力与交互效益分开评价

  1. 能力验证:覆盖结构修改、参数修改、约束保持与失败恢复,记录有效执行率、目标实现情况及不可处理的节点/材质族。此层只支持系统能力。
  2. 交互比较:若主张降低编辑成本,尽量固定后端生成能力,比较手动节点编辑、同一后端的直接命令界面与候选交互机制。基线应对应目标用户可实际使用的工具。
  3. 任务与参与者:同时考虑有明确目标的控制任务与较开放的创作任务,说明专业经验、任务熟悉度和学习阶段。任务顺序、训练与工具熟练度都可能影响观察。
  4. 证据组合:目标完成、时间、修改次数、错误恢复与主观负担各回答不同问题;辅以对操作过程和失败案例的分析。不要把多个量压成没有构念依据的单一「创作质量分」。
  5. 机制检验:若要知道收益来自影响范围提示、候选预览还是自动修复,可在后续研究中控制或拆分这些因素。只有对应设计才能把组件存在与收益联系起来。

这里不指定训练网络、学习率或参与人数,因为研究问题尚未确定到需要这些参数的程度。生成质量差可能限制交互任务,界面机制弱也可能浪费生成能力;两者应在研究中分别记录,而非把所有效果都归给模型或都归给界面。

最有价值的迁移

对 PMG 工作而言,本文的启发是明确自己要交付哪一种知识。视觉相似度可以支持重建质量主张;合法执行可以支持工程可靠性主张;可理解的编辑操作和人类任务证据才能支撑相应交互主张。把这些层次连接起来,会让贡献陈述更准确,也更容易发现真正值得研究的缺口。

以上全部为基于七类框架的研究设想,没有被本文实验验证;核心框架来源:原文刊页 40–42。

15 · 来源、旧笔记修正与交付边界

一手来源与版本关系

  1. Wobbrock 与 Kientz,2016 正式文章,作者公开 PDF:本页完整内容、全部原表、原图及统计的公开定位入口。与用户 PDF 的七页提取文本逐页一致。原 DOI 为 10.1145/2907069;出版社网页此次未能直接读取,身份依原 PDF 和作者公开副本核实。
  2. Seven Research Contributions in HCI,单作者白皮书:用于核实前身与版本。文件标注 2012 版权、2015-11-06 最后更新;不是本文的附录,不合并计入本文页数。
  3. HCI Research as Problem-Solving,Aalto 大学资料库记录及作者机构正式重印 PDF:用于限定范围的概念对照。正文为 12 页,4956–4967;下载文件为 13 页,含一页资料库封面。资料库自动生成的会议地点/日期字段与原文页眉有不一致,本页引用原文的 CHI 2016 与 DOI,不采用该条附带事件字段。

原文六条 Endnotes 的完整索引

上述作用说明限于它们在本文中的引证位置,不表示本次完整阅读了这些书籍及各篇参考文献。35 个分类例文的完整标题与链接见第 7 节。

对旧笔记的具体补充

旧内容/空缺本次确认或补充处理方式
DOI 为空10.1145/2907069,原文末页明确印出列入元数据建议,原始前缀保持不变
ref 指向 Wobbrock-2012.pdf它是白皮书;2016 正文对应 interactions-16.pdf保留旧链接,新增清楚的版本关系
Opinion 议题需要「广为接受」应为议题广泛相关、表达易于理解;不要求观点已经成为共识以本页明确修正,不删除原笔记
另一框架是三类贡献、偏实际应用其核心是三类研究问题;理论与概念问题属于范围补充一手对照,保留旧讨论与 prompts
理论需要包含各种异常情况应处理重要反例与适用边界;原文同时警惕「什么都能解释」失去区分力限定表述,避免把不可证伪当成强理论
Julie A. Kientz 为通讯候选未找到明确通讯作者标记;两位作者均列出联系方式不等于指定通讯作者继续保持末位作者候选与 unverified

完成范围

本页完整阅读与重建对象为用户提供的 2016 文章。原表 1–3 全部条目、原图 1–2 和图内八类统计均已保留;开篇的装饰性插图不作为研究结果图重复加入。数字已按原文核对,三个百分比列按计数复算;本页自己的公式仅解释这些分母,没有伪造原论文公式。

新增 Markdown 和合并候选均保留全部旧正文、提示词与 PDF++ 锚点;合并候选以原始 14,712 字节为逐字节前缀。元数据、人物链接和索引仅提出归档建议,尚未写入实际知识库。本次完成静态内容、数学源码、表格、图片文件解码、链接目标与大小检查;实际浏览器中的公式渲染、导航点击和不同屏宽布局,按约定留待下载后验收。