San Francisco Declaration on Research Assessment:

Putting science into the assessment of research

  当前迫切需要改善资助机构、学术研究机构和其他各方用以评价科学研究产出的方法。

  针对这一问题，在美国细胞生物学学会（ASCB）年会期间，下列学术期刊的编辑和出版者于2012年12月16日举行了会议并提出一系列建议，称之为《关于科研评价的旧金山宣言》。我们邀请感兴趣的各方在本宣言上签字表示支持。

  科研产出的数量众多且形式多样，包括报告新的知识、数据、试剂和软件的研究论文，知识产权，以及经过严格训练的青年科学家。资助机构、聘用科学家的研究机构以及科学家自己都希望并且需要评价科学产出的质量与影响。因此，科学产出须得到准确的测量、明智的评价和妥善的应用。

  期刊影响因子经常被用作衡量个人和机构科学产出的主要指标。由汤森路透公司计算的期刊影响因子，最初是作为帮助图书馆员确定购买哪些期刊的工具，而不是测度论文相关研究的科学质量的指标。鉴于此，了解如很多文献所分析的期刊影响因子作为科研评价工具所存在的缺陷非常重要。这些局限性包括：1）各种期刊的引文分布是高度偏态的；2）期刊影响因子的特性与学科领域相关：它是对多种十分不同类型论文的综合体现，包括原始研究论文与综述文章；3）期刊影响因子可以通过编辑政策来操控（或“做手脚”）；4）用于计算期刊影响因子的数据对于公众来说既不透明也无法从公开渠道获得。

  下面我们就改善对科研产出实际质量的评价方法提出一些建议。今后对评价科研成效来说，研究论文之外的产出将更加重要，但经过同行评议的研究论文仍是科研评价所使用的核心的科研产出。因此我们的建议首先针对与发表在同行评议期刊上研究论文有关的评价，但也可以并应当扩展到承认数据集（datasets）等其他产品也是重要的科研产出。这些建议针对资助机构、学术研究机构、期刊、提供计量指标的机构以及科研人员个人。

  以下主题贯穿于这些建议的始终：

  —— 需要在考虑资助、聘用和晋升时，停止使用影响因子等基于期刊的计量指标；

  —— 需要评估科研工作本身的价值，而不是基于研究成果所发表的期刊；

  —— 需要利用在线出版所提供的机会（例如，放宽对论文字数和图表、引用文献数量的不必要限制，以及开发衡量重要性与影响的新指标）。

  我们发现，许多资助机构、研究机构、出版机构和科研人员已经在鼓励改善科研评价工作。这些措施已开始形成推动制定更加完善和有意义的科研评价方法的态势，所有相关的主要机构和人员都可以借鉴和采用这样的方法。

  《关于科研评价的旧金山宣言》的签名者支持在科研评价中采取以下做法：

  总体建议：

  1．不将影响因子等基于期刊的计量指标作为衡量单篇研究文献质量的替代指标用以评估科学家个人的贡献，或作为聘用、晋升或资助的决策依据。

  对资助机构的建议：

  2．明示用于评估资助申请者科学生产力的标准，并明确强调（尤其是对于早期生涯的研究人员）论文的科学内容要比出版物计量指标或所发表期刊的地位重要得多。

  3．为了进行科研评估，应考虑除研究出版物以外的所有研究产出（包括数据集和软件）的价值与影响，并考虑采用各种测度影响的方法，包括研究结果对政策与实践的影响等定性指标。

  对研究机构的建议：

  4．明示在决定聘用、终身聘用和晋升时所使用的标准，明确强调（尤其是对于早期生涯的研究人员）论文的科学内容要比出版物计量指标或所发表期刊的地位重要得多。

  5．为了进行科研评估，应考虑除研究出版物以外的所有研究产出（包括数据集和软件）的价值和影响，并考虑采用各种测度影响的方法，包括研究结果对政策与实践的影响等定性指标。

  对出版机构的建议：

  6．大幅度减少将强调期刊的影响因子作为促销工具，最理想的情况是停止推广影响因子，或者根据基于期刊的多种计量指标（如5年期影响因子、特征因子、SCImago期刊排名、H指数、编辑与出版时间等）提出计量标准，对期刊的表现提供多维的分析评价。

  7．提供基于文章的计量指标，促使采取基于文章科学内容的评价，而不是基于文章所发表期刊的出版物计量指标。

  8．鼓励负责任的署名做法，提供有关每位作者具体贡献的信息。

  9．不论是开放获取期刊还是订阅期刊，取消对研究论文中参考文献再利用的限制，按照“知识共享公共领域贡献协议”（Creative Commons Public Domain Dedication）授权公开利用。

  10．取消或减少对研究论文中引用文献数量的限制。在适当时，要求引用原始文献而不是文献综述，以便将贡献归功于首次报告研究成果的团队。

  对计量指标提供机构的建议：

  11．提供用于计算所有计量指标的数据和方法，做到开放和透明。

  12．以允许对数据无限制再利用的许可方式提供数据，并提供计算机可读形式的数据。

  13．明确不能容忍对计量指标的不适当操控，并说明什么属于不适当的操控以及采取什么措施防止这种行为。

  14．在使用、汇总或比较计量指标时，说明因文献类型（例如，是综述还是研究文章）和学科领域不同而会存在差异。

  对科研人员的建议：

  15．参加与资助、聘用、终身聘用或晋升决策有关的委员会的工作时，要基于科学内容而不是出版物计量指标进行评价。

  16．在可行情况下，引用首次报告研究成果的原始文献而不是综述文献，以便将贡献归功于应得者。

  17．在个人陈述或附表中使用多种关于文章的计量数据和指标，作为发表的论文或其他研究产出所产生影响的证明。

  18．质疑在科研评估时不适当地依赖期刊影响因子的做法，促进看重具体科研产出的价值与影响的最佳实践。

References

 1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report 

from the International Mathematical Union.

www.mathunion.org/publications/report/citationstatistics0

 2. Seglen PO. (1997) Why the impact factor of journals should not be used for

evaluating research. BMJ. 15;314(7079):498-502.

 3. Editorial (2005). Not so deep impact. Nature 435, 1003–1004 Rossner, M., Van

Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.

 4. Vanclay JK. Impact Factor: Outdated artefact or stepping-stone to journal

certification. Scientometric 2012; 92: 211-238.

 5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Med 3(6): e291

doi:10.1371/journal.pmed.0030291.

 6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179,

1091–1092.

 7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: a response to

Thomson Scientific. J. Cell Biol. 180, 254–255.

 8. http://www.eigenfactor.org/

 9. http://www.scimagojr.com/

 10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers

 11. http://altmetrics.org/tools/

Participants in declaration drafting

 Sharon Ahmad, Journal of Cell Science

 Bruce Alberts, Science

 Stefano Bertuzzi, American Society for Cell Biology

 Ana-Maria Cuervo, Aging Cell

 Tracey dePellegrin, Genetics

 David Drubin, Molecular Biology of the Cell

 Martha Fedor, Journal of Biological Chemistry

 Petra Gross, Journal of Cell Science

 Lisa Hannan, Traffic

 Mark Johnston, Genetics

 W. Mark Leader, Molecular Biology of the Cell

 Michael Marks, Co-editor, Traffic and Professor, University of Pennsylvania

 Mark Marsh, Traffic

 Tom Misteli, Journal of Cell Biology

 Mark Patterson, eLife

 Bernd Pulverer, The EMBO Journal

 Brian Ray, Science

 Michael Rossner, Rockefeller University Press

 Randy Schekman, eLife

 Sandra Schmid, former editor, MBoC and Traffic

 Annalisa VanHook, Science Signalling

 Michael Way, Journal of Cell Science

 Liz Williams, Journal of Cell Biology

转载自：［海外］关于科研评价的旧金山宣言：让科研评价更加科学 - International Research Collaboration Information P