AI背景下的科研伦理风险——“师德师风建设-学术诚信与AI伦理”主题教育之一
2025-06-26

AI时代,生成式大模型工具能够以令人惊讶的准确度生成文字、图片、视频和代码等内容。但是,另一方面,不可忽视AI工具,因使用目的和使用标准的差异,也对学术研究产生了一定的负面影响。
为了更好地推动师德师风建设,图书馆推出“学术诚信与AI伦理”主题教育系列推文。本周推出第一期——“AI背景下的科研伦理风险”,关注AI引发的四大科研伦理风险
风险一:Al在实验设计中的公平性和偏见
Al的开发与使用全过程均涉及人为的选择与决策,其算法规则逻辑和所产生的社会影响并非完全客观、公正,在辅助决策或科研时,会产生与人类相似的偏见行为,即算法偏见。
风险二:Al在论文数据收集与分析中的数据质量和透明度问题
当前Al算法在很大程度上依赖其训练数据和测试数据,数据的质量直接决定医学研究的质量。非结构化和非标准化数据或缺失数据的现象、不同的Al工具或设备以及不同的设置和操作都会导致结果出现偏差,影响数据质量。
风险三:AI在论文结论推导中的相关利益冲突
仅就Al工具本身而言,多数工具由商业公司开发,在使用中可能存在利益偏倚问题。例如,企业资助的科研项目若使用定制版AI工具,其算法可能预设有利于资方的参数;欧美公司开发的AI工具在社会科学领域输出带有偏见的研究框架。
风险四:对AI在学术研究中应用的问责机制
学术研究的问责制度指编辑出版全流程中相关部门应各自承担相应责任,相关责任主体包括研究人员、资金提供者、政策制定者、出版单位、出版商、数据库平台等。在使用Al工具的情况下,责任方又叠加了Al工具的设计开发者和用户。
Al工具在本质上不具备自由意志,也不具备道德的客观性。其相关科研伦理风险最终也将由科研主体负责。
为了更好地推动师德师风建设,图书馆推出“学术诚信与AI伦理”主题教育系列推文。本周推出第一期——“AI背景下的科研伦理风险”,关注AI引发的四大科研伦理风险
风险一:Al在实验设计中的公平性和偏见
Al的开发与使用全过程均涉及人为的选择与决策,其算法规则逻辑和所产生的社会影响并非完全客观、公正,在辅助决策或科研时,会产生与人类相似的偏见行为,即算法偏见。
风险二:Al在论文数据收集与分析中的数据质量和透明度问题
当前Al算法在很大程度上依赖其训练数据和测试数据,数据的质量直接决定医学研究的质量。非结构化和非标准化数据或缺失数据的现象、不同的Al工具或设备以及不同的设置和操作都会导致结果出现偏差,影响数据质量。
风险三:AI在论文结论推导中的相关利益冲突
仅就Al工具本身而言,多数工具由商业公司开发,在使用中可能存在利益偏倚问题。例如,企业资助的科研项目若使用定制版AI工具,其算法可能预设有利于资方的参数;欧美公司开发的AI工具在社会科学领域输出带有偏见的研究框架。
风险四:对AI在学术研究中应用的问责机制
学术研究的问责制度指编辑出版全流程中相关部门应各自承担相应责任,相关责任主体包括研究人员、资金提供者、政策制定者、出版单位、出版商、数据库平台等。在使用Al工具的情况下,责任方又叠加了Al工具的设计开发者和用户。
Al工具在本质上不具备自由意志,也不具备道德的客观性。其相关科研伦理风险最终也将由科研主体负责。

延伸阅读:《AIGC给学术科研发展可能带来的问题》
图书馆
2025年6月20日