Science:ChatGPT缩小了打工人的差距

2023年07月17日 18:29 次阅读 稿源:量子位 条评论

Science正刊发表对ChatGPT的调查报告,《生成式人工智能对生产力影响的实验证据》对于一些文书任务,ChatGPT不仅能在节省40%时间的同时提高18%的绩效,还降低了不同人之间的绩效差异


MIT官方也对这一研究成果进行了报道。


对照组也会偷用

这场实验一共邀请了453名受试者,分为实验组和对照组。

这些受试者是来自不同领域、受过高等教育的专业人士。

两个组中人员的薪资水平、职业等信息如下表所示:


在为期一个月的实验中,他们被要求完成与职业相关的写作任务。

这些任务包括撰写新闻稿、简短报告、分析计划和电子邮件,时长约为20到30分钟。

评估的指标包括效率和质量两部分,每份成果分别交由三名相关领域的专业人士进行盲评(1-7分)。

结果显示,实验组所用时间减少了0.75个标准差(约11分钟),评分则提高了0.41个标准差。

如果换算成百分数,时间缩短和质量提高的比例分别是40%和18%。


具体而言,实验组首先被安排完成一项任务,之后注册ChatGPT(3.5版本)。

他们被告知,如果觉得ChatGPT好用,那么就要在第二个任务中使用。

而对照组则被要求注册一款LaTex编辑器(注册复杂度与ChatGPT相当),但没有类似的告知。

结果,有80%的实验组人员在第二个任务中使用了ChatGPT,而对照组中只有不到5%使用了LaTex工具。

对于第二个任务,实验组平均耗时为17分钟,比对照组少了10分钟。

质量方面,实验组的平均成绩为4.53,对照组的平均成绩则为3.802。


除了提质增效,ChatGPT还降低了不同人之间工作质量的差异。

根据第一个任务完成情况的不同,研究人员将这些人第二次任务的评分进行了线性拟合。

结果显示,实验组评分的拟合斜率为0.414,比对照组低了0.272。


那么这些人又是如何使用ChatGPT的呢?是直接使用输出结果或仅做微调,还是只用来打草稿?

跟踪结果显示,有33%的受试者提交的是原汁原味的ChatGPT结果,而53%进行了修改。

但这些修改可能十分微小,比如只是调整一下格式等等。

得出这一结论的理由是,他们在ChatGPT生成回复后的平均活动之间只有3.3分钟,且大部分位于0-2分钟之间。


需要说明的是,在实验开始之前,70%的受试人员已经听说过ChatGPT,32%曾经使用过。

所以,在实验过程中,研究人员发现,对照组中也有10~20%的人使用了ChatGPT。

这一现象对实验结果存在一定影响,研究人员利用了统计学方法进行修正。

实验结束后,研究人员还对这些受试者进行了两次回访,分别有92%和83%的人给出了回复。


第一次回访是在实验结束后两周,实验组和对照组分别有34%和18%的人仍在使用ChatGPT。

六周之后,也就是实验结束后两个月,这组数字分别提升到了42%和27%。

综上所述,研究人员认为,ChatGPT在提升工作质效方面确实有显著作用,但其能否取代人类仍不明确

我们在FebBox(https://www.febbox.com/cnbeta) 开通了新的频道,更好阅读体验,更及时更新提醒,欢迎前来阅览和打赏。

对文章打分

Science:ChatGPT缩小了打工人的差距

2 (67%)
已有 条意见

    最新资讯

    加载中...

    编辑精选

    加载中...

    热门评论

      Top 10

      招聘

      created by ceallan