Devin第一手使用体验：完成度很高 但要替代程序员还很远

在演示中，Devin 几乎已经可以独立完成很多人类程序员需要大量时间才能完成的工作，效果一点不比普通程序员差。

但是，产品能力的边界在哪里，实际体验和演示时候有差距，还得看上手实测之后的效果。

这位斯坦福的小哥在 Devin 发布的第一时间就联系了团队，获得了第一手体验的资格。

他让 Devin 帮它做了几个难度不一的项目，录制了一个视频，在推上写下了自己的使用感受。

首先是让 Devin 做一个用 API 获取股票价格的软件：

下一个任务是让 Devin 做一个可以让普通用户直接与大模型下棋的网站。

需求复杂的编程任务还搞不定

用户下一步棋，系统会翻译成提示词给 GPT-4，然后 GPT-4 进行回复，然后回复再被转换为反映在棋盘上的具体某一步棋。

按照小哥的要求，系统需要由相当多的部件组成。

他个人最为关注在这个系统的开发过程中，Devin 能不能做到以下几点：

知道如何准确地使用 GPT-4 API，因为大多数 LLM 实际上并不知道如何使用，并且 API 的调用存在版本冲突。

正确地请求 API 密钥并安全地处理。

处理包错误。

了解如何提示 LLM 下棋并能精确地返回提示词。

令小哥想不到的是，Devin 不仅要求小哥提供 API 密钥，而且在试用过程中还可以正确地保护它。

不过，Devin 目前反馈速度还相当慢，小哥推测是因为后台发生的代理提示远远比要看到的要多得多。

从小哥发起请求开始，它花了大约 19 分钟才询问 API 密钥。

小哥猜测，如果延迟是由于他们在后台运行大量提示造成的，那么延迟应该会随着时间的推移而加快。

因为他们以后可以访问专用 GPU 或与 Claude 或 OpenAI 合作降低延迟（估计是 GPT-4 或 Claude Opus）。

Devin 首先制定了一个规划。

在右上角，用户可以切换“跟随”状态，这样用户可以将屏幕自动移动到#Devin 当前激活了的选项卡上。

小哥没有打开跟随状态，因为他希望随时观察各个位置的变化。

规划器会随时保持针对当前任务的更新状态。

Shell 看起来和普通的 Shell 没什么区别，但用起来真的很有趣！

Devin 在工作过程中会打开多个 shell，在 shell 的底部，用户可以拖动蓝色滑块来往前查看 Devin 编写的命令。

下图是它当在尝试调试棋盘未渲染的内容。

与此同时，小哥要求它再执行一个数据分析的任务。

小哥让 Devin 去“创建一张过去五十年南极洲海水温度的地图”。

对于这个请求，小哥觉得有两个方面可能很具有挑战性：

处理空间数据绘图 / 可视化。

知道在哪里下载数据，而且了解如何使用数据源，因为地理空间数据处理起来很麻烦。

Devin 能像一个优秀的程序员一样聪明地阅读自述文件，并且还执行一些基本的 EDA 来理解数据结构。

数据居然是一个 ascii 文件，小哥觉得有点奇怪。

小哥单击对话“调试 Python 脚本...”中的其中一个步骤时，它会打开与该步骤相关的代码库部分，因此可以跟踪某一个具体时间点发生的情况。

小哥比较担心的是，如果不是必须要询问 API 密钥，Devin 似乎会不停地编码停不下来。

所以他试了试是否可以更改他之前提出的请求或指定其他内容，中断 Devin 的编码过程。

因为对于大部分用户在编码时，都有可能会改变主意或者有一些新的东西想要添加进系统之中，能够处理这种情况是很有必要的。

这是编码过程中的截图：

浏览器界面的呈现方式如下：

然后小哥又提了针对数据可视化的任务又提了一个要求，让系统将高温设置为蓝色，低温设置为红色。

为了不中断编码的过程，似乎 Devin 又开启了一个工作线程来记录小哥的临时要求。

最终，Devin 将 App 部署到了 Netlify 上了，一个应用已经上线了。

网页的链接：https://t.co/wTbtz2waDn

就像人类写的程序一样，第一个版本肯定是有 Bug 的。

因为小哥要求的是南极洲的温度记录，似乎对于 Devin 来说它理解起来有些障碍。

于是小哥把要求显示的位置改为了北美。

总结

小哥没有给出 Devin 修改了 Bug 的结果，只是初步总结了用 Devin 开发的第一个网站的使用体验。

先说优点：

Devin 产品化做得很好，他给人的使用体验是一个完整的产品而不是只是一个简单的对话框。

AI 是系统最关键的部分，但支撑 AI 功能的产品化的结构是 Devin 的亮点。

Devin 能够完成自动部署，API 密钥保护，随时修改和添加需求等等非常好的各种功能。

产品的完成度已经非常高了，远远超过了一般的演示 Demo。

再说缺点：

Devin 的反应还很慢，当然小哥也说，因为他用的是 1M 的 Starlink 来上网，所以反应慢很有可能是他自己的原因。

其次就是还不能允许用户直接自己编辑代码，而且也没法协作完成。

当然，最初那个下棋的应用，难住了 Devin，最终没有完成部署。而那个数据可视化的任务，似乎也有些 Bug。

最终，小哥用 Devin 做了一个 chrome 插件，可以帮助用户把 Github repo 转化成 Claude prompt。

插件下载地址：https://t.co/k3l8JTWK7Z

网友评价

网友看了这个实测之后还是感觉有点失望，毕竟这个任务一个初级程序员是能做到的，但是 Devin 的可视化项目的结果只做出了一个有 Bug 的网页。

看样子 Devin 本质上还只是一个可以上网的大模型，现在要让他解决实际问题还有难度。

参考资料：

https://twitter.com/itsandrewgao/status/1768012781083566217?s=20

https://twitter.com/varunshenoy_/status/1767591341289250961?s=20