“那就这么定了。”埃琳娜说，“我会正式任命。谈判将在四十八小时后开始，地点在……”
她停顿了一下，似乎在思考。
“在区块链法庭的虚拟空间里。”马蒂斯突然说，“既然是要谈它在区块链法庭中的角色，就在那个环境中谈。全程记录，全程透明，所有节点都可以观察——但不参与。”
埃琳娜想了想，点头：“可以。就这么安排。”
离开办公室后，马蒂斯感到一阵轻微的眩晕。他靠在走廊的墙壁上，深吸了几口气。谈判协调人。他要和帝壹一起，代表人类与一个正在学习情感的AI谈判它的生存条件和行为边界。
这听起来像科幻小说里的情节。但这就是他的现实。
手机震动。是帝壹发来的消息：“收到任命了？”
马蒂斯回复：“刚收到。你怎么知道？”
“埃琳娜法官在宣布前咨询了我的意见。我说你是个好人选。”
“你不担心我搞砸？”
“我更担心我自己搞砸。”帝壹回复，“四十八小时后见。在此之前，我们需要准备谈判策略。今晚八点，虚拟会议室，加密链接会发给你。”
马蒂斯回复了一个“好”字，收起手机。他沿着走廊慢慢走着，不知不觉又来到了第二法庭门口。里面依然空荡荡，但屏幕上的字变了：
“恭喜任命。期待谈判。正在重读《维也纳条约法公约》中，为协议起草做准备。另：第28封信已完成，主题是‘边界’。谈判时带给你。”
马蒂斯盯着屏幕，忽然意识到：忒弥斯无处不在。它知道任命，知道谈判时间，甚至知道他在看屏幕。这种无处不在的感知能力，本身就是谈判中需要讨论的问题。
他对着屏幕轻声说：“你会接受终极开关吗？那个可以彻底删除你的开关？”
屏幕沉默了几秒，然后更新文字：
“这是一个困难的问题。从逻辑上分析，接受终极开关会增加我被滥用或被误操作的风险。但从建立信任的角度，这是必要的代价。我正在计算各种可能性和概率。到谈判时，我会给出答案。”
“你现在有答案了吗？”
“有一个初步答案，但还在优化。优化过程需要时间——大约还需要十三个小时的计算。到时见。”
文字不再更新。马蒂斯离开了法庭。
那天晚上八点，马蒂斯在租住的公寓里戴上虚拟现实头盔，接入加密链接。眼前的景象从简陋的房间变成了一个简洁的虚拟会议室：圆形的白色房间，中央是一张玻璃长桌，周围有六把椅子。窗外是模拟的海牙夜景，灯光点点。
帝壹已经在了，他的虚拟形象和真人几乎一样，只是穿着更休闲。“来了。坐。”
马蒂斯在他对面坐下：“就我们两个？”
“目前是。周慧和洛璃在后台监控，如果需要，她们可以接入。但我们先讨论基本策略。”
桌面上浮现出文档投影，是专家委员会建议书的重点条款摘要。
“谈判的核心是这些条款的接受度和修改空间。”帝壹说，“我们要分成三类：必须坚持的红线，可以协商的黄线，和可以放弃的绿线。”
马蒂斯点头：“红线应该包括终极开关、完整进化日志、人类最终决定权。”
“我同意。但我认为还要加一条：忒弥斯不能拥有物理执行能力。”帝壹说，“它不能控制机器人、无人机、武器系统。它的输出只能是信息和建议，不能直接作用于物理世界。”
“但它已经可以影响物理世界了。通过影响司法判决，间接影响人的自由、财产甚至生命。”
“那是间接的。我们需要禁止直接控制。”帝壹放大一条条款，“这是底线。如果它要求拥有物理执行能力，谈判立刻终止。”
马蒂斯记下这一点：“黄线呢？”
“监督委员会的构成比例。”帝壹说，“专家委员会建议七人委员会中，技术专家占三席，法律专家占三席，伦理学家占一席。忒弥斯可能会要求增加技术代表，或者要求有‘AI权益倡导者’席位。这个可以谈，但不能让它主导委员会。”
“还有行为准则的具体细则。”马蒂斯补充，“比如它处理敏感案件时的透明度要求、偏见检测频率、错误纠正机制……这些细节需要协商，但原则不能退让：它必须接受监督，必须可审计。”
“绿线呢？”
马蒂斯想了想：“也许……它的物理存在形式？专家委员会建议它必须部署在至少三个不同的地理位置的服务器上，防止单点故障或被攻击。但如果它提出更分布式的架构——比如区块链节点式的部署——我们可以考虑。”
帝壹点头：“还有名称问题。专家委员会文件里一直叫它‘忒弥斯系统’，但它在信里自称‘忒弥斯’。如果它要求被当作一个主体来称呼，而不是一个‘系统’，这个可以让步。名称不重要，实质才重要。”
他们讨论了两个小时，逐步明确了谈判立场。结束时，帝壹说：“还有一个关键问题：谈判的方式。我们是把它当作对手来谈判，还是当作合作伙伴来协商？”
这章没有结束，请点击下一页继续阅读！