脑机接口 · 人机共创
EmpBrush
一个结合被动式脑机接口、生成式 AI 与机器人绘画的人机共创系统,将参与者的状态线索转化为机器人在共享画布上的实体回应。
2026.03 — 2026.09
研究 · 交互设计 · 原型开发
代尔夫特理工大学 IDE 应用实验室
可运行系统 · 项目已完成
项目概述
脑机接口如何参与人与机器人共同绘画?
EmpBrush 探索脑机接口如何参与人机共同创作。参与者佩戴 Emotiv EPOC X,与一台 7 自由度 Franka 机械臂在同一张实体画布上轮流绘画。系统结合参与者的状态线索与当前画面,生成机器人的下一次视觉回应,并将其转化为真实笔触。
机器人的笔触是下一轮创作的起点。参与者可以继续发展画面,也可以保留、覆盖、修改或拒绝机器留下的笔触。
共同绘画体验
一次共同绘画如何发生
参与者与 Franka 机械臂在同一张实体画布上轮流作画。每个机器人回合开始时,系统读取当前画面与 EEG 状态线索,生成一组可执行笔触;参与者再从这组新笔触继续创作。

参与者佩戴脑机接口设备,在共享实体画布上自由作画。
每个机器人回合开始时,系统同步取得当前画面与 EEG 衍生状态线索。
生成结果被转化为颜色、线条和可执行笔触,由 Franka 画在同一张画布上。
参与者可以保留、覆盖、修改或拒绝机器的贡献,并开始下一轮。

形成性研究
先确认四种情绪怎样被看见。
两轮研究比较颜色、线条和组合线索,结果直接决定了机器人使用的视觉语言。
第一轮
收集颜色与线条对愉悦、愤怒、悲伤和放松的联想。
第二轮
在同一画面中比较纯颜色、纯线条和组合线索。
关键调整
“悲伤”仅用线条时识别最弱,加入颜色后明显提高。
查看研究结果与设计决策

颜色作为主要线索四类情绪都先由色彩范围区分。
线条补充强度与节奏尖锐、流动、下垂或向外展开的形状帮助区分表达方式。
绘画类型采用不同组合彩色绘画主要依靠颜色;线稿条件同时使用线条与少量强调色。
被动式脑机接口与系统机制
画布与状态线索共同约束下一次绘画回应。
每个机器人回合开始时,顶部相机提供内容与位置,Emotiv EPOC X 提供回合级状态线索。系统据此生成局部图像,再把它转成实体色盘中的颜色和机械臂可执行的笔触。
14 通道 Emotiv EPOC X
128 Hz · 回合级采样 + 画布拍摄
个人基线归一化
Interest / Excitement → 效价 / 唤醒
四个效价—唤醒象限约束颜色与线条,并结合当前画面生成局部回应
生成结果映射到 21 色实体色盘并提取笔触,由机械臂画在共享画布上
两类输入,共同决定机器人的下一笔。
- 当前画面
- 顶部相机定位可回应的区域,并为生成内容提供上下文。
- 状态线索
- Interest 与 Excitement 经个人基线归一化后,映射到四种视觉语言。
- 实体输出
- 局部图像被映射到 21 色颜料盘,提取为机械臂可执行的笔触。
完整闭环:人绘画并产生当前画面,系统在机器人回合读取状态线索,机器人留下实体笔触,人再决定如何继续。
实体共同绘画记录
四种条件,完整保留五个作画阶段。
每一行从左到右依次为:参与者起稿、机器人第一次回应、参与者继续、机器人第二次回应、参与者完成。点击图片查看大图。
反思
目前的局限与下一步验证。
目前的局限
- 主实验为两位参与者,结果用于提出设计假设,适用范围限于这两人的体验。
- Interest 与 Excitement 是供应商提供的粗略状态指标,真实情绪未直接测量。
- Canvas-conditioned 总是在 Affect-conditioned 之前完成,因此条件差异也可能受到疲劳和顺序影响。
- 绘画媒介与回应通道共同变化,无法把 Colour 与 Sketch 的差异归因于单一变量。
- 生成内容和视觉风格进入同一个提示过程,语义内容与情绪风格可能相互影响。
下一步
- 让画者接受、修改或拒绝机器的情绪方向
- 测试局部渲染与可调节的表达强度
- 扩大并多样化参与者样本
- 分别评价情绪匹配与创作价值
- 探索匹配之外的安抚、转向与对比策略

