← 返回项目

脑机接口 · 人机共创

EmpBrush

一个结合被动式脑机接口、生成式 AI 与机器人绘画的人机共创系统,将参与者的状态线索转化为机器人在共享画布上的实体回应。

时间

2026.03 — 2026.09

我的角色

研究 · 交互设计 · 原型开发

项目背景

代尔夫特理工大学 IDE 应用实验室

项目成果

可运行系统 · 项目已完成

拖拽旋转视角,滚轮缩放。人物与机械臂依次蘸取颜料并在同一张画布上作画。

项目概述

脑机接口如何参与人与机器人共同绘画?

EmpBrush 探索脑机接口如何参与人机共同创作。参与者佩戴 Emotiv EPOC X,与一台 7 自由度 Franka 机械臂在同一张实体画布上轮流绘画。系统结合参与者的状态线索与当前画面,生成机器人的下一次视觉回应,并将其转化为真实笔触。

机器人的笔触是下一轮创作的起点。参与者可以继续发展画面,也可以保留、覆盖、修改或拒绝机器留下的笔触。

共同绘画体验

一次共同绘画如何发生

参与者与 Franka 机械臂在同一张实体画布上轮流作画。每个机器人回合开始时,系统读取当前画面与 EEG 状态线索,生成一组可执行笔触;参与者再从这组新笔触继续创作。

参与者佩戴 Emotiv EPOC X,与 Franka 机械臂在共享实体画布前共同绘画
最终实验装置:Franka 机械臂、Emotiv EPOC X、顶部相机、30 × 40 cm 共享画布与 21 色实体颜料盘。
01 · HUMAN PAINTS人开始绘画

参与者佩戴脑机接口设备,在共享实体画布上自由作画。

02 · SYSTEM SENSES系统取得线索

每个机器人回合开始时,系统同步取得当前画面与 EEG 衍生状态线索。

03 · ROBOT RESPONDS机器人留下回应

生成结果被转化为颜色、线条和可执行笔触,由 Franka 画在同一张画布上。

04 · HUMAN CONTINUES人继续创作

参与者可以保留、覆盖、修改或拒绝机器的贡献,并开始下一轮。

参与者绘画、系统读取状态、机器人回应、参与者继续创作的完整流程
一次机器人回合的实拍流程。下方三张画布分别是机器人作画前、机器人贡献和参与者继续后的结果。点击查看原图。
LIVE PROTOTYPEFRANKA · PHYSICAL PAINTING
真实原型运行:机械臂在共享实体画布上执行一次绘画回应,保留实际速度与笔触接触过程。

形成性研究

先确认四种情绪怎样被看见。

两轮研究比较颜色、线条和组合线索,结果直接决定了机器人使用的视觉语言。

N=19

第一轮

收集颜色与线条对愉悦、愤怒、悲伤和放松的联想。

N=27

第二轮

在同一画面中比较纯颜色、纯线条和组合线索。

63% → 96%

关键调整

“悲伤”仅用线条时识别最弱,加入颜色后明显提高。

查看研究结果与设计决策
第二轮形成性研究中四种情绪的颜色、线条与组合条件
第二轮类别匹配结果。组合线索的匹配率约为 89%–100%。

颜色作为主要线索四类情绪都先由色彩范围区分。

线条补充强度与节奏尖锐、流动、下垂或向外展开的形状帮助区分表达方式。

绘画类型采用不同组合彩色绘画主要依靠颜色;线稿条件同时使用线条与少量强调色。

被动式脑机接口与系统机制

画布与状态线索共同约束下一次绘画回应。

每个机器人回合开始时,顶部相机提供内容与位置,Emotiv EPOC X 提供回合级状态线索。系统据此生成局部图像,再把它转成实体色盘中的颜色和机械臂可执行的笔触。

01 · SENSEEEG 采集

14 通道 Emotiv EPOC X
128 Hz · 回合级采样 + 画布拍摄

02 · ESTIMATE基线与状态线索

个人基线归一化
Interest / Excitement → 效价 / 唤醒

03 · CONDITION局部视觉生成

四个效价—唤醒象限约束颜色与线条,并结合当前画面生成局部回应

04 · RESPOND实体回应

生成结果映射到 21 色实体色盘并提取笔触,由机械臂画在共享画布上

效价 VALENCE →唤醒 AROUSAL →
− V · + A愤怒密集、尖锐、方向变化强
+ V · + A愉悦明亮、饱和、向外展开
− V · − A悲伤较暗、下垂、节奏稀疏
+ V · − A放松明亮、柔和、连续流动
SYSTEM INPUTS

两类输入,共同决定机器人的下一笔。

当前画面
顶部相机定位可回应的区域,并为生成内容提供上下文。
状态线索
Interest 与 Excitement 经个人基线归一化后,映射到四种视觉语言。
实体输出
局部图像被映射到 21 色颜料盘,提取为机械臂可执行的笔触。

完整闭环:人绘画并产生当前画面,系统在机器人回合读取状态线索,机器人留下实体笔触,人再决定如何继续。

实体共同绘画记录

四种条件,完整保留五个作画阶段。

每一行从左到右依次为:参与者起稿、机器人第一次回应、参与者继续、机器人第二次回应、参与者完成。点击图片查看大图。

彩色 · 画面机器人只参考当前画布彩色 · 状态机器人参考画布与 EEG 状态线索线稿 · 画面机器人只参考当前画布线稿 · 状态机器人参考画布与 EEG 状态线索
P1 · COMPLETE SEQUENCE

圣诞袜 · 海草中的鱼

01
参与者 P1 在四种实验条件中的五阶段画布

访谈结果P1 在两种绘画类型中都更偏好加入状态线索的回应。

反思

目前的局限与下一步验证。

目前的局限

  • 主实验为两位参与者,结果用于提出设计假设,适用范围限于这两人的体验。
  • Interest 与 Excitement 是供应商提供的粗略状态指标,真实情绪未直接测量。
  • Canvas-conditioned 总是在 Affect-conditioned 之前完成,因此条件差异也可能受到疲劳和顺序影响。
  • 绘画媒介与回应通道共同变化,无法把 Colour 与 Sketch 的差异归因于单一变量。
  • 生成内容和视觉风格进入同一个提示过程,语义内容与情绪风格可能相互影响。

下一步

  1. 让画者接受、修改或拒绝机器的情绪方向
  2. 测试局部渲染与可调节的表达强度
  3. 扩大并多样化参与者样本
  4. 分别评价情绪匹配与创作价值
  5. 探索匹配之外的安抚、转向与对比策略
下一个项目SetMetr