写字机器人是一种集成了机械结构、运动控制、人工智能（AI） 等技术，能够模拟人类手写或书法动作，自动完成文字书写的自动化设备。它通过预设程序或学习人类笔迹，在纸张、布料等载体上精准复现文字、符号甚至书法作品，本质是 “机械执行 + 智能控制” 结合的自动化书写机器人。通过 “笔尖物理移动” 模拟人类握笔书写的动作，可还原手写的连笔、倾斜、粗细不均，部分高端设备甚至能模拟毛笔的 “枯笔、晕染” 效果，笔迹更接近真实手写。
睿尔曼智能科技有限公司深耕超轻量仿人机械臂领域，在2024年初申请了“一种基于图像处理的机械臂精细控制方法、 装置及机械臂”专利（申请号：202410090412.2），能够不受预设库素材的约束，实现基础动作任意组合，具有适应性强、复现准确等诸多优点。
一、技术痛点
目前的写字机器人在技术层面上仅限于机械臂末端的位置控制，并且都是采用示教或者提前录入特定文字的方式进行书写，在使用层面功能过于单一，不便于进行具有特色的书法创造。
近年来随着机器人行业的蓬勃发展，人们对协作机械臂的精细化控制要求越来越高，而由于毛笔是柔性介质，用机械臂写毛笔字，需要综合考虑毛笔的柔软度、蘸墨时的吸墨量、在宣纸等介质上的书写阻力等因素，对于机械臂的轨迹规划、力度控制、速度控制、位移控制，以及计算机视觉反馈和伺服控制都有较高的要求。在现有方案中，在楷体字库中选择任意汉字然后通过对汉字进行图像处理生成了汉字笔画轨迹、力度和运笔角度。
虽然市场上出现了好几款写字机器人，但这些机器人写字在技术层面上应用的仅限于机械臂末端的位置控制，没有考虑书法中的力道艺术。单纯的把汉字的轮廓描绘出来，显然不能满足大家的审美需求。
目前在机械臂应用市场中，也出现了一些使用机械臂书写设备对中国传统书法艺术进行模拟的产品。虽然现有的机械臂书写设备可以进行很多种字体的书法书写，但大多数机械臂书写设备都是采用示教或者提前录入特定文字的方式进行书写。如果使用上述的控制策略进行书写，则机械臂只能按照调试好的文字数据库书写固定的文字，在使用层面功能过于单一，不便于进行具有特色的书法创造。
二、技术手段
根据基础动作GIF图像和视觉反馈纠正力度偏差，从而完成汉字书写。
在机械臂执行书写任务的过程中，将样本库中的动态图像拆分成若干个静态图像帧，基于若干个静态图像帧，进行图像矩阵差值计算，得到前后两个静态图像帧的差值，并生成新的差值图片；之后获取差值图片的轮廓，保存轮廓及其质心的坐标值；基于所有差值图片轮廓的质心，得到像素坐标系轨迹；基于像素坐标系轨迹的斜率变化，得到轨迹角度变化率和动作执行载体在轨迹处的斜率弯曲角度；依据轮廓坐标值和像素坐标系轨迹的斜率负倒数计算动作执行载体的标准横截面积，从而获得机械臂力度。
将像素坐标系轨迹转换为机械臂的基坐标系轨迹，得到控制机械臂的轨迹参数，控制机械臂按照基坐标系轨迹运动，带动机械臂末端安装的动作执行载体，进行动态图像中的动作复现。
三、技术实施情况
创新点1：通过计算动作执行载体的标准横截面积，进而获得机械臂握持动作执行载体的标准力度。
- 具体方案：
- 步骤S1
将动态图像拆分成若干个静态图像帧。如图1所示，以毛笔字中的“心”字为例，通过将心字的动态笔画图进行拆分，得到46帧的静态图像。
图1
- 步骤S2
基于若干个静态图像帧，进行图像矩阵差值计算，得到前后两个静态图像帧的差值，并生成新的差值图片。如图2所示，通过计算心字动态笔画图的46帧静态图像，进行图像矩阵差值计算，得到45个差值图片。
图2
- 步骤S3
获取差值图片的轮廓，保存轮廓及其质心和坐标值。
- 步骤S4
基于所有差值图片轮廓的质心，得到像素坐标系轨迹。如图3所示，基于上述45个差值图片，可以得到心字的像素坐标系轨迹图；差值图片的质心组成了上述心字的像素坐标系轨迹图。
图3
- 步骤S5
基于像素坐标系轨迹的斜率变化，得到轨迹角度变化率和动作执行载体在轨迹处的斜率弯曲角度。
通过图像轮廓中的所有质心连线计算出可以直接计算出轨迹斜率的变化，再根据轨迹斜率变化可计算出轨迹角度变化率，从而求出动作执行载体在轨迹处斜率弯曲角度，从而推理出动作执行载体的姿态。其中，轨迹斜率为沿着轨迹行进方向的斜率。
- 步骤S6
依据轮廓坐标值和像素坐标系轨迹的斜率负倒数计算动作执行载体的标准横截面积，标准横截面积与机械臂握持动作执行载体的力度成正比。
具体的，如图4所示：
图4
创新点2：拍摄字体已书写部分的实时横截面积与已知的标准横截面积进行比较，基于比较结果控制机械臂调整控制毛笔书写的力度，形成一个闭环控制，实现毛笔字的完美书写。
- 具体方案：
- 步骤S1
将像素坐标系轨迹转换成相机坐标系的轨迹，然后再转换成机械臂的基坐标系轨迹。
- 步骤S2
通过moveit路径规划，依据机械臂基坐标系轨迹得到包含时间信息、加速度信息和速度信息的轨迹点。
- 步骤S3
对包含时间信息、加速度信息和速度信息的轨迹点进行预设次数的样条插补，得到用于控制机械臂运动的轨迹参数。
由像素坐标系轨迹可得到机械臂基坐标系轨迹，再对机械臂基坐标系轨迹点进行多次插值处理，将生成的小数量的轨迹点插补成机械臂关节可以直接使用的轨迹。
- 步骤S4
通过图像获取组件获取机械臂带动毛笔运动时毛笔书写的笔画图像。
- 步骤S5
获取笔画图像相应的笔画横截面积，依据笔画横截面积计算机械臂控制毛笔的实时力度值。
具体的，依据笔画横截面积计算毛笔实时力度值的具体过程为：在毛笔头刚接触书写介质时至毛笔头与书写介质接触一半深度时，二者的关系为：y＝ax2+bx+c，其中，x为横截面积，y为毛笔的实时力度值，a、b、c为常数，且a≠0；a、b、c的取值与机械臂的自由度数量、末端夹持工具结构、毛笔型号有关，通常可以通过样机标定结合曲线拟合算法得到。
- 步骤S6
将实施力度值与机械臂控制所述毛笔的预设力度值进行对比。
- 步骤S7
依据对比结果，调整机械臂末端带动毛笔的实时力度值，使实时力度值趋近于或等于预设力度值。
通过在机械臂末端设置一个摄像头，在书写的同时对已完成部分进行实时拍摄，拍摄字体已书写部分的实时横截面积与已知的标准横截面积进行比较。基于比较结果控制机械臂调整控制毛笔书写的力度，形成一个闭环控制，实现毛笔字的完美书写。
最终，机械臂末端固定设置的毛笔，基于上述控制方法，可以实现对毛笔字的有效书写，毛笔的力度控制准确，与毛笔字笔画动态图中的书写力度基本一致。
具体的，如图5所示：
图5
最终结果，如图6所示：
图6
写字机器人作为融合机械工程、人工智能和书写艺术的智能设备，近年来在技术突破和应用拓展方面取得了显著进展，应用领域可以包括：教育领域、 艺术创作、办公自动化等等。未来，可能在教育、办公等特定场景实现规模化应用，形成成熟的B端市场。同时，随着脑机接口技术的发展，未来可能结合脑机接口等前沿技术，实现"意念书写"等全新交互方式。
