自动操作工具

[复制链接]
174 |15
发表于 2025-10-31 20:16:46 | 显示全部楼层 |阅读模式
显示界面为AutomationOperation.exe。本软件具有以下功能。
    鼠标:移动 / 单击 / 双击 / 拖动键盘:文本输入 / 特殊按键识别:图片识别 / 颜色识别 / 文字识别等待与延迟:延迟 / 等待条件(等待图片出现 /等待程序启动/等待程序关闭/等待文件出现)文件管理:打开文件或文件夹浏览器:打开/关闭浏览器、页面跳转、元素点击、输入与获取、截图录制:支持录制 鼠标、键盘 或图片识别 操作支持快速 绝对坐标 相对坐标 窗口坐标的选点快速的截图 、拾取颜色 、框选区域 工具 托盘菜单  支持:一键执行默认配置、动态配置热键(多套流程各配一个热键)、取消执行、强制退出;托盘菜单也能直接执行/取消、打开设置、开关开机自启,并持续显示定时器状态。可添加多个时间段,为每个时间段选择“默认配置或自定义配置文件”;每日自动重置“今日已执行”标记;保存后会刷新托盘与定时器,托盘实时显示状态。支持循环/无限循环,并可设置最长执行时间超时自动停止;任意时刻都能取消执行。批处理时还可勾选“是否参与本次执行”。支持后台模式 ,后台模式下,键盘鼠标/识别类等步骤会自动继承窗口信息,实现不移动真实鼠标键盘也能准确操控目标窗口


完整视图简视图版本

配置图    定时执行设置界面   
软件托盘图   录制功能  前台后台设置相关



插入    游览器模式选择元素
链接:https://pan.baidu.com/s/1Ku4qtDV1m6cjIfs6qNJJHQ?pwd=4jgj 提取码:4jgj

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

发表于 2025-10-31 20:17:40 | 显示全部楼层
1.43版本
1.主界面右边菜单控件任务可以按住 ctrl  +方向键 上下调整顺序。
2.增加了录制功能
鼠标的单击 双击 和拖动
键盘的输入(录制识别后全部转换为特殊按键 )
图片的识别 (截屏操作录制时按下默认的shift Q 或者点击界面按钮)
1.53 版本   无文字识别版本
  1.配置名可以更改 可以直接在设置界面修改文件名 按保存配置按钮保存 ,或者可以游览打开其他配置。
  2.加入颜色识别 可以选定框选区域 ,可以打开确认颜色界面 有放大镜显示 右上角显示具体颜色 和rgb值  可以按方向键微调 按enter或者鼠标左键确认颜色 。
  3.对于界面主题 左侧菜单颜色的调整。
  4.加入窗口坐标 鼠标可以选择三种方式 绝对坐标 相对坐标和窗口坐标 (在录制前需要选择是窗口坐标还是绝对坐标)
1.54 版本文字识别版本
  1.加入文字识别 ocr ,使用PaddleOCR ,加入这个文件比较大。  
  2.文字识别可以全屏或者框选区域内
1.55 版本
1.加入后台点击 (后台点击必须使用窗口坐标)
2.修复录制 选择窗口坐标 一些bug。
1.57  1.完善后台点击 无遮挡 最小化也能后台点击。  2.图像识别 加入指定区域。
1.58   优化主界面截图   录制时截图  框选  拾取颜色 在不同缩放下的窗口显示。。
1.59  
1.修改窗口坐标模式下 可以选点 或者 录制时 绑定窗口获得句柄。句柄只在完整视图模式下显示。
执行时优先 句柄,句柄失效会退回找窗口 程序等。重新打开软件后句柄就失效了,失效句柄需要重新绑定 选点 或者手动输入。
游览器 多窗口模式下 必须句柄对应,单一软件可以不考虑句柄。  
2.修改文字识别模式下 文本框留空为 识别文字,识别到文字复制到剪贴板 并且显示在主界面
1.60 版本
1. 入 在 键盘输入 特殊按键 图片识别 颜色识别 和文字识别  加入窗口绑定 可以 选择 句柄自动绑定或 手动输入。
2. 重构设置界面,一些参数配置保存在一个文件。
3.在设置 自动化执行模式 后台模式 有图片测试 可以选择目标窗口 后台是否能够识别到图片 ,后续才能 图片识别 颜色识别 和文字识别
4. 循环设置等 移入设置界面 的主界面设置中。
5.主界面设置 加入是否选择操作说明编辑框 。选上在主界面能看到可以添加说明内容。
6.加入每一次模板执行 是否执行 选择框, 取消勾选为在全部执行下 跳过执行,取消勾选 此模板会变暗。
1.61
1.颜色识别 文字识别 图像识别 不点击 改为移动,且修复 双击 不点击 无效bug。
2.优化 单击 移动 等 在不是窗口坐标下 的 模板显示
3.修复 等待条件 下 文本框不显示 bug
4.增加 设置界面中 窗口句柄一键绑定,在主界面中已存在或增加的句柄默认 设置界面中选择的句柄
1.62
1.修复设置快捷键时执行bug
2.主界面增加选择配置按钮
3.循环等设置放回主界面
4.修复图片左键双击 保存无效bug
5.设置 配置1 2 3 的加载逻辑 改变
现在可以 把配置放入不同的文件夹后 再打开加载
修改配置文件名后 按保存当前配置 可以直接保存新的文件名
6.当前全部执行的配置文件名 会在标题中显示。
1.63 优化取消 增加10ms延迟,取消循环执行固定1s延迟,修复快捷键取消失败问题。
1.64
1. 在设置-主界面设置 加入错误处理 ,可以选择是否报错后停止运行 ,不选择 为报错后继续运行
2.等待条件 中优化  等待图片出现
1.65 1.修复选择报错后停止 ,单步执行闪退问题
2.修复选择相对点坐标 选点时,只显示绝对点坐标问题。
1.7.2
1.等待中加入 无限等待 实则为超时时间 很长。
2.加入浏览器模式 包括 浏览器管理 、页面跳转、 浏览器点击 、浏览器输入 、 浏览器截图
浏览器管理:打开关闭游览器 选择有头 还是无头模式 等
浏览器点击:可以根据选择器类型如css path ID 等选择元素 ,可以选择点击方式 左键 右键 等
浏览器输入:选择元素,留空读取元素内容 并且复制到剪贴板 ,有内容时 输入到元素中
3.在浏览器点击浏览器输入 模板中加入智能选择器,需要先使用浏览器管理 打开edge (不要选无头模式),再导航到想导航的页面,点击选择器 ,那么就可以浏览页面 点击想要点击的元素,结束后会自动选择 选择器类型。
当然选择器 可能会有问题,可以先测试一下,不行打开F12 或者右键检测 选择复制-复制元素-复制selector(css) 或者其他 。
1.7.3 1.修改win7 下dpi感知调用SetProcessDPIAware() 2.修改键盘输入,去除输入前 点击。
1.8.2
1.主界面能够拖动左侧菜单并且可以滚动方式 插入内容(方式1 选择需要插入位置 先点一下插入位置的模板 再从左侧拖入内容)(方式2  按住ctrl +上下 调整内容顺序)( 方式3 更改内容 可以拖动 并且滚轮调节 最好是边缘处滚动)
2.配置快捷键设置中可以 动态添加快捷键 最多添加10个快捷键。
3.加入强制关闭程序,防止 想取消取消不掉情况。
4.托盘菜单的调整。 并且配置设置中可以设置 是否显示在托盘菜单。
1.8.3 等待 图片出现 中 加入后台等待,解决区域等待图片出现bug。优化等待 图片出现 加入灰度优化,并使用哈希比较 检测屏幕是否变化 未变化跳过检测 。
1.8.4 主界面加入 保存/另存为 按钮。 主界面设置中加入 执行完后 是否启用下一个配置。
1.8.5 1.固定延迟缩小到1ms。 2.加入新建 和清除配置按钮
1.8.6 增加三个浏览器选择。Chromium 浏览器  Firefox 浏览器  WebKit 浏览器
1.9.1
1.鼠标滚轮功能加入,包括ctrl+滚轮、shift+滚轮等
2.更新滚轮的录制内容,包括ctrl+滚轮、shift+滚轮等
3.鼠标单击操作中加入 左键按下、 左键弹起
4.图像识别 颜色识别 中加入  左键按下、 左键弹起。 操作流程 可以先用 图像识别中  左键按下  后一步用  图像识别、颜色识别、鼠标单击操作  的 左键弹起
1.9.2  图片识别 颜色识别 文字识别中失败处理方式 可以有更多选择 1.停止 2.继续 3.跳转到序列号 4.进入下一个循环 5.等待确认选择
1.9.3
1.添加多图片识别  最多添加5张图片 ,有三种执行测试,1.按优先级顺序 点击 找到一个就成功,并点击 2.并行查找,点击 找到一个就成功,并点击。3.按优先级顺序 查找所有图片,并点击所有图片, 若任一未找到 ,报失败处理。
2.单击 点击后延时 添加提示信息,建议 500ms之后,防止重复点击触发双击事件。
1.9.4
1.增加移动窗口模板,要后台点击不影响前台可以用移动窗口 要用了再移动回界面,需要可移动窗口状态。
2.修改保存配置 如果是空白配置也能保存。
3.修复bug,如果是text 界面拖动 会闪退问题。
4.修改移动 如果移动坐标和当前坐标一致,不发生移动。
5.后台点击前 锁定当前前台窗口 将目标窗口置于Z轴底层 欺骗窗口状态(让它认为自己是激活的)。 最有效的应该是移动出显示区域。
1.9.5  1.前台模式 键盘输入 加个输入前是否点击。 2.前后台模式切换 界面立即更新。
1.9.6 1.优化插入线 ,使其更稳定 在上下模板移动 不闪烁。2.超时时间设置 text改变时 值立即变化。3. 加载配置后 再保存,为该配置保存(原为 保存为默认配置)。
2.0.0
1.选点 时隐藏主界面。
2.并行图片查找 进行优化。
3.识别图片 多图识别 可以选择是否使用随机点  随机点有两种选择 中心点+ 随机偏移 ,或者截图矩形 内缩区域内随机。
4.添加失败处理 注释 ,设置界面优先级更高。
5.左侧菜单 右键 可以序列号插入
2.0.1  特殊按键 修改 加入只按下 和只释放。(可以按住不放一段时间后再释放)
2.0.2 修复图片识别 在循环执行下 会闪退问题。
2.1.0
1. 优化保存和加载配置, 对多序号(50+)进行分批异步保存和加载,显示保存和加载 进度条在标题栏中。
2. 图片识别 和等待图片中 加入Base64 保存, 可以选择 文件存储 还是Base64编码方式。
3.对于图片识别 多图识别 等待图片 加入一些报错信息。文件不存在 路径为空 可以更明显显示。
4.修复图片识别 等待选择界面
5.win7 下弹窗改用传统气泡 win10用toast通知
2.1.1 取消录制的预加载 和定时保存,可能引发内存泄露
2.1.2 设置界面中加入 日志保存相关设置。更新 日志保存相关内容。
2.1.3 浏览器打开加入可设置窗口大小,窗口可最大化,或者自己设置宽度和高度。
2.1.4  1.快捷键注册失败报错。2.加入更多的日志报错信息。
2.2.0  1.增加多颜色识别。2.修复多图片识别保存bug。
2.2.1  1.添加更多的日志内容。2.图片识别 颜色识别可选是否并行搜索。
2.2.2  移动方式加入贝塞尔曲线 模仿真实移动。移动 点击 双击 拖动 ,且图片识别 颜色识别 文字识别。
2.2.3 1.等待操作 失败条件也加入和图片识别失败一样5种选择。
2. 同目录下只能打开一个软件。 防止失开多个。
2.2.4 1.加载配置可以选择 是否清除覆盖原配置文件 不清除可以一直添加 2.每页最多显示25模板 可以分页显示。3.修复录制结束后弹窗问题。
回复

使用道具 举报

发表于 2025-10-31 20:18:23 | 显示全部楼层
有朋友要蓝奏云下載,单文件不能超过100m,分开上传了。分开下载好放到同一文件夹里。   https://wwon.lanzout.com/b013979upg
密码:8gre
回复

使用道具 举报

发表于 2025-10-31 20:19:16 | 显示全部楼层
Chromium 浏览器 Firefox 浏览器 WebKit 浏览器  需要下载 ms-playwright文件夹。 放入 C:\Users\<用户名>\AppData\Local\
或者

安装 powershell 7
下载地址 https://learn.microsoft.com/zh-cn/powershell/scripting/install/installing-powershell-on-windows?view=powershell-7.5

1. 打开powershell 7
2.cd 你的文件夹目录(目录下能找到playwright.ps1)如cd /d D:\AutomationOperation     cd C:\AutomationOperation
2.pwsh playwright.ps1 install
回复

使用道具 举报

发表于 2025-10-31 20:19:43 | 显示全部楼层
不错,好工具。支持,继续完善!
回复

使用道具 举报

发表于 2025-10-31 20:20:43 | 显示全部楼层
试试 开机启动和定时执行
回复

使用道具 举报

发表于 2025-10-31 20:21:34 | 显示全部楼层
感谢持续更新,希望增加这个功能,目前好像无法实现:比如有两个脚本,jason1(F1的快捷触发)和jason2(F2的快捷触发),在jason1中的结尾(脚本最后一步结束后)调用jason2继续执行,我测试了一下,在jason1最后一步发送特殊按键F2,是无法触发启动jason2,使用的场景如下:AutomationOperation随电脑启动后,自动运行jason1执行一系列操作启动N个软件,执行结束后,需要启动jason2一直循环监控屏幕是否出现A、B、C三张图,3张图片其中任意一张出现时就点击(通过不勾选报错时停止可以自动跳过)。这个或者能否叫做多任务同时执行?另外还有个小建议,能否在界面增加“新建配置”和“保存当前配置至XXX第几个配置文件”的按钮,目前新建一个配置比较麻烦(因为步骤多时,默认配置已经很多步骤了,需要手动删除清空),保存的时候也要点击设置进去子菜单才有,谢谢开发!
回复

使用道具 举报

发表于 2025-10-31 20:21:51 | 显示全部楼层
有这种情况 需要多次按快捷键取消 ,不是马上生效。
回复

使用道具 举报

发表于 2025-10-31 20:22:01 | 显示全部楼层
前排支持,正在找谢谢
回复

使用道具 举报

发表于 2025-10-31 20:22:14 | 显示全部楼层
感谢分享,组合界面很清晰
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表