Midscene.js 2025 最新指南：自然语言指令解析助力跨平台 UI 自动化测试

try {
  // 执行断言
  await agent.aiAssert('页面显示 "登录成功"');
} catch (e) {
  console.error('断言失败:', e.message); // 输出错误信息
}

// 等待加载完成
await agent.aiWaitFor('加载动画不再可见', {
  timeout: , // 设置超时为 30 秒
  interval:  // 每 5 秒检查一次
});

steps:
  - action: '点击登录按钮' # 点击登录按钮
  - action: '在用户名输入框中输入 "user123"' # 输入用户名
  - action: '在密码输入框中输入 "pass123"' # 输入密码
  - action: '点击提交按钮' # 提交表单

// 运行 YAML 脚本
await agent.runYaml('path/to/script.yaml');

// 启用 LangSmith 调试模式
process.env.MIDSCENE_LANGSMITH_DEBUG = '1'; // 设置环境变量以输出详细日志
await agent.aiAction('点击 "注册" 按钮'); // 执行操作并生成调试报告

// 配置 GPT-4o 模型
overrideAIConfig({
  model: 'gpt-4o', // 模型名称
  OPENAI_API_KEY: '你的密钥' // OpenAI API 密钥
});

// 配置本地 UI-TARS 模型
overrideAIConfig({
  model: 'ui-tars', // 模型名称
  endpoint: 'http://localhost:5000' // 本地服务地址
});

// 配置本地 Qwen2.5-VL 模型
overrideAIConfig({
  model: 'qwen2.5-vl', // 模型名称
  endpoint: 'http://localhost:6000' // 本地服务地址
});

// 自动发帖流程
await agent.aiAction('点击 "发帖" 按钮'); // 打开发帖框
await agent.aiAction('在文本框中输入 "Midscene.js 真好用！"'); // 输入内容
await agent.aiAction('点击 "发布" 按钮'); // 提交帖子

const cron = require('node-cron');
// 每天凌晨定时发帖
cron.schedule('0 0 * * *', async () => {
  await agent.aiAction('点击 "发帖" 按钮');
  await agent.aiAction('在文本框中输入 "Midscene.js 真好用！"');
  await agent.aiAction('点击 "发布" 按钮');
});

steps:
  - action: '前往 https://shop.com' # 访问电商网站
  - waitFor: '产品列表已加载' # 等待产品加载
  - query:
      products: '页面所有产品名称和价格，格式为数组 {name: string, price: number}' # 提取产品数据
  - assert: '"iPhone 15" 的价格低于 1000' # 验证价格

// 模拟移动设备
await page.emulate({
  userAgent: 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1',
  viewport: { width: , height: , deviceScaleFactor: , isMobile: true }
});
await agent.aiAction('在搜索框输入 "Headphones" ，敲回车');
const items = await agent.aiQuery('{itemTitle: string, price: Number}(), 找到列表里的商品标题和价格');
console.log("耳机商品信息", items);
await agent.aiAssert("界面左侧有类目筛选功能");

import puppeteer from "puppeteer";
import { PuppeteerAgent } from "@midscene/web/puppeteer";

const browser = await puppeteer.launch({
  headless: false, // 这里使用有界面模式帮助调试
});
const page = await browser.newPage();
await page.setViewport({
  width: ,
  height: ,
  deviceScaleFactor: ,
});
await page.goto("https://www.ebay.com");

// 初始化 Midscene agent
const mid = new PuppeteerAgent(page);

// 执行搜索
await mid.aiAction('在搜索框输入 "Headphones" ，敲回车');

// 理解页面，提取数据
const items = await mid.aiQuery(
  '{itemTitle: string, price: Number}(), 找到列表里的商品标题和价格',
);
console.log("耳机商品信息", items);

// 用 AI 断言
await mid.aiAssert("界面左侧有类目筛选功能");

await browser.close();