我们的 AI 引擎 Neutron 在加州大学伯克利分校的 CyberGym 基准测试中取得了 96.75% 的成绩。 了解更多

产品

产品

从随机到智能:AI 驱动的 Monkey 测试如何将移动应用覆盖率提升 10 倍

Ostorlab 的 AI Monkey Tester 借助自然语言提示词和生成式 AI,自动生成理解上下文的智能测试场景,革新了移动应用安全测试,与传统的基于规则的测试方法相比,应用覆盖率最高可提升 10 倍。

革新移动应用测试:Ostorlab 的 AI Monkey Tester 以基于提示词的智能能力变革安全测试

移动应用安全测试正在经历一场根本性的变革,而 Ostorlab 正凭借 AI-Monkey Tester 和 AI 渗透测试引擎等突破性的新能力引领这场变革。

全新的 Monkey Tester 能力让用户可以使用自然语言提示词而非僵化的 UI 规则来定义测试场景,同时还能通过理解应用上下文、基于自然流程的智能测试,最大限度地提升应用覆盖率。

搜索商品

Monkey 测试的基础

长期以来,Monkey 测试一直是软件质量保证的基石。这是一种向应用施加随机输入和操作的测试技术,用于发现崩溃、稳定性问题和意外行为。

Ostorlab Monkey Tester 的演进成果是一款 AI 驱动的 Monkey 测试工具,它利用生成式模型对测试场景进行推理,从而能够处理复杂的多步骤操作,例如创建账户、购买商品和填写问卷。

结果不言自明:使用 Ostorlab AI Monkey Tester 的组织报告称,在某些场景下应用覆盖率提升超过 10 倍,在所有测试实施中平均提升 2 倍。 这一显著提升源于其理解应用流程并生成有意义测试场景的能力。

基于提示词的测试与基于规则的方法

传统基于规则测试的局限性

传统的 UI 测试方法历来依赖基于规则的系统,根据元素的类型、内容及其在应用界面中的位置来识别元素。这种方法虽然可用,却存在几个关键局限: smart_next_step.png

智能场景

  • 对 UI 变更十分脆弱:当开发人员修改 UI 元素、调整布局或更新样式时,基于规则的测试经常会失效。即使是按钮位置调整或内容变更这样的细微改动,也可能导致测试失败。
  • 上下文理解有限:传统规则无法理解用户交互的整体上下文,也无法理解不同应用状态之间的逻辑流程。
  • 维护开销大:每当应用的 UI 发生修改,团队都要花费大量时间更新和维护基于规则的测试脚本。

自然语言提示词的力量

Ostorlab 的最新增强功能引入了基于提示词的输入能力,让用户可以使用自然语言定义测试场景。

这种方法带来了几项变革性的优势:

添加提示词

  • 直观地创建测试:测试人员可以自然地表达自己的意图,无需深厚的技术知识。
  • 语义理解:AI 系统能够理解测试描述背后的意图,从而在保持核心测试目标的同时适应 UI 变更。
  • 降低技术门槛:团队可以让那些了解应用业务逻辑、但可能缺乏编程经验的领域专家参与到测试过程中。

AI Monkey Tester 的第二个革命性方面,是通过基于自然流程的测试实现全面的应用覆盖。

与现代开发工作流集成

AI Monkey Tester 可与当代软件开发实践无缝集成:

  • CI/CD 流水线集成
  • 跨平台支持:支持 Android 和 iOS 平台,以及 Flutter、React Native 和 Xamarin 等多种开发框架。
  • 可扩展的测试基础设施:基于云的执行方式让团队能够在多种设备配置和操作系统版本上同时运行全面的测试。

使用方法:

  • 创建新的 Mobile Scan(Android 或 iOS)
  • 选择 Full scan 或 Privacy scan,对移动应用运行 DAST
  • 进入 UI automation rules 步骤,点击 + UI PROMPT
  • 填写要使用的 Name 和 Prompt。例如:
  • 使用提供的凭据登录,进入 Accounts 菜单,选择第一个账户并查看最近的转账记录。
  • 跳过登录,然后搜索图书“My Hero”,将其加入购物车,并使用提供的信用卡购买。
  • 点击 Submit

创建带提示词的 Full scan
创建带提示词的 Full scan

要查看调用覆盖率结果,请打开扫描并点击 Call coverage。

基于提示词的 AI 调用覆盖率
基于提示词的 AI 调用覆盖率

标签:

MonkeyTester, AI, DAST