モバイルアプリテストの革新：OstorlabのAI Monkey Testerがプロンプトベースのインテリジェンスでセキュリティテストを一変させる

モバイルアプリケーションのセキュリティテストは根本的な変革の只中にあり、OstorlabはAI-Monkey TesterやAIペネトレーションテストエンジンといった画期的な新機能で、この革命をリードしています。

新しいMonkey Testerの機能は、ユーザーが硬直的なUIルールの代わりに自然言語プロンプトを使ってテストシナリオを定義できるようにし、またアプリケーションのコンテキストを理解するインテリジェントで自然なフローベースのテストを通じて、アプリケーションのカバレッジを最大化できるようにします。

モンキーテストの基礎

モンキーテストは長らくソフトウェア品質保証の礎となってきました。これは、クラッシュ、安定性の問題、予期しない挙動を特定するために、アプリケーションにランダムな入力とアクションを加えるテスト手法を指します。

Ostorlab Monkey Testerの進化形は、生成モデルを活用してテストシナリオについて推論するAIを活用したモンキーテスターであり、アカウント作成、商品の購入、アンケートの回答といった複雑で複数ステップのアクションを扱うことができます。

結果が物語っています。OstorlabのAIモンキーテスターを使っている組織は、一部のシナリオでアプリケーションのカバレッジが10倍以上に向上したと報告しており、すべてのテスト導入全体での平均的な改善は2倍です。 この劇的な改善は、アプリケーションのフローを理解し、意味のあるテストシナリオを生成する能力に由来します。

プロンプトベースのテスト対ルールベースの手法

従来のルールベースのテストの限界

従来のUIテスト手法は、歴史的に、要素をその種類、内容、そしてアプリケーションインターフェース内の位置に基づいて特定するルールベースのシステムに依存してきました。機能的ではあるものの、この手法にはいくつかの重大な限界があります。 smart_next_step.png

• UI変更に対する脆さ：ルールベースのテストは、開発者がUI要素を変更したり、レイアウトを変えたり、スタイリングを更新したりすると、頻繁に壊れます。ボタンの再配置や内容の変更のような小さな変更でさえ、テストの失敗を引き起こすことがあります。
• 限られたコンテキスト理解：従来のルールは、ユーザー操作のより広いコンテキストや、さまざまなアプリケーションの状態の間の論理的なフローを理解できません。
• メンテナンスの負担：アプリケーションにUIの変更が加わるたびに、チームはルールベースのテストスクリプトの更新と保守に多大な時間を費やします。

自然言語プロンプトの力

Ostorlabの最新の強化機能は、ユーザーが自然言語を使ってテストシナリオを定義できるプロンプトベースの入力機能を導入します。

この手法は、いくつかの変革的な利点をもたらします。

• 直感的なテスト作成：テスターは、深い技術知識を必要とせず、自然に自分の意図を表現できます。
• 意味的な理解：AIシステムはテストの説明の背後にある意図を理解し、中核となるテストの目的を維持しながらUIの変更に適応できます。
• 技術的な障壁の低減：チームは、アプリケーションのビジネスロジックを理解しているがプログラミングの専門知識を持たない可能性のあるドメインエキスパートを、テストのプロセスに参加させることができます。

AIモンキーテスターの2つ目の革新的な側面は、自然なフローベースのテストを通じて、アプリケーションの網羅的なカバレッジを達成することに焦点を当てています。

現代の開発ワークフローとの連携

AIモンキーテスターは、現代のソフトウェア開発のプラクティスとシームレスに連携します。

• CI/CDパイプライン連携
• クロスプラットフォーム対応：AndroidとiOSのプラットフォーム、さらにFlutter、React Native、Xamarinを含むさまざまな開発フレームワーク。
• スケーラブルなテストインフラ：クラウドベースの実行により、チームは複数のデバイス構成やオペレーティングシステムのバージョンにわたって、網羅的なテストを同時に実行できます。

使い方

• 新しいMobile Scan（AndroidまたはiOS）を作成します
• モバイルアプリケーションでDASTを実行するため、Full scanまたはPrivacy scanを選択します
• UI automation rulesステップに進み、+ UI PROMPTをクリックします
• 使用するNameとPromptを記入します。例えば次のようにします。
• 提供された認証情報を使ってログインし、Accountsメニューに進み、最初のアカウントを選択して直近の送金を確認する。
• ログインをスキップし、次に本「My Hero」を検索し、カートに追加して、提供されたクレジットカードを使って購入する。
• Submitをクリックします

コールカバレッジの結果を確認するには、スキャンを開いてCall coverageをクリックします。