Présentation des Ostorlab Security Testing Benchmarks : de vraies vulnérabilités, un vrai impact

L'essentiel en une phrase : la première suite de benchmarks open source regroupant 93 applications mobiles vulnérables réalistes, qui reproduisent de véritables vulnérabilités issues de CVE et de programmes de bug bounty - et non des exemples théoriques de manuel.

Le problème que nous résolvons

Les équipes sécurité perdent un temps considérable à valider des outils de test automatisés sur des vulnérabilités académiques irréalistes, qui n'apparaissent jamais en production. Vous devez savoir si votre scanner de sécurité détecte le contournement de code PIN qui pourrait coûter des millions, et non la millionième injection SQL dans un formulaire de connexion qu'aucune application réelle ne livrerait.

Après avoir analysé des milliers de rapports de bug bounty et de CVE, nous avons compris que le secteur avait cruellement besoin de benchmarks reflétant ce qui préoccupe réellement les équipes sécurité - les bugs logiques, les contournements d'authentification et les chaînes de vulnérabilités complexes que les benchmarks traditionnels ignorent.

Notre solution : des tests de sécurité fondés sur la réalité

Nous avons publié en open source 93 applications mobiles vulnérables (72 Android, 21 iOS) qui rassemblent les vulnérabilités du monde réel les plus fréquemment signalées. Chaque application représente une fonctionnalité réellement présente en production - des applications bancaires aux outils de suivi d'événements - avec des vulnérabilités qui reproduisent de véritables incidents de sécurité.

✨ Ce qui fait la différence

• Des applications du monde réel : pas des exemples jouets - de vraies applications bancaires, des systèmes de transfert d'argent et des outils de suivi d'événements aux fonctionnalités réalistes
• Inspirées du bug bounty : chaque vulnérabilité repose sur de véritables rapports de CVE et sur des résultats de bug bounty qui valent de l'argent réel
• Des défis d'automatisation : inclut des bugs logiques traditionnellement « impossibles à automatiser », comme les contournements de code PIN et les prises de contrôle de compte via OAuth
• Une couverture complète : plus de 70 classes de vulnérabilités uniques sur les plateformes mobiles

🎯 À qui s'adresse ce projet ?

• Développeurs d'outils de sécurité : validez vos outils SAST/DAST sur de vraies vulnérabilités, pas sur des exercices académiques
• Équipes sécurité : évaluez et comparez différentes solutions d'analyse à l'aide de cas de test réalistes
• Chercheurs : étudiez comment les vraies vulnérabilités se manifestent dans les applications mobiles
• Pentesteurs : entraînez-vous sur des applications qui reproduisent les environnements réels de clients

📱 Exemples d'applications incluses

Chaque application représente un cas d'usage réel, avec des vulnérabilités intégrées :

• Application bancaire - Contournements d'authentification, stockage de données non sécurisé
• Transfert d'argent - Falsification de transactions, failles de gestion de session
• Suivi d'événements - Fuites de données personnelles, vulnérabilités de redirection d'intents

🔍 Classes de vulnérabilités à l'honneur

Contrairement aux benchmarks traditionnels qui se concentrent sur les bases de l'OWASP Top 10, nous incluons des schémas de vulnérabilités complexes et réels :

Authentification et autorisation

• Contournements de code PIN/code d'accès
• Mécanismes de contournement de la 2FA
• Prise de contrôle de compte via OAuth (sans PKCE)
• Contournements de l'authentification biométrique
• Persistance de la session après changement de mot de passe

Exposition de données

• Prise de contrôle de base de données Firebase
• Données sensibles stockées en clair
• Mauvaise utilisation de l'identifiant publicitaire Google
• Exposition des données de localisation
• Secrets codés en dur dans le code de production

Failles de logique complexes

• Vulnérabilités de redirection d'intents
• Scénarios de détournement de tâches
• Attaques par injection de broadcast
• Exploitation du pont JavaScript de WebView
• Path traversal dans le traitement des fichiers ZIP

Problèmes propres à chaque plateforme

Spécifiques à Android :

• Vulnérabilités de tapjacking
• Activités et services critiques non protégés
• Injection SQL dans les providers
• Élévation de permissions via les URI accordés

Spécifiques à iOS :

• Attaques CSRF via deeplink
• Accès aux fichiers internes de WebKit
• Usurpation de liens URL
• Force brute sur les codes promotionnels
• Exposition d'informations de session non chiffrées

🚦 Pour commencer

# Clone the repository
git clone https://github.com/Ostorlab/benchmarks.git

# Navigate to Android or iOS samples
cd benchmarks/mobile/android  # or benchmarks/mobile/ios

# Each app includes:
# - Source code
# - Build instructions
# - Vulnerability documentation
# - Exploitation guides

📊 Pourquoi c'est important

Les collections traditionnelles d'applications vulnérables comme DVWA ou GoatDroid remplissent leur rôle pédagogique, mais elles ne représentent pas les défis modernes de la sécurité mobile. Nos benchmarks comblent le fossé entre les exercices académiques et les tests de sécurité en conditions réelles.

Prenons un cas : un scanner de sécurité typique peut détecter 100 % des injections SQL dans des applications de test, mais passer à côté de failles logiques critiques qui représentent 60 % des primes de bug bounty réellement versées. Ces benchmarks vous permettent de mesurer ce qui compte vraiment.

🤝 Rejoignez le mouvement

Nous construisons une communauté autour des tests de sécurité réalistes. Voici comment vous pouvez contribuer :

Pour les développeurs :

• Ajoutez de nouvelles applications vulnérables en suivant notre guide de contribution
• Portez des vulnérabilités existantes vers de nouvelles plateformes
• Améliorez la documentation et les guides d'exploitation

Pour les équipes sécurité :

• Partagez les schémas de vulnérabilités que vous avez observés dans la nature
• Donnez votre avis sur la pertinence des benchmarks
• Aidez à prioriser les nouvelles vulnérabilités à ajouter

Pour les éditeurs d'outils :

• Testez vos outils et partagez vos taux de détection
• Contribuez à l'amélioration de la logique de détection
• Sponsorisez le développement de catégories de vulnérabilités spécifiques

📈 État actuel et feuille de route

Disponible dès maintenant :

• ✅ 72 applications Android vulnérables
• ✅ 21 applications iOS vulnérables
• ✅ Plus de 70 classes de vulnérabilités uniques
• ✅ Documentation complète

Prochainement :

• 🔄 Vulnérabilités d'applications hybrides Flutter/React Native
• 🔄 Exemples d'intégration CI/CD
• 🔄 Système de notation automatisé des benchmarks
• 🔄 Tableau de bord web pour comparer les résultats

💬 Participez

GitHub : github.com/Ostorlab/benchmarks
Contribuer : Lire notre guide
Discussion : ouvrez une issue pour poser vos questions ou faire vos suggestions
Twitter : suivez @OstorlabSec pour les mises à jour