Schlagwort: Bias

Neues Angebot aus dem KI-Sicherheitsportfolio von Bugcrowd hilft KI-Anwendern, potenzielle Sicherheitslücken frühzeitig zu erkennen

Bugcrowd, Spezialist für Crow-sourced Security, hat die Verfügbarkeit von „AI Pen Testing“ auf Basis der Bugcrowd-Plattform vorgestellt, um KI-Anwender dabei zu unterstützen, aktuelle Sicherheitslücken zu erkennen, bevor Bedrohungsakteure sie ausnutzen. AI Pen Testing ist nun Teil des Bugcrowd-Portfolios für KI-Sicherheitslösungen, zusätzlich zu dem kürzlich angekündigten AI-Bias-Assessment-Angebot.

Die Dialogschnittstellen in Large-Language-Model-Anwendungen (LLM) können anfällig für Prompt Injection, Extraktion von Trainingsdaten, Data Poisoning und andere Arten von Angriffen sein. Die Bugcrowd AI Pen Tests wurden entwickelt, um die häufigsten Schwachstellen in diesen Bereichen mit einer Testmethodik aufzudecken, die auf der quelloffenen Vulnerability Rating Taxonomy von Bugcrowd basiert. Diese beruht auf den OWASP Top 10 (Open Web Application Security Project) für LLM-Anwendungen und fügt weitere Schwachstellen hinzu, die von Hackern auf der Bugcrowd-Plattform gemeldet wurden.

Viele KI-Anwendungen sind in hohem Maße mit anderen Systemen integriert, was das Risiko erhöht, da sie als potenzieller Zugangspunkt für eine breitere Infiltration durch Angreifer dienen. Mit der breiten Durchsetzung generativer KI und der dadurch erweiterten Angriffsfläche werden rigorose Pressure Tests notwendig, um die neuen Schwachstellen zu erkennen.

Die Pentester werden aus einer fundierten Gruppe vertrauenswürdigen Tester ausgewählt, die aufgrund ihrer Fähigkeiten und ihres Leistungsausweises aus der globalen Hacker-Community stammen. Der datengesteuerte Ansatz der Bugcrowd-Plattform CrowdMatch AI für die Beschaffung und Aktivierung von Forschern, Hackern oder Pentestern ermöglicht die schnelle Aufstellung und Optimierung von Crowds mit praktisch allen Fähigkeiten, um das Ziel der Risikominderung zu erreichen.

Der „Skills-as-a-Service-Ansatz“ von Bugcrowd für verbesserte Sicherheit hat in den vergangenen zehn Jahren für Kunden wie T-Mobile, Netskope und Telstra Corporation mehr hochwirksame Schwachstellen aufdeckt als herkömmliche Methoden und gleichzeitig eine klarere Sicht auf den ROI geschaffen. Mit dem Zugang zu mehr als einem Jahrzehnt an Schwachstellendaten hat sich die Bugcrowd-Plattform im Laufe der Zeit weiterentwickelt, um die sich verändernde Natur der Angriffsflächen zu reflektieren – einschließlich der Einführung von mobilen Apps, hybrider Arbeit, APIs, Krypto, Cloud-Workloads und jetzt auch KI.

„KI ist auch ein Werkzeug zur Steigerung der Produktivität von Angreifern, ein Ziel für die Ausnutzung von Schwachstellen in KI-Systemen und eine Bedrohung aufgrund der unbeabsichtigten Sicherheitsfolgen, die sich aus ihrem Einsatz ergeben“, erläutert Dave Gerry, CEO von Bugcrowd. „Mit unserem neuen KI-Pen-Testing-Angebot haben unsere Kunden jetzt eine Lösung, um alle KI-basierten Risiken zu adressieren – von Standardtests für Web-Apps, mobile Apps und Netzwerke bis hin zu kontinuierlichen, Crowd-getriebenen Tests von komplexen Apps, Cloud-Diensten, APIs, IoT-Geräten und jetzt auch KI-Systemen, um das Risiko maximal zu reduzieren.“

„Die schnelle Einführung von LLMs in Behörden- und Unternehmensanwendungen hat zu einem beispiellosen Anstieg der Angriffsfläche geführt, den Angreifer bereits ausnutzen“, ergänzt Julian Brownlow Davies, VP of Advanced Services bei Bugcrowd. „Die Crowd-sourced Security-Plattform von Bugcrowd mit CrowdMatch AI hat es uns ermöglicht, hochwirksame AI/LLM-Penetrationstests auf den Markt zu bringen, die von vertrauenswürdigen Testern mit umfassender Erfahrung in diesem Bereich durchgeführt werden und unseren Kunden Sicherheit gegen diese sich entwickelnden Bedrohungen bieten.“

Verantwortlicher für diese Pressemitteilung:

Bugcrowd
Herr Uwe Scholz
Albrechtstr. 119
12167 Berlin
Deutschland

fon ..: 01723988114
web ..: http://www.zonicgroup.com
email : uscholz@zonicgroup.com

Seit 2012 versetzt Bugcrowd Unternehmen in die Lage, die Kontrolle zurückzugewinnen und den Bedrohungsakteuren einen Schritt voraus zu sein, indem der kollektiven Einfallsreichtum und das Fachwissen der Kunden sowie eine vertrauenswürdigen Allianz von Elite-Hackern mit den patentierten Daten und der KI-gestützten Security Knowledge Platform(TM) vereint werden. Das Netzwerk von Hackern verfügt über vielfältiges Fachwissen, um verborgene Schwachstellen aufzudecken und sich schnell auf neue Bedrohungen einzustellen, selbst bei Zero-Day-Exploits. Mit unübertroffener Skalierbarkeit und Anpassungsfähigkeit findet die daten- und KI-gesteuerte CrowdMatch(TM)-Technologie in der Plattform das perfekte Talent für den Kampf gegen Bedrohungen. Damit schafft Bugcrowd eine neue Ära der modernen Crowdsourced Security, die Bedrohungsakteure übertrifft.
Weitere Informationen finden sich unter www.bugcrowd.com sowie dem Blog.
„Bugcrowd“, „CrowdMatch“ und „Security Knowledge Platform“ sind Warenzeichen von Bugcrowd Inc. und seinen Tochtergesellschaften. Alle anderen Marken, Handelsnamen, Dienstleistungsmarken und Logos, auf die hier Bezug genommen wird, gehören den jeweiligen Unternehmen.

Pressekontakt:

Zonicgroup
Herr Uwe Scholz
Albrechtstr. 119
12167 Berlin

fon ..: 01723988114
web ..: http://www.zonicgroup.com
email : uscholz@zonicgroup.com

Neues Angebot im Bugcrowd-Portfolio für KI-Sicherheit nutzt menschliche Kreativität, um Datenverzerrungen zu ermitteln

Bugcrowd, Anbieter von Crowdsourced Security, hat die Verfügbarkeit von AI Bias Assessments als Teil seines Portfolios für AI Safety and Security auf der Bugcrowd-Plattform bekanntgegeben. AI Bias Assessment nutzt die Leistung der Crowd, um Unternehmen und Behörden zu helfen, Large-Language-Model-Anwendungen (LMM) sicher, effizient und vertrauensvoll einzuführen.

LLM-Anwendungen basieren auf algorithmischen Modellen, die auf riesigen Datensätzen trainiert werden. Selbst wenn diese Trainingsdaten von Menschen kuratiert werden, was oft nicht der Fall ist, kann die Anwendung leicht „Datenverzerrungen“ widerspiegeln, die durch Stereotypen, Vorurteile, ausgrenzende Sprache und eine Reihe anderer möglicher Verzerrungen der Trainingsdaten verursacht werden. Solche Verzerrungen können dazu führen, dass sich das Modell auf potenziell unbeabsichtigte und schädliche Weise verhält, was die Anwendung von LLM mit erheblichen Risiken und Unvorhersehbarkeiten verbunden macht.

Einige Beispiele für potenzielle Fehler sind unverhältnismäßige Repräsentation oder Auslassung bestimmter Gruppen in den Trainingsdaten (Representation Bias), Vorurteile, die auf historische oder gesellschaftliche Stereotypen in den Trainingsdaten zurückzuführen sind (Pre-Existing Bias) und Vorurteile, die durch die Verarbeitung und Interpretation von Daten durch KI-Algorithmen entstehen (Algorithmic Processing Bias).

Der öffentliche Sektor ist von diesem wachsenden Risiko besonders betroffen. Ab März 2024 hat beispielsweise die US-Regierung ihre Behörden dazu verpflichtet, die KI-Sicherheitsrichtlinien einzuhalten – einschließlich der Erkennung von Datenverzerrungen. Dieses Mandat gilt später im Jahr 2024 auch für deren Auftragnehmer.

Das Problem erfordert einen neuen Sicherheitsansatz, da herkömmliche Sicherheitsscanner und Penetrationstests nicht in der Lage sind, solche Verzerrungen zu erkennen. Bugcrowd AI Bias Assessments sind private, ergebnisorientierte Projekte auf der Bugcrowd-Plattform, die vertrauenswürdige Sicherheitsforscher aus der „Crowd“ aktivieren, um Schwachstellen in LLM-Anwendungen zu identifizieren und zu priorisieren. Die Teilnehmer werden auf der Grundlage des erfolgreichen Nachweises der Auswirkungen bezahlt, wobei für aussagekräftigere Ergebnisse höhere Prämien gezahlt werden.

CrowdMatch, der branchenweit erste KI-gesteuerte Ansatz der Bugcrowd-Plattform für die Beschaffung und Aktivierung von Forschern, ermöglicht den Aufbau und die Optimierung von Crowds mit praktisch allen Fähigkeiten, um beliebige Ziele der Risikominderung zu erreichen, einschließlich Sicherheitstests und darüber hinaus.

„Die Arbeit von Bugcrowd mit Kunden wie dem Chief Digital and Artificial Intelligence Office (CDAO) zusammen mit unserem Partner ConductorAI hat sich zu einem wichtigen Testfeld für die Erkennung von KI entwickelt, indem die Crowd zur Identifizierung von Datenfehlern eingesetzt wird“, erläutert Dave Gerry, CEO von Bugcrowd. „Wir werden die Erfahrungen aus diesen Projekten mit anderen Kunden teilen, die vor ähnlichen Herausforderungen stehen.“

„Die Partnerschaft von ConductorAI mit Bugcrowd für das AI-Bias-Assessment-Programm war sehr erfolgreich. Durch die Nutzung der KI-Audit-Expertise von ConductorAI und der Crowdsourced-Security-Plattform von Bugcrowd haben wir im Auftrag des US-Verteidigungsministeriums die erste öffentliche Prüfung von LLM-Systemen auf Bias durchgeführt. Diese Zusammenarbeit hat eine solide Grundlage für zukünftige Bias-Bounties geschaffen und zeigt unser Engagement für ethische KI“, ergänzt Zach Long, Gründer von ConductorAI.

Bugcrowd deckt mit seinem „Skills-as-a-Service“-Ansatz für die Sicherheit mehr schwerwiegende Schwachstellen auf als traditionelle Methoden. Mit dem langgjährig aufgebauten Kundenstamm, der hohen Flexibilität und dem Zugang zu einem Jahrzehnt an Schwachstellendaten hat sich die Bugcrowd-Plattform kontinuierlich weiterentwickelt und spiegelt die sich verändernde Natur der Angriffsfläche wider – einschließlich der Einführung von mobiler Infrastruktur, hybrider Arbeit, APIs, Krypto, Cloud-Workloads und jetzt auch KI. Allein im Jahr 2023 fanden Kunden fast 23.000 hochrelevante Schwachstellen mithilfe der Bugcrowd-Plattform und trugen so dazu bei, potenzielle Kosten in Höhe von bis zu 100 Milliarden US-Dollar zu verhindern.

„Als führender Anbieter einer Crowdsourced-Security-Plattform ist Bugcrowd positioniert, um die neuen und sich entwickelnden Herausforderungen der KI-Bias-Bewertung zu meistern, genauso wie wir die aufkommenden Sicherheitsherausforderungen früherer Technologiewellen wie Mobile, Automotive, Cloud Computing, Krypto und APIs gemeistert haben“, erklärt Casey Ellis, Gründer und Chief Strategy Officer von Bugcrowd.

Verantwortlicher für diese Pressemitteilung:

Bugcrowd
Herr Uwe Scholz
Albrechtstr. 119
12167 Berlin
Deutschland

fon ..: 01723988114
web ..: http://www.zonicgroup.com
email : uscholz@zonicgroup.com

Seit 2012 versetzt Bugcrowd Unternehmen in die Lage, die Kontrolle zurückzugewinnen und den Bedrohungsakteuren einen Schritt voraus zu sein, indem der kollektiven Einfallsreichtum und das Fachwissen der Kunden sowie eine vertrauenswürdigen Allianz von Elite-Hackern mit den patentierten Daten und der KI-gestützten Security Knowledge Platform(TM) vereint werden. Das Netzwerk von Hackern verfügt über vielfältiges Fachwissen, um verborgene Schwachstellen aufzudecken und sich schnell auf neue Bedrohungen einzustellen, selbst bei Zero-Day-Exploits. Mit unübertroffener Skalierbarkeit und Anpassungsfähigkeit findet die daten- und KI-gesteuerte CrowdMatch(TM)-Technologie in der Plattform das perfekte Talent für den Kampf gegen Bedrohungen. Damit schafft Bugcrowd eine neue Ära der modernen Crowdsourced Security, die Bedrohungsakteure übertrifft.
Weitere Informationen finden sich unter www.bugcrowd.com sowie dem Blog.
„Bugcrowd“, „CrowdMatch“ und „Security Knowledge Platform“ sind Warenzeichen von Bugcrowd Inc. und seinen Tochtergesellschaften. Alle anderen Marken, Handelsnamen, Dienstleistungsmarken und Logos, auf die hier Bezug genommen wird, gehören den jeweiligen Unternehmen.

Pressekontakt:

Zonicgroup
Herr Uwe Scholz
Albrechtstr. 119
12167 Berlin

fon ..: 01723988114
web ..: http://www.zonicgroup.com
email : uscholz@zonicgroup.com