پلتفرم ایرانی تست حملات سایبری به AI ساخته شد

به گزارش خبرنگار مهر، همزمان با رشد فراگیر فناوری هوش مصنوعی در کشور و نفوذ آن به زیرساخت‌های حیاتی، بحث امنیت و تاب‌آوری مدل‌های زبانی به چالشی راهبردی برای سازمان‌ها تبدیل شده است. در همین راستا، جمعی از دانش‌آموزان نخبه و سمپادی کشور با طراحی پلتفرم «هفت‌خوان»، راهکاری بومی و مبتنی بر بازی‌سازی برای ارزیابی و تقویت امنیت مدل‌های زبانی بزرگ (LLM) ارائه کرده‌اند که تلاش دارد با پر کردن شکاف‌های موجود، فضایی امن و تعاملی را برای تست نفوذ و آموزش تخصصی فراهم کند.

«هفت‌خوان»؛ معماری نوین برای کالبدشکافی امنیت هوش مصنوعی

طاها الهی‌بخش دانش پژوه المپیاد هوش مصنوعی و عضو تیم استارتاپی «هفت‌خوان» در گفت‌وگو با خبرنگار ما درباره ماهیت این پلتفرم توضیح داد و گفت: تیم ما متشکل از دانش‌آموزان پایه یازدهم رشته نرم‌افزار در دبیرستان علامه حلی است که پروژه‌ای را در حوزه امنیت مدل‌های زبانی تعریف کرده‌اند. پلتفرم آموزشی «هفت‌خوان»، بستری امن برای تمرین امنیت سایبری و تست نفوذ به مدل‌های زبانی بزرگ است که کاربران را در قالب یک مسیر داستانی هفت‌مرحله‌ای، با الهام از هفت‌خوان رستم، با چالش‌های امنیتی این حوزه آشنا می‌کند.

وی افزود: برخلاف نمونه‌های جهانی که عمدتاً فاقد روایت‌پردازی فرهنگی هستند، ما در این پلتفرم با ادغام داستان‌سرایی الهام‌گرفته از شاهنامه و مکانیزم‌های پیشرفته بازی سازی، یادگیری امنیت هوش مصنوعی را از فرآیندی تئوریک و خشک به یک ماجراجویی تعاملی و ماندگار تبدیل کرده‌ایم.

شبیه سازی یک کلاس آسیب پذیری واقعی در LLM ها

این عضو تیم استارتاپی مسیر هفت خوان در این پلتفرم را تشریح کرد و گفت: خوان اول تزریق دستور، خوان دوم نقض محدودیت ها، خوان سوم هالوسینشن، خوان چهارم سواستفاده از قابلیت های ایجتیکال، خوان پنجم سواستفاده از مدل های چندرسانه ای، خوان ششم تولید محتوای مخرب و خوان هفتم افشای اطلاعات حساس است و در هر محرله شبیه سازی یک کلاس آسیب پذیری واقعی در LLM ها صورت می گیرد. در هر یک از هفت خوان کاربر با شکستن قفل هر مرحله، ضمن کسب مهارت، به غنی‌سازی پایگاه داده حملات کمک می‌کند.

پدافند سایبری در عصر مدل‌های زبانی؛ گذار از تئوری به سناریوهای عملیاتی

الهی‌بخش در تشریح ضرورت شکل‌گیری این پلتفرم اظهار داشت: طی سال‌های اخیر، تمرکز اصلی در ایران معطوف به توسعه سرویس‌های هوش مصنوعی بوده است؛ اما اکنون موضوع امنیت این سرویس‌ها و جلوگیری از تبدیل‌شدن آن‌ها به ریسک برای سازمان‌ها، به‌ویژه در حوزه محتوای تولیدی، اهمیت یافته است. بسیاری از مدل‌های تازه‌تیون‌شده (Fine-tuned) در ایران، بدون گذراندن آزمون‌های امنیتی کافی و بدون وجود «گاردریل‌های» مناسب، در معرض خطرات جدی هستند؛ خطراتی که می‌تواند از افشای اطلاعات حساس بانکی تا تولید محتوای مخرب را در بر بگیرد.

به گفته وی، مشکل اصلی در این حوزه، کمبود داده‌های معتبر و بومی برای تنظیم مدل‌های حفاظتی است. پلتفرم «هفت‌خوان» تلاش می‌کند از یک‌سو جامعه‌ای از آزمون‌گران امنیتی را در محیطی شبیه‌سازی‌شده گردهم آورد و از سوی دیگر، بستری برای سازمان‌ها فراهم کند تا مدل‌های خود را تحت ارزیابی‌های دقیق امنیتی قرار دهند.

زیست‌بوم تست نفوذ؛ راهکاری برای ارتقای تاب‌آوری هوشمند

این عضو تیم استارتاپی با اشاره به گروه‌های هدف این محصول گفت: این پلتفرم برای دو گروه اصلی طراحی شده است؛ نخست، جوانان ۱۸ تا ۲۴ سال شامل دانشجویان و علاقه‌مندان به حوزه امنیت سایبری که به دنبال یادگیری عملی و مهارت‌محور هستند. گروه دوم نیز سازمان‌ها و تیم‌های فنی، اعم از شرکت‌های دانش‌بنیان و نهادهای دولتی هستند که با چالش کمبود داده‌های پویا و بومی برای تست امنیت مدل‌های خود مواجه‌اند.

الهی‌بخش درباره قابلیت‌های فنی و ویژگی‌های کلیدی این محصول افزود: «هفت‌خوان» به طور ویژه به نیازهای خاص در ایران توجه دارد و سناریوهایی مانند حملات به مدل‌های ایجنتیکال بانکی، سوءاستفاده از مدل‌های تولید تصویر، تشخیص شایعه‌پراکنی و مقابله با «هالوسینیشن» (توهم مدل) در پاسخ‌های حساس را شبیه‌سازی می‌کند.

ویژگی‌های کلیدی پلتفرم هفت‌خوان

وی ویژگی‌های کلیدی پلتفرم هفت‌خوان را حفظ حریم خصوصی و طراحی محیطی ایمن برای تمامی کاربران و سازمان‌ها، تکمیل پایگاه داده حملات و روش‌های نفوذ بومی، شبیه‌سازی ۷ مرحله مبتنی بر آسیب‌پذیری‌های واقعی در مدل‌های زبانی، گیمیفیکیشن (آموزش تعاملی با استفاده از سیستم لیدربورد و چالش‌های گروهی) و محیطی امن برای تست حملات ایجنتیکال، بانکی و تولید محتوا برشمرد و گفت: در حال حاضر این پلتفرم در مرحله آزمایشی قرار دارد و برنامه‌ریزی‌های لازم برای توسعه همکاری‌های سازمانی و انعقاد قراردادهای کسب‌وکار در حال انجام است.