در جلسه ژورنال کلاب گروه مهندسی بهداشت حرفه‌ای، مهدی شورکشتی، به بررسی فرصت‌ها و چالش‌های استفاده از مدل‌های زبانی بزرگ (LLMs) در حوزه تحلیل خطر در سامانه‌های ایمنی‌ بحرانی پرداخت. شورکشتی در ابتدای صحبت گفت: با توجّه به قابلیت‌های این مدل‌ها در درک و تولید زبان طبیعی، استفاده از آنها در زمینه‌هایی مانند شناسایی خطرات، تحلیل حالت‌های بالقوه خرابی و پشتیبانی از فرایندهای تحلیل ایمنی مورد توجّه قرار گرفته است. با این حال، قابلیت اطمینان، دقّت و اعتمادپذیری این مدل‌ها در کاربردهای ایمنی‌ بحرانی همچنان نیازمند ارزیابی دقیق است.

شورکشتی  افزود: در این مطالعه، وضعیت بنچمارک‌های موجود برای ارزیابی مدل‌های زبانی بزرگ بررسی شده و میزان تناسب آنها با نیازهای تحلیل خطر در سامانه‌های ایمنی‌ بحرانی مورد ارزیابی قرار گرفته است. یافته‌های مقاله نشان می‌دهد که بنچمارک‌های موجود در زمینه‌هایی همچون دانش تخصصی ایمنی، استدلال علّی در زمینه‌های فنی، ارزیابی انطباق با مقررات و استانداردهای ایمنی، تحلیل ریسک و مدیریت عدم‌قطعیت با محدودیت‌هایی مواجه هستند.

شورکشتی در ادامه گفت: در این مقاله چارچوبی مفهومی برای توسعه بنچمارک‌های تخصصی در حوزه تحلیل خطر پیشنهاد شده است که مؤلفه‌هایی همچون شناسایی خطر، استدلال علّی، ارزیابی کیفیت تحلیل ریسک، انطباق با مقررات و استانداردهای ایمنی و ثبات عملکرد مدل در اجراهای مختلف را مورد توجّه قرار می‌دهد. در بخش مطالعه آزمایشی نیز عملکرد مدل در ۹ سناریوی ایمنی‌بحرانی طی سه نوبت اجرا بررسی شده بود.

شورکشتی در انتها عنوان کرد نتایج نشان داد که اگرچه نرخ موفقیت مدل در تولید پاسخ در اجراهای مختلف نسبتاً پایدار بوده، امّا کیفیت تحلیل با نوسان همراه بوده و عملکرد مدل در زمینه استدلال علّی ضعیف و غیرقابل‌ پیش‌بینی گزارش شده است. این یافته‌ها بر ضرورت توجه به ثبات عملکرد مدل‌های زبانی بزرگ، در کنار دقّت و کیفیت پاسخ‌های آنها، در کاربردهای ایمنی‌ بحرانی تأکید دارد.