در روزهای پایانی سال ۹۹، زیرساخت پردازش ابری آروان در دیتاسنتر آسیاتک، بزرگترین مرکز داده کشور، به مدت ۳۰ ساعت خاموش شد. این خاموشی به معنای قطع دسترسی کسبوکارهای بسیاری به اطلاعات بود. بهگفتهیآروان، حملات گسترده هکری به زیرساخت پردازش ابری در مرکز داده آسیاتک باعث شد دسترسی به این دیتاسنتر برای جلوگیری از آسیب به اطلاعات مشتریان قطع شود.
با گذشت یک هفته از حمله، آروان گزارش اولیهی حمله و روند بازگرداندن سرویسهای مشتریان رایانش ابری در دیتاسنتر آسیاتک (IR-THR-AT1) را منتشر کرده است. آروان هدف حملات به زیرساخت رایانش ابری خود را تخریب و حذف اطلاعات مشتریان ذکر کرده است و همچنین یادآور شده که «این حملات در فعالیت سایر محصولات آروان - نمایندگی یخچال آرچلیک - شامل DNS، CDN، ویدئو پلتفرم، فضای ذخیرهسازی ابری، همچنین رایانش ابری در سایر دیتاسنترهای ابر آروان اختلالی ایجاد نکرده و در حدود ۱۶ درصد از مشتریان آروان را متأثر کرده است.»
خدمات خوب برای نمایندگی یخچال آرچلیک میخواهی؟ پس کلیک کن.
نشانههایی از این حملات در روزهای یکشنبه و دوشنبه ۲۴ و ۲۵ اسفند دیده و منجر به بروز اختلالات محدودی شد؛ اما با آغاز - نمایندگی یخچال آرچلیک - حملات گسترده و متفاوت جدید در شامگاه سهشنبه و آسیبرسانی به دیتای مشتریان در این دیتاسنتر، مجبور به قطع تمام دسترسیها، بهمنظور جلوگیری از پیشروی آسیبرسانی شدیم.
هم اکنون برای نمایندگی یخچال آرچلیک اقدام کنید
از تمام کسبوکارهای آسیبدیده در این مشکل، عذرخواهی میکنیم. - نمایندگی یخچال آرچلیک - آگاهیم که قطعی و اختلال سرویس در پیک ترافیکی شب عید، چه پیامدهایی برای آنها - نمایندگی یخچال آرچلیک - به همراه داشته است و عمیقا بابت - نمایندگی یخچال آرچلیک - این اتفاق متأسفیم.
اطلاعات نمایندگی یخچال آرچلیک را از ما بخواهید
در فرایند این بحران تلاش کردیم روند بروز مشکل و فرایند حل مسئله را از راههای ایمیل، پیامک، سایت و بلاگ، همچنین شبکههای اجتماعی ابر آروان به آگاهی کاربران برسانیم.
نیاز به نمایندگی یخچال آرچلیک دارید؟ کلیک کنید
ابر آروان به علت اینکه همچنان در حال کالبدشکافی (Forensics) ابعاد نفوذ است، امکان بهاشتراکگذاری اطلاعات فنی نوع حمله را ندارد. گزارش فنی نوع حمله پس از پایان فرایند کالبدشکافی با جزئیات کامل منتشر خواهد شد.
بر اساس گزارش آروان، - نمایندگی یخچال آرچلیک - در ساعت ۱۱:۳۳ یکشنبه ۲۴ - نمایندگی یخچال آرچلیک - اسفند، یک incident روی دو سوییچ در یک VPC در دیتاسنتر IR-THR-AT1 (آسیاتک) - نمایندگی یخچال آرچلیک - ابر آروان مشاهده شد و برآورد اولیه تیم فنی، - نمایندگی یخچال آرچلیک - اشکال سختافزاری بود که با بازیابی سوییچها مشکل برطرف شد.
اما در ساعت ۴ صبح دوشنبه - نمایندگی یخچال آرچلیک - ۲۵ اسفند، دوباره اختلال روی سوییچهای IR-THR-AT1 اتفاق افتاد و به دلیل تکرار الگو، احتمال - نمایندگی یخچال آرچلیک - حملهی سایبری داده - نمایندگی یخچال آرچلیک - شد. در نتیجه، تیمهای - نمایندگی یخچال آرچلیک - ابر آروان از این زمان تا ساعت ۷ صبح روز بعد، - نمایندگی یخچال آرچلیک - روی موضوع کار کردند - نمایندگی یخچال آرچلیک - و در چند ساعت اول موفق شدند سیستم را به حالت طبیعی برگردانند.
بهترین خدمات نمایندگی یخچال آرچلیک
سپس برای جلوگیری از حملهی احتمالی، تغییراتی در شبکهی مدیریتی دیتاسنترهای IR-THR-AT1 و IR-THR-MN1 و NL-AMS-SR1 انجام شد؛ اما کارشناسانی که به دیتاسنتر IR-THR-AT1 اعزام شده بودند به دلیل خستگی، - نمایندگی یخچال آرچلیک - در اعمال تغییرات در شبکهی این دیتاسنتر دچار اشتباه شدند و فقط بخشی از تغییرات - نمایندگی یخچال آرچلیک - را اعمال کردند.
آروان میگوید در ساعت ۵:۳۰ عصر سهشنبه ۲۶ اسفند، درحالیکه تیمهای امنیتی به هر دو دیتاسنتر برای بررسی دقیق اعزام شده بودند، به شکل ناگهانی از طریق همان بخشی از شبکهی مدیریتی که همچنان فعال بود، دیتاسنتر IR-THR-AT1 مورد حمله قرار میگیرد. این حملات در ساعت ۸ شب با حجم بسیار بالایی ادامه پیدا میکند و تعدادی از سرورهای ذخیرهسازی و پردازشی با هدف حذف کامل اطلاعات مورد حمله قرار میگیرند. در ادامه میخوانیم:
نمایندگی یخچال آرچلیک با تنوع بسیار
با آغاز آسیبرسانی به دیتای مشتریان، تمام دسترسیها به این دیتاسنتر قطع شد تا از توسعهی آسیبرسانی جلوگیری شود؛ بلافاصله اینترنت و شبکهی مدیریتی، هر دو به شکل کامل قطع و علاوه بر کارشناسان امنیتی، کارشناسان و اعضای تیم فنی به محل دیتاسنتر اعزام میشوند تا بدون نیاز به دسترسی از راه دور - که ریسک گسترش یا تکرار حمله را افزایش میداد - به بررسی موضوع بپردازند.
آروان میگوید هکر نتوانسته است به دیتای مشتریان ابر آروان دسترسی پیدا کند و با توجه به نوع ذخیرهسازی اطلاعات در آن لایه، تنها موفق به آسیب زدن به اطلاعات و پاک کردن بخشی از دیتا شده بود. در اینجا ابر آروان توضیح میدهد که به - نمایندگی یخچال آرچلیک - منظور حفظ پایداری، از هر داده (آبجکت) سه نسخهی مختلف در سه دیسک متفاوت - نمایندگی یخچال آرچلیک - در داخل سه سرور - نمایندگی یخچال آرچلیک - مختلف نگهداری - نمایندگی یخچال آرچلیک - میکند تا اگر یک یا چند دیسک یا حتی یک یا چند سرور از دسترس خارج شوند، به دادهها آسیبی وارد نشود. اما در حملهی اتفاقافتاده، به شکل همزمان - نمایندگی یخچال آرچلیک - تعداد بالایی سرور مورد آسیب قرار گرفتند؛ در نتیجه، علاوه بر حذف - نمایندگی یخچال آرچلیک - حدود ۱۰۰ ترابایت از یک پتابایت اطلاعات این دیتاسنتر، هر سه نسخهی اطلاعات در برخی - نمایندگی یخچال آرچلیک - موارد از دست رفتند.
آروان با تحلیل - نمایندگی یخچال آرچلیک - اولیه برآورد کرده است که از مجموع بیش از ۹۷ درصد - نمایندگی یخچال آرچلیک - اطلاعات، حداقل یک نسخه از اطلاعات وجود - نمایندگی یخچال آرچلیک - دارد؛ اما به دلیل توزیعشدگی سه - نمایندگی یخچال آرچلیک - درصد اطلاعات حذفشده در تمام کلاستر، زیرساخت ذخیرهسازی در خطر از دست رفتن کل اطلاعات قرار گرفت.
در ادامه، کمیتهی بحرانی تشکیل شد و چهار تیم درصدد حل مشکل و اطلاعرسانی برآمدند:
آروان با پیشبینی آسیب به دیتای کاربران و - نمایندگی یخچال آرچلیک - زمانبر بودن بازگشت سرویس، از کاربران خواست برنامه Disaster Recovery خود را فعال کنند تا اگر از دادههای خود نسخهی پشتیبان تهیه کردهاند، با استفاده از آن در سایر دیتاسنترهای آروان - نمایندگی یخچال آرچلیک - یا دیگر فراهمکنندگان زیرساخت، سرویس خود را مجدد راهاندازی کنند.
آروان میگوید: «بهرغم تأکید به «پشتیبانگیری اطلاعات حیاتی از سوی مشتری» در متن «شروط فنی استفاده از خدمات زیرساخت رایانش ابری آروان»، بسیاری از کاربران با آروان تماس گرفتند و اعلام کردند که - نمایندگی یخچال آرچلیک - نسخهی پشتیبانی در دست ندارند.»
در نهایت دسترسی به اطلاعات در ساعت ۱۰:۳۰ صبح چهارشنبه، پس از حدود ۳۰ ساعت - نمایندگی یخچال آرچلیک - با فیکس کردن و یکپارچهسازی داده در سطح کلاستر امکانپذیر شد. آروان میگوید این نقطه، سختترین کار تیم آغاز شد؛ چرا که آسیب و اختلال در سه درصد اطلاعات میتوانست سبب از بین رفتن کل کلاستر و بازیابی ناموفق شود. در نتیجه از این زمان، تیم بر اصلاح یکپارچگی داده متمرکز شد تا کلاستر بالا - نمایندگی یخچال آرچلیک - بیاید.
تیم فنی با دو مشکل مواجه بودند: البته - نمایندگی یخچال آرچلیک - اینکه سه درصد دیتای ازدسترفته مربوط به سه درصد از مشتریان نبود بلکه اطلاعات تمام مشتریان این دیتاسنتر را شامل میشد؛ بنابراین احتمال میرفت که بخش ناچیزی از اطلاعات اکثریت مشتریان آسیب دیده باشد. بااینحال ممکن بود این بخش ناچیز، با اثرگذاری بر پارتیشن بوت، مانع بالا آمدن ابرک شود یا با - نمایندگی یخچال آرچلیک - ایجاد مشکل در پارتیشن سیستم، کار سیستمعامل - نمایندگی یخچال آرچلیک - را با اخلال مواجه کند یا با قرار گرفتن در دیتابیس کاربر، آن را از کارکرد عادی بازدارد.
مشکل دوم آروان این بود که قطع ناگهانی سیستمعاملها از استورج، بهطور کلی سبب افزایش احتمال آسیبدیدگی میشود. این مشکلات تا ساعت ۴ صبح روز پنجشنبه ۲۸ اسفند حل شدند؛ کلاستر بالا آمد و کار تیمهای دیگر هم تمام شد. سپس، بهمرور دسترسی مشتریان به سرورهای ابری باز شد.
در اینجا مشکل دیگری پیش آمد؛ چرا که با باز شدن - نمایندگی یخچال آرچلیک - دسترسی به پاپسایت و بررسی دقیقتر وضعیت ابرکها، مشخص شد حذف کمتر از سه درصد - نمایندگی یخچال آرچلیک - از اطلاعات کل دیتاسنتر، سبب تأثیرگذاری روی بخش گستردهای از سرورهای ابری شده است. آروان میگوید:
خدمات خوب برای نمایندگی یخچال آرچلیک میخواهی؟ پس کلیک کن.
میزان سکتورهای آسیبدیده در Block Storage متصل به ابرک، همچنین - نمایندگی یخچال آرچلیک - نوع فایلسیستم، سیستمعامل و پایگاه دادهها سبب میشد که سطح آسیبپذیری طیف گستردهای داشته باشد. در چنین موقعیتی، هر کدام - نمایندگی یخچال آرچلیک - از سیستمعاملها رفتار متفاوتی دارند، از بین سیستمعاملهای ویندوز و نسخ مختلف لینوکس و فایلسیستمهایشان، برخی سادهتر و برخی با سختی بیشتر ریکاوری میشوند. همزمان با - نمایندگی یخچال آرچلیک - بهکارگیری روشهای بازیابی سیستمعاملها، مقالهی آموزشی آنها نیز منتشر میشد.
آروان هنوز نمیتواند آمار دقیقی از سطح - نمایندگی یخچال آرچلیک - آسیب به ابرکها اعلام کند؛ چرا که بخشی از ابرکها بدون هیچ اقدامی امکان استفاده داشتند، بخش دیگری با Reboot و در نهایت ترمیم boot loader به مرحلهی استفاده میرسیدند و برخی نیاز به ترمیم فایلسیستم یا ریکاوریهای پیشرفتهتر دارند.
در ادامه در مورد پاسخگویی ۲۴ ساعته آروان به مشتریان میخوانیم: «از ظهر روز چهارشنبه، تمام خطوط تلفنی ابر آروان و تمام ظرفیت تیم پشتیبانی برای - نمایندگی یخچال آرچلیک - پاسخگویی به مشتریان به کار گرفته شده بودند. با بازگشایی دسترسی کاربران در صبح روز پنجشنبه، ظرفیت تیم پشتیبانی با حمایت تیمهای فنی و تیمهای کوچ ابری، چهار برابر شد.»
مشتریان فعال ابر آروان در دیتاسنتر آسیاتک، حدود ۷۰۰۰ سرور ابری داشتند و از این میان، تعداد ۱۱۰۰ سرور ابری از سوی مشتریان برای بررسی به تیمهای فنی ابر آروان ارجاع شدند. آروان میگوید تاکنون مشکل ۳۰ درصد آنها حل شده است و مابقی همچنان در فرایند حل - نمایندگی یخچال آرچلیک - مسئله قرار دارند.
آروان میگوید حجم مشتریانی که تقاضای کمک داشتند به حدی بالا بود که فرایند پاسخگویی و حل مسئله با کندی همراه شد و مشکلات پیشآمده در کلاستر نیز در مقاطعی، فرایند بازیابی را متوقف کرد.
آروان - نمایندگی یخچال آرچلیک - با تصور اینکه کلاستر ذخیرهسازی در - نمایندگی یخچال آرچلیک - روز پنجشنبه ۲۸ اسفند پایدار شده است، محاسبهی مدتزمان در دسترس نبودن سرویس را به نسبت هزینهی ماهانهی هر یک از مشتریان انجام داد و مبلغ آن را محاسبه و بالاتر از سقف جبران خسارت تعهدشده، به کیف پول کاربران - نمایندگی یخچال آرچلیک - واریز کرد. همچنین مبلغی که در روزهای قطعی از کیف پول کاربران - نمایندگی یخچال آرچلیک - کم شده بود، به حساب آنها برگردانده شد.
علاوهبر اینها، فضای ذخیرهسازی ابری تا پایان فروردین ۱۴۰۰ به شکل رایگان در اختیار تمام مشتریان دیتاسنتر IR-THR-AT1 ابر آروان قرار گرفت تا در فرایند پشتیبانگیری - نمایندگی یخچال آرچلیک - با مشکل فضای ذخیرهسازی مواجه نباشند.
البته ابر آروان پس از تجربهی - نمایندگی یخچال آرچلیک - این اتفاق و عدم پشتیبانگیری دیتا از سوی تعداد بالایی از مشتریان، در تلاش است مجموعه اقدامات پیشگیرانهای را به منظور سهولت تهیهی نسخه پشتیبان از سوی مشتریان در آینده فراهم کند. بااینحال در روزهای بعد، مشخص شد که کلاستر ذخیرهسازی با مشکلاتی همراه است؛ در نتیجه محاسبه مجدد برای برخی مشتریان، پس از حل مشکل، دوباره انجام خواهد شد.
در روز جمعه ۲۹ اسفند، حجم درخواست تعداد زیادی از کاربران برای درست کردن فایلسیستم یا پشتیبانگیری دیتا و ریکاور کردن کلاستر ذخیرهسازی در - نمایندگی یخچال آرچلیک - یک فشار زمانی کوتاه صورت گرفته بود؛ آن هم درحالیکه کلاستر هم موفق به تهیهی سه نسخه از تمام دادهها نشده بود؛ بهعلاوه، برای ساخت ابرکهای جدید برای انتقال اطلاعات روی آن نیاز به فضای بیشتر بود و در نتیجه باید ظرفیت کلاستری که بهسختی آسیبدیده بود نیز افزایش - نمایندگی یخچال آرچلیک - پیدا میکرد. در نتیجه، ۴۰۰ ترابایت استورج به کلاستر اضافه شد.
آروان میگوید تزریق منابع جدید - نمایندگی یخچال آرچلیک - به معنای وزندهی دوبارهی دیسکها (Rebalance) است که سبب - نمایندگی یخچال آرچلیک - درگیری شدید زیرساخت و قفل شدن - نمایندگی یخچال آرچلیک - کلاستر میشود. به همین دلیل، در روز - نمایندگی یخچال آرچلیک - ۲۹ اسفند، وضعیت بحرانیتر شد و تلاش - نمایندگی یخچال آرچلیک - تیم باتجربه و متخصص فنی آروان نتوانست بهبودی در وضعیت کلاستر ایجاد کند. در نتیجه آروان از کمک تیمهای متخصص آلمانی و ترکی بهره گرفت؛ اما باز هم تأثیر چشمگیری در بهبود وضعیت مشاهده نکرد. در این اثنا، فرایند بازیابی سرورهای ابری متوقف شد تا تمام تمرکز روی بهبود زیرساخت گذاشته شود.
روز دوشنبه ۲ فروردین، آروان با شکست تلاشهای تیمهای تخصصی مختلف، سعی کرد با Patch کردن مشکل نرمافزاری کلاستر و همزمان افزایش منابع، مشکل را حل کند. آروان مینویسد:
نمایندگی یخچال آرچلیک. جهت مشاهده قیمت و سفارش کلیک کنید
بهطور خلاصه میتوان گفت مشکل اصلی کلاستر ذخیرهسازی تأثیر تسلسل دو مشکل ReMirroring-Storm و یک Memory Leak در لایهی نرمافزاری Ceph - نمایندگی یخچال آرچلیک - در شرایط خاص است، این مشکل همافزا سبب به اغما رفتن کلاستر میشود. با موفقیتآمیز بودن این فرایند، آروان کد اصلاحی را به شکل متن باز منتشر خواهد کرد.
این فرایند برای ریکاوری همچنان در حال انجام است؛ بهعلاوه یک تیم در حال برنامهریزی برای راهاندازی کلاستر جدید و انتقال دیتاهای ممکن از کلاستر آسیبدیده به کلاستر - نمایندگی یخچال آرچلیک - جدید است. آروان پیشبینی میکند این روال با توجه به حجم - نمایندگی یخچال آرچلیک - کار زیرساختی، تا پایان هفتهی اول فروردین ادامه پیدا کند.
زمانیکه - نمایندگی یخچال آرچلیک - مشکل کلاستر ذخیرهسازی حل شود، آروان به مشتریان اطلاعرسانی میکند تا اقدامات مرتبط با پشتیبانگیری را انجام بدهند. ابر آروان میگوید مجموعه اقداماتی برای پیشگیری از بروز حوادث اینچنینی در دست انجام دارد که پس از حل مشکل تمام مشتریان و رسیدن به وضعیت پایدار در گزارش تکمیلی، آنها را اطلاعرسانی میکند.