Dell PowerEdge NVMe Backplane Options

Dell بک پلن های ذخیره سازی مختلفی را در سرورهای 16G PowerEdge خود ارائه می دهد. هنگام پیکربندی R760، تقریبا 50 گزینه شاسی درایو وجود دارد. در حالی که برخی از اینها پشتیبانی قدیمی است (به عنوان مثال PERC 11)، نکته این است که تصمیم شاسی تصمیم بزرگی است. این حتی برای پشتیبانی آینده E3.S NVMe SSD، که تنها راه برای دریافت Gen5 SSD در سرورهای PowerEdge است، به حساب نمی آید. اگر می‌خواهید درباره مزایای Gen5 و فرم فاکتورهای EDSFF بیشتر بدانید، E3.S را در Dell PowerEdge R660 بررسی کردیم.

بازگشت به کار در دست. برای این بررسی، می خواهیم مفاهیم انتخاب گزینه Direct Drives Dell را در مقایسه با گزینه کارت PERC 12 HWRAID درک کنیم. همانطور که ذکر شد، تمرکز صریح در اینجا فقط در نظر گرفتن Gen4 U.2/U.3 NVMe SSD است. در حال حاضر، گزینه‌های شاسی برای هارد دیسک‌های SATA/SAS و 3.5 اینچی را نادیده می‌گیریم. این تنظیمات بسیار ساده تر هستند.

در R760، Dell چند گزینه شاسی برای نصب درایوهای Gen4 NVMe ارائه می دهد. گزینه Direct Drives را می توان برای پشتیبانی 8 یا 16 درایو پیکربندی کرد. برای تنظیمات HWRAID، Dell کارت PERC 12 HWRAID را به همان شیوه ارائه می‌کند، با یک کارت RAID برای هر دسته از 8 SSD. این تصمیم مهم است زیرا برای اجازه دادن به یک R760 کاملاً پرجمعیت با 16 SSD NVMe، بهترین عملکرد ممکن را داشته باشد.

نمای کلی Dell PERC 12

کنترلر RAID Dell PowerEdge (PERC) 12 بر پایه سیلیکون Broadcom SAS4116W است. با وجود SAS در نام محصول، کنترلر یک دستگاه RAID-on-Chip (ROC) سه حالته است. همان کنترلر RAID در خط Broadcom MegaRAID استفاده می شود. ما اخیراً قابلیت های برجسته MegaRAID 9670W را بررسی کردیم. با این حال، با Dell PERC 12، بسته به اینکه به کدام سرور دل و خانواده ذخیره سازی علاقه دارید، تفاوت های اساسی در طراحی ظاهر می شود.

در مورد PowerEdge، اکثر تنظیمات از کارت PERC 12 "H965i Front" استفاده می کنند. در بررسی سیستم R760 با HWRAID، ما دو عدد از این کارت های H965i Front را در سیستم داریم، یکی برای هر مجموعه 8x Solidigm P5520 SSD. شایان ذکر است که این کارت ها به طور قابل توجهی کوچکتر از کارت افزودنی هستند. طراحی PCB و مدیریت حرارتی واقعاً چشمگیر است. این کارت‌ها مستقیماً روی بک‌پلین 8 درایو NVMe نصب می‌شوند و با دو کابل x8 PCIe به مادربرد متصل می‌شوند. این اسلات های PCIe را در سمت خوانده شده سرور برای دستگاه های دیگر آزاد می کند.

در مورد کارت های افزودنی، PERC 12 H965i استاندارد یک کارت نیم قد و نیمه طول است که شامل یک فن آنبورد است. این نسخه از PERC 12 در برخی از تنظیمات PowerEdge ظاهر می شود و همچنین می توان آن را در برخی از JBOD های جدید Dell PowerVault MD پیدا کرد. در نهایت، یک H965i MX وجود دارد که یک PCB بلند و باریک است که برای چیزی شبیه به شاسی ماژولار MX7000 طراحی شده است.

Dell PERC 11 در مقابل PERC 12

کارت Dell PERC 11 از حافظه های SSD NVMe پشتیبانی می کرد، اما متأسفانه، مزایای RAID سخت افزاری با هزینه عملکردی گزاف همراه بود. این موفقیت دقیقاً به همین دلیل است که صنعت با سیلیکون جدید Broadcom و نسخه دل از آن کارت، PERC بسیار هیجان زده شده است. دل اعدادی را در مورد تفاوت بین PERC 11 و PERC 12 منتشر کرده است که حیرت انگیز است.

مزایای تأخیر PERC 12 به وضوح مشهود است. اما به عملکرد در بدترین شرایط، عملکرد در حین بازسازی نگاه کنید. PERC 12 چند هزار درصد بهبود یافته است و حتی زمان بازسازی RAID نیز مزایای قابل توجهی دارد.

با نگاهی به پهنای باند و اعداد IOPS به نقل از دل، ما دوباره می‌توانیم گام بزرگی را که PERC 12 در مقایسه با PERC 11 برمی‌دارد، ببینیم. در کل، همه این حجم‌های کاری حداقل 2 برابر بهبود در کارت PERC 12 را مشاهده می‌کنند. البته، ما تست خود را برای بررسی عملکرد PERC 12 انجام داده ایم و به آن خواهیم رسید.

درایوهای مستقیم Dell در مقابل عملکرد Dell PERC 12

برای مقایسه عملکرد ذخیره سازی در Direct Drives در مقابل PERC 12، ما سرور R760 خود را با SSD های 7.68 ترابایتی Solidigm P5520 پیکربندی کردیم. Dell R760 با درایوهای مستقیم دارای 8 برابر NVMe است. R760 با PERC 12 دارای 16 عدد درگاه NVMe با دو کارت H965i Front RAID است.

در ارزش اسمی، ممکن است مشخص نباشد که محدودیت‌های عملکردی خاصی در هر دو طرف وجود دارد. با شروع درایوهای مستقیم، هر SSD اتصال x4 PCIe خود را دارد، به این معنی که هشت SSD دارای 32 خط PCIe هستند که به آنها اختصاص داده شده است.

اگر هر درایو Gen4 بتواند اتصال 6.5 گیگابایت بر ثانیه خود را اشباع کند، این پهنای باند باورنکردنی را امکان پذیر می کند، معمولاً بیش از 52 گیگابایت بر ثانیه. در مقایسه با راه‌اندازی PERC 12 H965i، هر گروه از هشت SSD مستقیماً با کارت RAID ارتباط برقرار می‌کند که با اتصال x16 PCIe به مادربرد متصل می‌شود. این امر پهنای باندی را که پیکربندی Direct Drives پشتیبانی می کند به نصف کاهش می دهد. بنابراین بدیهی است که اتصالات NVMe بومی برنده می شوند؟ نه دقیقا.

هنگام برخورد با چندین دستگاه NVMe در یک سیستم چند CPU، نقشه برداری NUMA بین درایو و CPU، و همچنین وقفه های سیستم، وارد عمل می شوند. این را می توان در اطراف بهینه کرد اما نیاز به تنظیم قابل توجهی دارد. همه برنامه ها این را در نظر نمی گیرند.

مجازی‌سازی مکانی است که در آن مدیریت نگاشت NUMA چالش برانگیز است زیرا منابع مشترک در زمان واقعی متعادل می‌شوند، گاهی اوقات به CPU که ممکن است دسترسی مستقیم به منابع PCIe اختصاص داده شده نداشته باشد. کارت‌های RAID سخت‌افزاری بسیاری از این مشکلات را کاهش می‌دهند و برای وقفه‌های سیستم و سوئیچینگ زمینه بهینه می‌شوند، که منابع CPU را آزاد می‌کند. نقشه برداری NUMA نیز پیچیده تر می شود، زیرا به جای داشتن 16 SSD جداگانه که در دو CPU تقسیم می شوند، فقط یک کارت ذخیره سازی در هر CPU برای مدیریت دارید.

طرح آزمایشی ما بر دو حوزه تمرکز دارد. اولین مورد، بارهای کاری Vdbench است که عملکرد JBOD را با هشت SSD که به R760 منتقل می شود، اندازه گیری می کند. در Direct Drives R760 هشت SSD بومی وجود دارد، در حالی که در HWRAID R760، PERC 12 از هشت دستگاه ذخیره سازی خام عبور می کند. هر دو همانطور که هست بدون بهینه سازی تست می شوند. مرحله دوم آزمایش، عملکرد مقیاس‌پذیر راه‌حل PERC 12 را از یک راه‌اندازی بهینه‌شده با کارت دوگانه نشان می‌دهد.

واحد بررسی Direct Drives PowerEdge R760 ما دارای پیکربندی زیر است:

• دوگانه Intel Xeon Gold 6430 (32 هسته / 64 رشته، پایه 1.9 گیگاهرتز)
• رم 1 ترابایت DDR5
• 8 عدد SSD 7.68 ترابایتی Gen4 Solidigm P5520
• RHEL 9

واحد بررسی HWRAID NVMe PowerEdge R760 دارای پیکربندی زیر است:

• دوگانه Intel Xeon Gold 6430 (32 هسته / 64 رشته، پایه 1.9 گیگاهرتز)
• رم 1 ترابایت DDR5
• 16 حافظه SSD Solidigm P5520 7.68 ترابایتی Gen4
• Dual PERC 12 H965i
• RHEL 9

تجزیه و تحلیل حجم کاری Vdbench

هنگام محک زدن دستگاه‌های ذخیره‌سازی، تست برنامه بهترین است و به دنبال آن آزمایش مصنوعی انجام می‌شود. اگرچه نمایش کاملی از بارهای کاری واقعی نیست، آزمایش های مصنوعی به دستگاه های ذخیره سازی پایه با یک ضریب تکرارپذیری کمک می کند که مقایسه سیب به سیب بین راه حل های رقیب را آسان می کند. این حجم‌های کاری طیف وسیعی از پروفایل‌های آزمایشی را ارائه می‌دهند که از تست‌های "چهار گوشه" و آزمون‌های متداول اندازه انتقال پایگاه داده تا ردیابی عکس‌برداری از محیط‌های مختلف VDI را شامل می‌شود.

این آزمایش‌ها از مولد بار کاری معمولی Vdbench با یک موتور برنامه‌نویسی برای خودکارسازی و ضبط نتایج در یک خوشه آزمایش محاسباتی بزرگ استفاده می‌کنند. این به ما امکان می‌دهد بارهای کاری مشابهی را در دستگاه‌های ذخیره‌سازی مختلف، از جمله آرایه‌های فلش و دستگاه‌های ذخیره‌سازی فردی تکرار کنیم. فرآیند آزمایش ما برای این معیارها کل سطح درایو را با داده پر می کند و سپس یک بخش درایو را معادل 25 درصد ظرفیت درایو پارتیشن بندی می کند تا نحوه پاسخ دادن درایو به بارهای کاری برنامه را شبیه سازی کند. این با آزمایش‌های آنتروپی کامل، که از 100 درصد درایو استفاده می‌کنند و آنها را به حالت ثابت می‌برند، متفاوت است. در نتیجه، این ارقام منعکس کننده سرعت نوشتن پایدار بالاتر هستند.

پروفایل ها:

• خواندن و نوشتن تصادفی 4K: 100 درصد خواندن یا نوشتن، 128 رشته، 0-120 درصد سرعت
• 64K خواندن متوالی: 100 درصد خوانده شده، 32 رشته، 0-120 درصد iorate
• نوشتن متوالی 64K: 100 درصد نوشتن، 16 رشته، 0-120 درصد نوشتن
• ترکیب تصادفی 4K 70R/30W و 90R/10W، 64 رشته، 0-120 درصد iorate

با نگاهی به اولین آزمایش ما با تمرکز بر پهنای باند انتقال خواندن، می‌توانیم مزیت کانال PCIe را که رویکرد Direct Drives با 32 خط PCIe نسبت به PERC 12 با 16 خط دارد، ببینیم. این درایوهای مستقیم به 41.6 گیگابایت در ثانیه در مقابل 28 گیگابایت بر ثانیه از PERC 12 در حالت JBOD می رسد.

با تغییر پهنای باند خواندن به نوشتن، مزیت خطوط اضافی PCIe کاهش می یابد زیرا سرعت نوشتن Solidigm P5520 کمتر از سرعت خواندن آن است. در اینجا پیکربندی Direct Drives 18.3GB/s در مقایسه با 20.3GB/s از PERC 12 اندازه گیری شد.

در حجم کار خواندن تصادفی 4K ما، 8 SSD Solidigm P5520 در Direct Drive PowerEdge R760 حداکثر 5.55 میلیون IOPS را در مقایسه با 4.34 میلیون IOPS در تنظیمات PERC 12 اندازه‌گیری کردند.

در نوشتن تصادفی 4K، این تفاوت دوباره کاهش می‌یابد، درایوهای مستقیم با اندازه 3.96M IOPS در مقابل 4.15M IOPS در PERC 12.

در اولین بار از دو بار کاری ترکیبی، به انتقال تصادفی 4K با گسترش خواندن/نوشتن 70/30 نگاه می کنیم. در اینجا پیکربندی Direct Drives PowerEdge R760 حداکثر 4.47 میلیون IOPS را در مقابل PERC 12 با 3.66 میلیون IOPS اندازه گیری کرد.

با افزایش درصد خواندن به 90 درصد در همان آزمایش انتقال 4K، 5.04M IOPS از سرور Direct Drives در مقابل 3.62M IOPS از سیستم PERC 12 اندازه گیری کردیم.

تجزیه و تحلیل حجم کاری FIO

برای اندازه‌گیری عملکرد درایوهای پیشنهادات دایرکت درایو Dell و PERC 12 HWRAID، معیارها به پیکربندی‌های زیر تقسیم شدند. اولین مورد شامل یک پیکربندی JBOD بود که هر درایو را خارج از RAID، RAID10 و سپس RAID5 اندازه‌گیری می‌کرد.

برای رویکرد درایوهای مستقیم، SSD ها به طور معمول به سیستم عامل نشان داده می شوند. برای PERC 12، آنها از طریق HBA به عنوان دستگاه های ذخیره سازی خام عبور داده می شوند. این پیکربندی‌ها از طریق یک فرآیند برنامه‌نویسی برای پیش‌شرط فلش، اجرای آزمایش‌هایی که برای آنها شرطی شده بودند، و حرکت به ترکیب پیش‌شرطی/بار کاری بعدی، طی شدند.

• پیش شرطی متوالی
• تست های متوالی بر روی JBOD، 8DR10، 8DR5 (Single و Dual PERC)
• پیش شرط تصادفی
• تست های بهینه تصادفی روی JBOD، 8DR10، 8DR5 (Single و Dual PERC)
• تست‌های بازسازی تصادفی روی 8DR10، 8DR5 (Single و Dual PERC)
• تأخیر نوشتن تصادفی برای بهینه و بازسازی برای 8DR5 (Single PERC)

با داشتن اسلات x16 PCIe Gen4 PERC 12 H965i، حداکثر عملکرد آن در یک جهت در حدود 28 گیگابایت بر ثانیه خواهد بود و این همان جایی است که اسلات Gen4 بالاتر می‌رود. دل با ارائه پیکربندی دوگانه PERC 12 در PowerEdge R760 خود، رویکرد منحصر به فردی را برای این محدودیت پهنای باند اتخاذ کرد. به جای 16 جایگاه SSD که همه به یک کارت متصل هستند، بار تقسیم می شود و هر PERC 12 مجموعه 8 SSD خود را کنترل می کند. این رویکرد محدودیت پهنای باند را کنار می‌گذارد در حالی که به طور چشمگیری حداکثر توان عملیاتی موجود را تحت بارهای کاری سخت افزایش می‌دهد.

ابتدا با نگاهی به عملکرد انتقال متوالی، می‌توانیم مزیت پهنای باند پیکربندی Direct Drives را با سرعت خواندن 54.4 گیگابایت بر ثانیه در مقابل PERC 12 با اندازه 28.1 گیگابایت بر ثانیه ببینیم. سرعت نوشتن بومی نیز مزیتی دارد، زیرا اندازه آن 33.4 گیگابایت بر ثانیه در مقابل 28.3 گیگابایت بر ثانیه از تک PERC 12 با هشت درایو پشت آن است. سرعت نوشتن، به طور کلی، تفاوت زیادی در اینجا مشاهده نخواهد کرد، زیرا، به طور کلی، سرعت خواندن این کلاس از SSD بسیار بیشتر از سرعت نوشتن است.

با تغییر تمرکز خود بر روی عملکرد انتقال تصادفی، شاهد تغییری در جایی هستیم که مزایای کارت RAID در مورد تعادل NUMA می‌تواند رخ دهد. با عملکرد خواندن، SSD های Solidigm 7.68TB P5520 در تست خواندن 4K ما 7.96M IOPS اندازه گیری کردند، با پیکربندی PERC 12 JBOD با اندازه گیری 7M IOPS. سرعت نوشتن از طریق پیکربندی Direct Drives به 3.4M IOPS کاهش یافت در حالی که PERC 12 5.97M IOPS را حفظ کرد. با حجم کاری OLTP 4K، این امر با درایوهای مستقیم با اندازه گیری 3.6M IOPS در مقابل 10.2M IOPS از PERC 12، بیشتر مشخص می شود.

در حالی که تفکر سنتی این بوده است که RAID سخت افزاری با SSD های مدرن ارزشی ندارد، می بینیم که دیگر اینطور نیست. بله، راه‌اندازی Direct Drives NVMe را می‌توان تنظیم کرد، اما یک هدف متحرک در چند SSD است که روی دو CPU تعادل دارند.

این در تضاد مستقیم با کارت PERC 12 HWRAID است که تمام این پیچیدگی ها را مدیریت می کند و فقط به یک CPU متصل می شود. برای مقیاس‌بندی، دومین کارت PERC در Dell PowerEdge R760 به CPU دیگر متصل می‌شود و تعادل را برای حجم‌های کاری بزرگتر که در آن دو گروه دیسک تقسیم می‌شوند، ارائه می‌دهد. لازم به ذکر است که حدود 10 میلیون IOPS، سیستم شروع به اشباع کردن CPU ها کرد، به همین دلیل است که در برخی مناطق با کارت اضافی PERC 12 شاهد مقیاس بندی خطی نبودیم.

در حالی که ما به گزینه‌های RAID نرم‌افزاری با پیکربندی Direct Drives PowerEdge R760 نگاه نکردیم، اما این فرصت را داشتیم که ببینیم پیکربندی RAID در PERC 12 در وضعیت تنزل‌یافته چقدر خوب عمل می‌کند. در حالی که عملکرد در مقایسه با عملکرد بهینه خود کاهش قابل توجهی داشت، هر دو RAID10 و RAID5 عملکرد قوی را در حین بازسازی گروه های RAID خود ارائه کردند.

در حالی که عملکرد بهینه RAID یک جنبه مهم در انتخاب راه حل ذخیره سازی است، دیدن نحوه عملکرد آن در شرایط غیربهینه نیز می تواند به همان اندازه مهم باشد. برای این منظور، ما تأخیر نوشتن 4K را در RAID5 در شرایط بهینه اندازه‌گیری کردیم و عملکرد بازسازی با یک درایو شکست خورد. اگر عملکرد یا تأخیر ضربه بزرگی بخورد، پاسخگویی برنامه می تواند مشکل ساز شود. در حالی که عملکرد بازسازی در مقایسه با بهینه کاهش می یابد، تأخیر عملکرد بیش از خط پایه افزایش نمی یابد.

افکار نهایی

کارت جدید PERC12 NVMe RAID دل، بازی را برای گزینه های ذخیره سازی NVMe در سرورهای PowerEdge تغییر می دهد. در گذشته، برخی از مشتریان در تغییر SAS SSD یا درایوهای NVMe متصل به SDS یا هایپروایزرهای مختلف تردید داشتند. با این حال، معرفی کارت PERC 12 معادله PowerEdge را تغییر داده است و آن را به گزینه ای مناسب تر تبدیل کرده است.

دلیل عملکرد بسیار خوب PERC 12 نیز به چیدمان سرور PowerEdge مربوط می شود. R760 ما دارای دو کارت PERC 12 (H965i Front) است که هر کدام دارای خطوط x16 هستند. این به ما امکان می دهد از 8 SSD Solidigm با هر کارت استفاده کنیم و حداکثر پهنای باند تا 28 گیگابایت بر ثانیه در هر کارت را فراهم کنیم. اتصال هر 16 SSD به یک کارت RAID منجر به از دست دادن نیمی از عملکرد بالقوه می شود.

ممکن است بپرسید، "چرا 24 SSD با HWRAID نه؟" فقط به یاد داشته باشید که هر سیستمی در جایی تنگنا دارد. در این حالت، ما می‌توانیم CPU را به راحتی اشباع کنیم، بنابراین x86 درون سرور به عامل دروازه تبدیل می‌شود. اگر ما در مورد راه حل خوشه ای صحبت می کنیم، شبکه را نیز متصل می کنیم. تعداد انگشت شماری SSD می تواند به راحتی 200 گیگابیت یا حتی 400 گیگابایت را پر کند. با توجه به ظرفیت های SSD که اکنون به 30.72 ترابایت رسیده است، برای مشکلات ظرفیت سیستم نیز نیازی به داشتن یک سرور پر از درایو وجود ندارد.

اگر بررسی کارت‌های RAID Broadcom 9600 Series ما را بخوانید، با شک و تردید شروع کردیم که سیلیکون جدید به‌طور واقع بینانه تمام قابلیت‌های انعطاف‌پذیری داده‌ها و بازسازی مزایای HWRAID را بدون کاهش مشخصات عملکرد NVMe SSD ارائه می‌دهد. ما از نتایج آن بررسی و حتی بیشتر از آن در اینجا شگفت‌زده شدیم، با اینکه PERC 12 می‌تواند در R760 دو برابر شود تا عملکردی دو برابر بالاتر داشته باشد. در حالی که درایوهای مستقیم Dell هنوز هم ممکن است در بسیاری از موارد استفاده، مانند فضای ذخیره‌سازی نرم‌افزاری ترجیح داده شوند، گزینه PERC 12 باید برای اکثر موارد استفاده سازمانی بسیار محبوب باشد.

پکن Qianxing Jietong Technology Co., Ltd.
سندی یانگ / مدیر استراتژی جهانی
WhatsApp / WeChat: +86 13426366826
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com

تمرکز تجاری:
توزیع محصول ICT/یکپارچه سازی سیستم و خدمات/راه حل های زیرساخت
با بیش از 20 سال تجربه توزیع فناوری اطلاعات، ما با برندهای پیشرو جهانی برای ارائه محصولات قابل اعتماد و خدمات حرفه ای همکاری می کنیم.
«استفاده از فناوری برای ساختن جهانی هوشمند» ارائه‌دهنده خدمات مورد اعتماد شما در زمینه فناوری اطلاعات و ارتباطات!