مشخصات کامل:

ساخت و طراحی Dell PowerEdge XE9680

PowerEdge XE9680 یک قطعه سخت افزاری چشمگیر است که قد 10.36 اینچ (263.20 میلی متر) ، عرض 18.97 اینچ (482.00 میلی متر) و عمق 39.71 اینچ (1008.77 میلی متر) با فریز متصل به آن را اندازه گیری می کند.وقتی که به طور کامل بارگذاری شده باشداین دستگاه دارای وزن 251.44 پوند (114.05 کیلوگرم) است. انتخاب GPU آخرین کلمه را در مورد وزن دارد، با مدل NVIDIA H100 / H200 که 238 پوند است، در حالی که واحد AMD MI300X در 251 پوند وزن دارد.

این اولین سرور بود که نیاز به فکر دقیق برای بارگذاری به درستی در محیط تست ما داشت. وقتی وزن سرور و تعداد افرادی که برای ذخیره سخت افزار مورد نیاز هستند را در نظر می گیرید،يه کم فرصت هست که از مرزها خارج بشيم، اما در یک نقطه مشخص، یک یا دو نفر آن را به تنهایی بلند نمی کنند. دِل به اندازه کافی مهربان است تا به شما یک میز بلند کند تا به شما کمک کند درک کنید که این پلتفرم چگونه در آن جا قرار می گیرد. برای همه کسانی که تعجب می کنند،کوین خودش XE9680 رو وارد قفسه کرد.

علیرغم پیچیدگی و توصیه Dell برای تکنسین های تخصصی خدمات، XE9680 دارای عناصر خدمات بسیار کاربر پسند است.پانل های سرور شامل دستورالعمل های خدمات دقیق و گرافیک های روشن استاین راهنماهای بصری در طول زمان عملی ما با سیستم ارزشمند بودند.اجازه می دهد تا ما را به سرویس قطعات مختلف با اطمینان.

بعد از باز کردن پوشش در PowerEdge XE9680، هنگامی که شما از کنار کابل های برق متعدد از زیرپای کوچک برق در بالای آن، آن را بسیار شبیه به یک PowerEdge R760 نگاه می کند.واحد ما توسط دو پردازنده Intel Xeon Platinum 8468 استفاده می شدهر پردازنده 80 خط PCIe را ارائه می دهد که از طریق چندین سوئیچ PCIe در این واحد برای پشتیبانی از GPU ها، NIC ها و سایر سخت افزار های بارگذاری شده در XE9680 جریان می یابد.

یکی از جالب ترین ویژگی های مهندسی طراحی صفحه سوئیچ PCIe (PSB) است. این صفحه ها اتصال را تا 10 صفحه دیگر با ارتفاع کامل فراهم می کنند.کارت های نیمه طولی PCIe (که دو مورد از آنها می توانند مصرف برق 75W را فراتر ببرند) و مستقیماً با بیس بورد GPU ادغام می شونداین ادغام مستقیم فناوری مستقیم GPU را فعال می کند، اجازه می دهد SSD ها و کارت های شبکه به طور مستقیم با GPU ها ارتباط برقرار کنند، از CPU عبور می کنند و تاخیر را برای بار های کاری I / O فشرده AI کاهش می دهند.

هر اسلات توسعه از یک رابط کامل PCIe Gen5 x16 پشتیبانی می کند، از جمله دو اسلات پایین در سمت چپ و راست طرح. در حالی که هشت اسلات بالا از طریق PSB خود متصل هستند،دو اسلات پایین به طور مستقیم به PCIe Base Board (PBB) متصل می شوند.این دو اسلات همچنین از کارت های کششی با قدرت بالا پشتیبانی می کنند. علاوه بر این باید توجه داشت که طرح PCIe بسته به نوع GPU انتخاب شده برای PowerEdge XE9680 کمی متفاوت است.مدل های مجهز به AMD از SmartNIC/DPU پشتیبانی نمی کنند، و مدل های اینتل Gaudi3 دو اسلات را به دلیل مشکلات جریان هوا مسدود کرده اند.

خنک سازی یکی دیگر از حوزه هایی است که تخصص مهندسی Dell در آن درخشان است. این سیستم تا 16 فن طلایی با عملکرد بالا را به کار می گیرد.PowerEdge XE9680 از طیف گسترده ای از سناریوهای نصب پشتیبانی می کند، با دماهای محیطی بین 10 تا 35 درجه سانتیگراد (30 درجه سانتیگراد با GPU های اینتل Gaudi3). در تمام شیب، سرور با سرعت 1200CFM به راهرو گرم حرکت می کند.

این راه حل خنک کننده قوی حتی سخت ترین بار های حرارتی، از جمله GPU های AMD MI300X، Intel Gaudi3 یا NVIDIA H100 را مدیریت می کند، در حالی که دمای عملیاتی مطلوب را حفظ می کند.PowerEdge XE9680 از نظر خروجی سر و صدا تحت بار کمی آواز می خوانددِل یک صفحه مشخصات صوتی کامل برای XE9680 در موقعیت های مختلف ارائه می دهد، اما خیلی آسان است که بگوییم که این یک پلت فرم بلند در زیر بار است.

مدیریت

قابلیت های مدیریت XE9680s بر اساس Dell® iDRAC9 ساخته شده است که مدیریت و نظارت کامل چرخه عمر سرور را فراهم می کند.این تکرار iDRAC چندین ویژگی بهینه شده AI را به همراه دارد، از جمله از راه دور دقیق GPU، تجزیه و تحلیل مصرف برق و نظارت حرارتی گسترده طراحی شده برای بار های کاری هوش مصنوعی با چگالی بالا.

پلت فرم مدیریت استیک به ویژه برای پیاده سازی زیرساخت های هوش مصنوعی قابل توجه است. از طریق iDRAC9 API RESTful با پشتیبانی Redfish،سازمان ها می توانند از طریق برنامه استفاده از GPU را نظارت و مدیریت کنند.، پهنای باند حافظه، و شرایط حرارتی - معیارهای حیاتی برای حفظ آموزش بهینه هوش مصنوعی و عملکرد نتیجه گیری.ادغام سیستم با OpenManage Enterprise امکان مدیریت کل ناوگان چندین XE9680 را از طریق یک کنسول واحد فراهم می کند، که برای خوشه های بزرگ هوش مصنوعی ضروری است.

امنیت و انطباق عناصر اساسی معماری مدیریت هستند. این پلت فرم روت سیلیکون اعتماد و تأیید قطعات امن را اجرا می کند.اطمینان از یکپارچگی سخت افزار از راه اندازی تا عملیاتاین ویژگی ها به ویژه در هنگام اجرای بار های کاری هوش مصنوعی حساس یا پردازش وزن های مدل اختصاصی ارزشمند هستند.

قابلیت تجزیه و تحلیل پیش بینی خرابی، که توسط ادغام CloudIQ پشتیبانی می شود، از یادگیری ماشین برای پیش بینی مشکلات احتمالی سخت افزاری قبل از تأثیر آنها بر بار کاری استفاده می کند.این رویکرد پیشگیرانه به ویژه برای مشاغل آموزش AI طولانی مدت بسیار مهم است، جایی که وقفه های غیر منتظره می تواند منجر به روزهای محاسبات از دست رفته شود. هنگامی که با سرویس ProSupport Plus Dell ترکیب می شود، این قابلیت پیش بینی، ایجاد پرونده و ارسال قطعات خودکار را تحریک می کند.اغلب منجر به نگهداری پیشگیرانه قبل از تخریب سیستم می شود.

برای سازمان هایی که نیاز به ادغام با ابزارهای مدیریت موجود دارند، XE9680 از چارچوب های مدیریت مختلف از طریق ادغام OpenManage پشتیبانی می کند، از جمله ServiceNow و BMC TrueSight،امکان ادغام یکپارچه در جریان های کاری مدیریت خدمات فناوری اطلاعات.

رابط کاربری iDRAC9 نظارت دقیق در زمان واقعی بر اجزای مهم را از طریق یک داشبورد بصری فراهم می کند.مصرف برق، و نرخ بهره برداری در تمام هشت شتاب دهنده، ضروری برای بهینه سازی توزیع بار کار هوش مصنوعی.

رابط نظارت ذخیره سازی، دید فوری از وضعیت درایو، درجه حرارت و معیارهای عملکرد در سراسر آرایه NVMe را ارائه می دهد.که به ویژه در هنگام مدیریت کش های نتیجه گیری با سرعت بالا و مجموعه داده های آموزشی ارزشمند است..

حافظه، ذخیره سازی و مقیاس

هشت GPU AMD MI300X در داخل Dell PowerEdge XE9680 نشان دهنده یک جهش قابل توجهی در ظرفیت حافظه GPU است که 192GB حافظه HBM3 را در هر کارت در مقایسه با 141GB NVIDIA H200 ارائه می دهد.این افزایش ۳۶ درصد ظرفیت حافظه فقط یک عدد در یک صفحه مشخصات نیست، بلکه برای استفاده از مدل های زبان بزرگ ضروری است..

اين ذخيره ي بزرگ حافظه، همراه با پهناي باند حافظه MI300Xs 5.3 TB/s،سازمان ها را قادر می سازد تا چندین نمونه از مدل های کوچکتر را اجرا کنند یا مدل های بزرگتر را در سراسر GPU ها تقسیم کنند در حالی که سرعت تولید بالا و تاخیر کم را حفظ می کنند.

برای این که این موضوع را در چشم انداز قرار دهیم، مدل Meta's Llama 3.1 405B، که به شمال 1TB VRAM در BF16 نیاز دارد،می تواند به راحتی در یک XE9680 واحد با GPU های MI300X بدون کوانتیزه شدن و طول زمینه 128k کامل توزیع شوداین امر از دست دادن کیفیت بالقوه مرتبط با تکنیک های کوانتوزاسیون جلوگیری می کند و اجازه می دهد تا توکن های بیشتری در ثانیه در مقایسه با توزیع مدل بر روی دو سرور انجام شود.

برای به حداکثر رساندن میزان ذخیره سازی، ما از درایوهای Solidigm 61.44TB استفاده کردیم تا به عنوان یک تمدید پیچیده به حافظه عمل کنند، شکاف بین حافظه GPU با سرعت بالا و ذخیره سازی سنتی را ببندند.SSD ها در ذخیره کردن جفت های کاشی کلید-قیمت در طول نتیجه گیری عالی هستند، به طور موثر ظرفیت حافظه GPU را برای نسل های طولانی زمینه گسترش می دهد. ظرفیت عظیم و عملکرد NVMe آنها را برای دسترسی سریع به وزن مدل ایده آل می کند.امکان تغییر موثر مدل و شروع گرم.

در برنامه هایی مانند استفاده از هوش مصنوعی متروم که در زیر به جزئیات آن می پردازیم، SSD ها وظیفه دوگانه ای را به عنوان پشتیبان ذخیره سازی برای پایگاه داده های بردار دارند.ارائه عملکرد مورد نیاز برای جستجوی شباهت در زمان واقعی در حالی که حفظ ظرفیت برای ذخیره سازی جاسازی گسترده.

ارزش این درایوهای با ظرفیت بالا فراتر از نتیجه گیری به جریان های کاری آموزش می رسد. آنها ذخیره سازی محلی ایده آل را برای صف بندی دسته های آموزش فراهم می کنند.کاهش هزینه های شبکه با نگه داشتن داده ها در نزدیکی منابع محاسباتیدر طول آموزش، این درایوها در ذخیره کردن نقاط چک مدل در محل، که برای حفظ پیشرفت آموزش و امکان بازیابی سریع بسیار مهم است، برجسته می شوند.این استراتژی ذخیره سازی محلی همچنین به بهینه سازی استفاده از شبکه با کاهش ترافیک شبکه فوری پس از هر لایه پردازش شده و دسته کمک می کند.

در حالی که ظرفیت ۶۱٫۴۴TB در هشت خلیج در XE۹۶۸۰ امیدوار کننده به نظر می رسد، ظرفیت بسیار بیشتری در راه است.چگالی ذخیره سازی در XE می تواند دو برابر شود تا تقریبا یک پتا بایت برای بهینه سازی آموزش بیشتر و کش های استنتاج طولانی مدت.

دستیار مراقبت های بهداشتی هوش مصنوعی متروم انقلاب مراقبت از بیمار

بخش مراقبت های بهداشتی به طور مداوم با چالش مدیریت مستندات بیمار و مدیریت سوابق وقت گیر مواجه است، که اغلب از مراقبت مستقیم از بیمار کاهش می یابد.معاون مراقبت های بهداشتی متروم، که بر روی سرورهای Dell PowerEdge XE9680 با شتاب دهنده های AMD مستقر شده است، نشان می دهد که چگونه زیرساخت های پیشرفته هوش مصنوعی می توانند جریان های کاری مراقبت های بهداشتی را تغییر دهند، کارایی را افزایش دهند و نتایج بیمار را بهبود بخشند.

این سیستم از Llama 3.1 70B Instruct به عنوان مدل زبان اصلی خود استفاده می کند که به دلیل درک زمینه های پزشکی مشهور است. این اجازه می دهد تا داده های پیچیده بیمار را به راحتی پردازش کند.این مدل زبان با gte-v1 جفت شده است.5 مدل جاسازی شده و Milvus Vector DB، ارائه یک پایه قوی برای پردازش زبان طبیعی و درک زمینه ای ضروری برای پردازش داده های پزشکی.

دستیار مراقبت های بهداشتی Metrum AI همچنین شامل یک رویکرد چند روشی است که شامل HistoGPT برای تجزیه و تحلیل تصویر هیستوپاتولوژی و Whisper OpenAI برای نسخه برداری در زمان واقعی یادداشت های پزشک است.با هم، این مدل ها جریان های کاری بالینی را ساده تر می کنند، به پزشکان اجازه می دهند که به طور طبیعی صحبت کنند در حالی که سیستم اطلاعات را در زمان واقعی به پرونده های بیمار منتقل، دسته بندی و ادغام می کند.

Metrum AI تشخیص می دهد که اگرچه داده های بیمار ممکن است نسبتاً کوچک باشد، اما تقاضای ذخیره سازی ترکیبی بیمارستان های پر ترافیک می تواند به صدها ترابایت افزایش یابد.Dell PowerEdge XE9680 می تواند این مشکل را با ذخیره سازی NVMe داخلی خود حل کند.. پیکربندی ما هشت محفظه ذخیره سازی 2.5 اینچی U.2 NVMe را در سرعت PCIe Gen4 ارائه می دهد. در حالی که ما XE9680 را با SSD Soldigim D5-P5336 QLC 61.44TB آزمایش کردیم، این ظرفیت می تواند حتی بیشتر مقیاس پذیر باشد."سولدگيم" به تازگي "دي5-5336 122" جديدش رو عرضه کردمدل های.88TB QLC، که ظرفیت SSD های آن ها را دو برابر می کند در حالی که عملکرد مشابهی را حفظ می کند.

متروم برآورد هایی از چگونگی انتقال داده های بیمار در طول زمان در سناریوهای مختلف را ارائه داده است.شما می توانید ببینید که چند بیمار اضافی یک واحد می تواند با استفاده از SSD با بیشترین ظرفیت پشتیبانی کندبا در نظر گرفتن میزان داده های تخمین زده شده در هر بیمار و با توجه به ظرفیت قابل استفاده برای هر SSD (57TB برای SSD 61TB و 114TB برای SSD 122TB) ،ما می توانیم ببینیم که داشتن SSD های متراکم به شدت افزایش می دهد آنچه شما می توانید در سرور در یک راه معنی دار در هر سال ذخیره کنید.

در حالی که تخمین های اولیه یک ساله بسیار بالا به نظر می رسد، مهم است که توجه داشته باشید که داده های بیمار ثابت نیست. شما داده های جدید را ضبط می کنید و بازدیدهای جدید برنامه ریزی می کنید، افزایش تقاضا برای ذخیره سازی.اینجاست که ذخیره سازی نقش مهمی در فضای تصویربرداری پزشکی داردظرفیت ذخیره سازی اضافی به طور مستقیم بر تعداد بیمارانی که یک راه حل می تواند به طور موثر پشتیبانی کند تاثیر می گذارد.

Dell PowerEdge XE9680, مجهز به شتاب دهنده های AMD MI300X و یکپارچه با دستیار مراقبت های بهداشتی Metrum AI®، یک راه حل مقیاس پذیر و کارآمد برای ارائه دهندگان مراقبت های بهداشتی فراهم می کند.با اتوماسیون وظایف وقت گیر و امکان دسترسی سریع به بینش های حیاتی، این تنظیمات به پزشکان اجازه می دهد تا بیشتر بر روی مراقبت از بیماران تمرکز کنند در حالی که نیازهای رو به رشد را مدیریت می کنند. از طریق ادغام یکپارچه اجزای هوش مصنوعی در زبان، تصویر و حالت های صوتی،دستیار مراقبت های بهداشتی نشان دهنده پیشرفت قابل توجهی در راه حل های مراقبت های بهداشتی مبتنی بر هوش مصنوعی است، کاهش بار اداری و بهبود نتایج کلی بیماران.

نتیجه گیری