CoreWeave یک خوشه NVIDIA Vera Rubin NVL72 چند ریک را در CoreWeave Cloud مستقر کرده است و صدها GPU Rubin را به یک محیط مقیاس بندی یکپارچه بهینه شده برای بار های کاری هوش مصنوعی عامل متصل می کند.هر قفسه ی تولید شده توسط دِل دارای ۷۲ روبین GPU و ۳۶ Vera CPU است، NVLink 6 را به عنوان پارچه اتصال مقیاس پذیر خود به کار می گیرد ، با دو ConnectX-9 SuperNIC در هر GPU جفت شده است. قفسه ها از طریق NVIDIA Spectrum-X Ethernet در یک پارچه غیر مسدود کننده دو لایه متصل می شوند ،که CoreWeave می گوید می تواند به 128 مقیاس برسد.CoreWeave اولین ارائه دهنده ابر است که با موفقیت یک سیستم Vera Rubin NVL72 را تأیید و فعال می کند و اولین کسی است که عملکرد اندازه گیری شده آن را منتشر می کند.نتایج اولیه آن در هفته گذشته منتشر شد.در کنار ارتقاء محاسبات ، CoreWeave AI Object Storage شتاب نوشتن بین منطقه ای و یک لایه جدید آرشیو را اضافه می کند.

معماری چند رک NVIDIA Vera Rubin NVL72

این استقرار چند ریک به جریان های کاری اجرائی عامل، که در آن حلقه های استدلال دنباله دار و تماس های ابزار خارجی تاخیر دسترسی به داده ها را در زیرساخت های توزیع شده تقویت می کند، هدف قرار می دهد.دو ConnectX-9 SuperNICs مجهز به هر GPU Rubin ارائه تا 1.6 Tb / s پهنای باند شبکه پشتی در هر GPU بر روی پیوندهای چند ریل و چند هواپیما. پارچه از یک طراحی ماژولار استفاده می کند ، که به قفسه های NVL72 جدید امکان می دهد تا با گسترش ظرفیت به همان توپولوژی غیر مسدود کننده بپیوندند.قفسه ها با خنک کننده مایع 45 درجه سانتیگراد کار می کنند.

CoreWeave با استفاده از مجموعه نرم افزارهای کنترل ماموریت، این قفسه ها را متحد می کند. یک کنترل کننده چرخه زندگی قفسه، تأمین و مدیریت چرخه زندگی قفسه ها را مدیریت می کند.از جمله تشخیص سخت افزار از طریق فلش کردن نرم افزار، اعتباربخشی، قدرت و نظارت حرارتی. ماژول مدیریت قفسه Racky کنترل قدرت و زیرساخت ها را انجام می دهد.در حالی که Valvey کنترل کننده خنک کننده قابل برنامه ریزی ارائه دید و مدیریت تعریف شده توسط نرم افزار برای مدارهای خنک کننده مایع و سنسورهای محیط زیست.

در سطح گره، این شامل ساعت های تشخیص تکرار شده GPU، تأیید انتقال CPU-GPU، آزمایشات اتصال و بار حرارتی،علاوه بر بار کاری آموزش واقعی. در سطح ریک، کار های همگام در تمام 72 GPUs، NVLink GPU-to-GPU را تایید می کند؛ هر سخت افزاری که در زیر آستانه عملکرد قرار می گیرد، برای رفع مشکل است. برای تأیید کراس ریک،CoreWeave بارهای کاری توزیع شده را اجرا می کند، به طور عمدی NVLink را غیرفعال می کند تا ترافیک را از طریق شبکه پشتی مجبور کند و بافت فیزیکی را برای پیوندهای ناپایدار، افزایش نرخ خطا، گرم شدن بیش از حد اجزای و ترافیک نامتعادل نظارت می کند.بارهای آزمایش شبیه سازی برنامه های عامل است، با افزایش ناگهانی تقاضا، همزمان بودن متغیر و الگوهای ارتباطی پرتاب.

به روزرسانی های ذخیره سازی شی AI: نوشتن بین منطقه ای و سطح آرشیو

این افزونه ذخیره سازی بر اساس Local Object Transport Accelerator (LOTA) ، یک پروکسی کش روی هر گره GPU و CPU در سرویس CoreWeave Kubernetes است.ذخیره داده های شی در NVMe node-local. CoreWeave گزارش می دهد که قرائت های ذخیره شده تا 7 GB / s در هر GPU ، با تاخیر خواندن p99 بیش از 8 برابر کمتر از دسترسی مستقیم سطل است. یک ارائه دهنده مدل پیشرو LOTA را در بیش از 15 ،000 گپ و 20 پی بی کش، با دستیابی به 99.7٪ نرخ موفقیت، با LOTA بدون هزینه اضافی ارائه شده است.

شتاب بخش نوشتن بین مناطق به برنامه ها اجازه می دهد تا بدون تغییر API ها یا SDK ها به یک سطل در یک منطقه دور با تاخیر محلی بنویسند.برنامه های کاربردی ارسال استاندارد S3 نوشتن به نقطه پایانی LOTA؛ داده های شی به طور مداوم به صورت محلی ذخیره می شوند در حالی که متا داده ها به منطقه از راه دور متعهد می شوند. شی بلافاصله قابل خواندن می شود، حتی برای کار نوشتنو داده ها به منطقه دور افتاده در پس زمینه مهاجرت می کنندبرنامه ها یک فضای نام یک سطل را مشاهده می کنند که تمام مناطق را با سیاست های سازگار IAM، قوانین چرخه عمر و کنترل دسترسی پوشش می دهد.حذف سطل های منطقه ای جداگانه و لوله های تکثیر که به طور معمول برای توزیع نقاط بازرسی بین سایت ها مورد نیاز است.

" مجموعه داده های ما چندین منطقه را پوشش می دهد و ما نمی توانیم اجازه دهیم برنامه آموزشی ما توسط تاخیر در بازیابی بین مناطق تعیین شود"مدیر زیرساخت های داخلی در Cohere. ️CoreWeave AI Object Storage به ما یک ردیف داده های یکپارچه در سراسر مناطق با قرائت های ذخیره شده به صورت محلی می دهد، بنابراین هیچ چیز در شبکه انتظار نمی رود.

لایه آرشیو چهارمین کلاس ذخیره سازی در کنار گرم، گرم و سرد است که برای نوشتن یکبار داده های به ندرت خوانده شده مانند چک پوینت های آموزشی تاریخی و مجموعه داده های خام طراحی شده است.این طرح دارای قیمت پایین تری برای ظرفیت پایه است و از بازخرید معاف می شود.CoreWeave توصیه می کند که چک پوینت های اخیر را در سطوح سریع تر برای راه اندازی مجدد سریع نگه دارید.با دسته بندی خودکار به آرشیو پس از 60 روز بدون خواندن. نوشته های بین منطقه ای و لایه آرشیو اکنون به طور کلی در دسترس هستند.

شرکت فناوری چینجینگ جیوتونگ پکن، لمیتد
سندي يانگ، مدير استراتژي جهاني
واتساپ / وی چت: +86 13426366826
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com
تمرکز کسب و کار:
توزیع محصولات ICT / ادغام سیستم و خدمات / راه حل های زیرساخت
با 20+ سال تجربه توزیع فناوری اطلاعات، ما با مارک های پیشرو جهانی همکاری می کنیم تا محصولات قابل اعتماد و خدمات حرفه ای را ارائه دهیم.
استفاده از تکنولوژی برای ساختن یک جهان هوشمند، ارائه دهنده خدمات قابل اعتماد محصولات ICT شما