MinIO یک سیستم کش MemKV در مقیاس پتابایت را برای GPU های Nvidia توسعه داده است که در بالای پلت فرم ذخیره سازی شی AIStor مستقر شده است.
خوشه های GPU که نتیجه گیری را اجرا می کنند نیاز به حافظه پهنای باند بالا (HBM) برای ذخیره زمینه، توکن های بردار شده و جفت های میانگین کلید (KV) دارند. هنگامی که GPU HBM اشباع شده است،داده ها به سرعت به CPU DRAM و NVMe SSD ها می رسند، توسط Nvidia BlueField-4 (BF4) DPUها مدیریت می شود. هنگامی که این سطوح به ظرفیت خود می رسند، MinIO AIStor به عنوان پشتیبان ذخیره سازی نهایی عمل می کند. معماری STX Nvidia این سلسله مراتب چند لایه ی کش را اداره می کند.و MemKV مطابق با استاندارد برای ارائه پایدار، زمینه مشترک در سراسر خوشه های GPU در مقیاس برتر.
AB Periasamy، یکی از بنیانگذاران و مدیرعامل شرکت MinIO، اظهار داشت: "صنعت سالهاست که از دست دادن زمینه را در دست دارد زیرا در مقیاس کوچک، شما ممکن است مالیات دوباره محاسبه را جذب کنید.در تراکم GPU بالا امروز برای هیپرسکالرها و نوکلاودها، این دیگه قابل اجرا نیست
محاسبه مجدد زمینه تولید شده صرفه جویی در قدرت است؛ برای خوشه هایی با هزاران GPU، این کار ناکارآمدی ساختاری اساسی ایجاد می کند. نتیجه گیری در مقیاس بزرگ نیازمند زیرساخت های ساخته شده به منظور،و MemKV به طور خاص برای این مسیر داده طراحی شده است.
برای اولین بار، MinIO امکان فراهم کردن استخر های زمینه ای مشترک برای کلستر های GPU را با تاخیر در سطح میکروسکنید برای تطبیق جریان های کاری استنباط فراهم می کند.جلوگیری از تاخیر میلی ثانیه ای از ذخیره سازی خارجی معمولیبدون سطوح کافی حافظه کش، گپ ها منابع خود را برای محاسبه مجدد تکرار می کنند.
در یک استقرار 128GPU با طول زمینه 128K توکن، MemKV زمان تا اولین توکن را تحت بار تولید بهبود بخشید و استفاده از GPU را از 50٪ به بیش از 90٪ افزایش داد،تولید 2 میلیون دلار سالانه صرفه جویی در هزینه های محاسباتی.
MemKV که به طور خاص برای معماری Nvidia STX ساخته شده است، از ابزار های کش Nvidia Dynamo و NIXL پشتیبانی می کند. این دستگاه پتا بایت حافظه زمینه ای مشترک را با هزینه های سطح SSD ارائه می دهد.جدا کردن مقیاس سازی حافظه کش از منابع محاسباتی GPUویژگی های اصلی آن در زیر ذکر شده است:
-
پشتیبانی بومی BF4 STX: به عنوان یک باینری ARM64 در زیرساخت STX اجرا می شود، در ذخیره سازی نه سرورهای ذخیره سازی x86 جداگانه جاسازی شده است.
-
حمل و نقل RDMA از انتهای به انتهای: انتقال KV کش بین حافظه GPU و NVMe از طریق RDMA، دور زدن پروتکل های ذخیره سازی فایل و شی معمولی.
-
اندازه بلوک بهینه شده برای GPU: از بلوک های 2 ′′16 MB برای تقاضای پردازنده GPU به جای بلوک های ذخیره سازی 4 KB استفاده می کند.
-
عملکرد سرعت سیم: بهینه سازی شده برای Nvidia Spectrum-X Ethernet و PCIe Gen6 برای به حداکثر رساندن خروجی پارچه فیزیکی.
MemKV به طور مستقیم داده ها را از SSD NVMe به لوله های هوش مصنوعی از طریق RDMA منتقل می کند، از بین بردن HTTP overhead، ترجمه سیستم فایل و سرورهای ذخیره سازی میانگین.
MinIO راه حل های حافظه زمینه ای رقیب را به دو نوع طبقه بندی می کند: NVMe محلی غیر قابل اشتراک (G3) و ذخیره سازی مشترک عمومی (G4).که خود را از محصولات ذخیره سازی عمومی متمایز می کند.
این شرکت تأکید می کند که فروشندگان G3.5 هنوز گره های پروتکل اضافی، خدمات متا داده و لایه های ترجمه فایل را حفظ می کنند.این لایه ها دوام و ثبات داده های آموزش و وزن مدل را تضمین می کنند.، با این حال آنها برای حافظه KV کوتاه مدت و قابل محاسبه مجدد که برای بلوک های داده 2 16 MB بهینه شده اند ، غیر ضروری هستند.
فروشنده سخت افزار RAID GRAID و شرکت ذخیره سازی WEKA نیز راه حل های KV cache سازگار با STX را ارائه می دهند. طیف گسترده ای از فروشندگان ذخیره سازی از Nvidia STX پشتیبانی می کنند، از جمله Cloudian، Dell، DDN، Everpure،فضای چکش، Hitachi Vantara، HPE، Lightbits/ScaleFlux، NetApp، Nutanix، Peak: AIO، Pliops و داده های VAST.
شرکت فناوری چینجینگ جیوتونگ پکن، لمیتد
سندي يانگ، مدير استراتژي جهاني
واتساپ / وی چت: +86 13426366826
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com
تمرکز کسب و کار:
توزیع محصولات ICT / ادغام سیستم و خدمات / راه حل های زیرساخت
با 20+ سال تجربه توزیع فناوری اطلاعات، ما با مارک های پیشرو جهانی همکاری می کنیم تا محصولات قابل اعتماد و خدمات حرفه ای را ارائه دهیم.
استفاده از تکنولوژی برای ساختن یک جهان هوشمند، ارائه دهنده خدمات قابل اعتماد محصولات ICT شما
پیام شما باید بین 20 تا 3000 کاراکتر باشد!
Persian
