Persian
MinIO MemKV را منتشر کرده است، یک فروشگاه حافظه زمینه اختصاصی که برای حل یک گلوگاه مهم در خطوط لوله استنتاج هوش مصنوعی در مقیاس بزرگ ساخته شده است. MemKV که به عنوان دومین راه حل پرچمدار MinIO در کنار AIStor خدمت می کند، زیرساخت داده شرکت را در سطح حافظه گسترش می دهد. این مهندسی شده است تا دادههای متنی مشترک و پایدار را برای بارهای کاری هوش مصنوعی عاملی که روی خوشههای GPU توزیع شده اجرا میشوند، ارائه دهد.
MinIO AIStor
همانطور که سیستمهای هوش مصنوعی از پاسخهای یکباره به استدلال چند نوبتی و اجرای خودکار وظایف پیش میروند، حفظ زمینه پیوسته در چرخههای استنتاج به طور فزایندهای ضروری شده است. تحت معماری های موجود، داده های زمینه اغلب به دلیل ظرفیت محدود سطوح حافظه مجاور GPU از جمله HBM و DRAM کنار گذاشته می شوند. این امر GPU ها را وادار می کند تا به طور مکرر زمینه موجود را مجدداً محاسبه کنند، که باعث افزایش تأخیر، استفاده از محاسبه و مصرف انرژی می شود. MinIO این حجم کار اضافی را به عنوان "مالیات محاسبه مجدد" تعریف می کند، ناکارآمدی که در محیط های ابر مقیاس به طور تصاعدی بدتر می شود.
MemKV برای کاهش این نقطه درد از طریق یک لایه حافظه مشترک و پایدار طراحی شده است که قادر به ذخیره سازی در مقیاس پتابایت با تأخیر دسترسی در سطح میکروثانیه است. با حفظ داده های متنی در سراسر گردش کار استنتاج، پلت فرم محاسبات اضافی را کاهش می دهد و کارایی زیرساخت کلی را افزایش می دهد. دادههای بنچمارک داخلی MinIO بهبود تاخیر زمان تا توکن اول را تحت همزمانی درجه تولید تأیید میکند. در یک استقرار معمولی مجهز به 128 پردازنده گرافیکی و پنجره های زمینه 128 هزار توکن، استفاده از GPU از تقریباً 50٪ به بیش از 90٪ افزایش یافت که به کاهش قابل توجه هزینه محاسباتی سالانه ترجمه می شود.
مدیران MinIO اظهار داشتند که سربار محاسبه مجدد در استقرار در مقیاس کوچک غیرقابل توجه است اما به یک نقص ساختاری اساسی در مقیاس سازمانی تبدیل می شود. با گسترش خوشههای GPU، بازسازی مکرر زمینه مصرف انرژی و هزینههای زیرساخت بیشتری را به همراه دارد و سیستمهای حافظه تخصصی را برای عملکرد پایدار هوش مصنوعی ضروری میسازد.
پرداختن به مبادله مقیاس حافظه
زیرساخت هوش مصنوعی قدیمی توسعه دهندگان را مجبور می کند بین سرعت دسترسی و ظرفیت ذخیره سازی سازش کنند. سطوح حافظه با کارایی بالا مانند HBM و DRAM تأخیر میکروثانیه ای را ارائه می دهند اما محدودیت های ظرفیت محدود و هزینه های بالایی دارند. در مقابل، سیستمهای ذخیرهسازی مرسوم مقیاسپذیری گستردهای را ارائه میکنند، اما از تأخیر سطح میلیثانیه رنج میبرند، که باعث میشود آنها با استنتاج بلادرنگ و وظایف استدلال با زمینه طولانی سازگار نباشند.
میکرون HBM4
MemKV با معرفی یک ردیف حافظه مشترک میانی که تاخیر بسیار کم و مقیاس پذیری ذخیره سازی بزرگ را متعادل می کند، این شکاف صنعتی را پر می کند. این راه حل که به طور بومی با NVIDIA BlueField-4 STX سازگار است و با NVIDIA Dynamo در کنار ابزارهای NIXL ادغام شده است، کل خوشههای GPU را قادر میسازد تا به مخزنهای داده متنی یکپارچه با سرعتهای انتقال همتراز با استنتاج دسترسی داشته باشند. این طراحی مهاجرت مکرر داده های متنی بین لایه های حافظه ایزوله و ذخیره سازی را حذف می کند، تأخیر را کاهش می دهد و توان عملیاتی سیستم را افزایش می دهد.
NVIDIA BlueField-4
معماری بهینه شده برای بارهای کاری استنتاج
MemKV که منحصراً برای خطوط لوله داده استنتاج طراحی شده است، در لایه G3.5 چارچوب سلسله مراتب حافظه GPU MinIO قرار می گیرد. ساخته شده بر روی زیرساخت ذخیره سازی NVMe، به ظرفیت پتابایتی دست می یابد و در عین حال تاخیر دسترسی میکروثانیه را حفظ می کند و مقیاس پذیری حافظه را با موفقیت از منابع محاسباتی GPU جدا می کند.
این سیستم انتزاعهای ذخیرهسازی سنتی دست و پاگیر را کنار میگذارد و دادهها را مستقیماً از درایوهای NVMe به خطوط لوله داده هوش مصنوعی از طریق انتقال RDMA سرتاسری منتقل میکند. این امر سربار عملکرد ناشی از پروتکلهای HTTP، تبدیل سیستم فایل و سرورهای ذخیرهسازی میانی را کاهش میدهد - گلوگاههای رایج در معماریهای ذخیرهسازی مبتنی بر شی و فایل.
منبع: گوگل
بهینهسازیهای معماری کلیدی شامل اجرای باینری ARM64 در NVIDIA BlueField-4 STX است که مستقیماً در لایه ذخیرهسازی تعبیه شده است تا وابستگی به گرههای ذخیرهسازی x86 خارجی را کاهش دهد. تمام انتقال دادهها بین حافظه GPU و حافظه NVMe از انتقال RDMA استفاده میکنند و پشتههای ذخیرهسازی متعارف اضافی را دور میزنند. علاوه بر این، MemKV از اندازه بلوک های بزرگ شده از 2 مگابایت تا 16 مگابایت استفاده می کند که برای ویژگی های توان پردازش گرافیکی به جای بلوک های ذخیره سازی قدیمی 4 کیلوبایتی بهینه شده است. از پارچههای اتصال پرسرعت پیشرفته مانند NVIDIA Spectrum-X Ethernet و PCIe Gen6 پشتیبانی میکند و انتقال دادهها را با سرعت سیمی در میان خوشهها تسهیل میکند.
در دسترس بودن
MinIO MemKV اکنون به صورت تجاری برای استقرار سازمانی در دسترس است.
پکن Qianxing Jietong Technology Co., Ltd.
سندی یانگ / مدیر استراتژی جهانی
WhatsApp / WeChat: +86 13426366826
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com
تمرکز تجاری:
توزیع محصول ICT/یکپارچه سازی سیستم و خدمات/راه حل های زیرساخت
با بیش از 20 سال تجربه توزیع فناوری اطلاعات، ما با برندهای پیشرو جهانی برای ارائه محصولات قابل اعتماد و خدمات حرفه ای همکاری می کنیم.
«استفاده از فناوری برای ساختن جهانی هوشمند» ارائهدهنده خدمات محصول ICT مورد اعتماد شما!
سندی یانگ / مدیر استراتژی جهانی
WhatsApp / WeChat: +86 13426366826
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com
تمرکز تجاری:
توزیع محصول ICT/یکپارچه سازی سیستم و خدمات/راه حل های زیرساخت
با بیش از 20 سال تجربه توزیع فناوری اطلاعات، ما با برندهای پیشرو جهانی برای ارائه محصولات قابل اعتماد و خدمات حرفه ای همکاری می کنیم.
«استفاده از فناوری برای ساختن جهانی هوشمند» ارائهدهنده خدمات محصول ICT مورد اعتماد شما!