Persian
VAST Data همکاری خود را با AMD برای پیشرفت زیرساخت های هوش مصنوعی برای سیستم عامل های ابری و سازمانی که آموزش مدل، نتیجه گیری، تولید افزوده بازیابی (RAG) ،و بار کاری هوش مصنوعی عاملاین استیک یکپارچه سیستم عامل VAST AI را با پردازنده های 6th Gen AMD EPYC، GPU های AMD Instinct، سخت افزار شبکه AMD و نرم افزار ROCm متحد می کند.
این همکاری با یک تغییر عمده در صنعت مطابقت دارد: زیرساخت های هوش مصنوعی فراتر از خوشه های آموزش فقط برای پشتیبانی از زمینه پایدار، نتیجه گیری رقابت بالا،و جریان های کاری عامل چند نوبتاستقرار های هوش مصنوعی مدرن اولویت انتقال داده های کارآمد، مدیریت کش KV بهینه، استفاده بیشتر از GPU و دسترسی کم تاخیر به مدل های بزرگ و مجموعه داده های زمینه ای را دارند.
معماری VAST (DASE) به عنوان لایه داده های مشترک متحد برای این محیط های هوش مصنوعی مدرن عمل می کند.پخش رویداد، و خدمات داده های اصلی تحت یک فضای نام جهانی واحد، در حالی که جداسازی چند مستاجر و حجم کار را برای ابرهای هوش مصنوعی که وظایف همزمان مختلف مشتری و برنامه را اجرا می کنند، ارائه می دهد.
AMD EPYC 9006 قدرت های سخت افزار VAST نسل بعدی
VAST پردازنده های نسل 6 AMD EPYC 9006 سری (وینیس) را برای سیستم های CBox نسل 6 و EBox نسل 3 که پایه سخت افزاری سیستم عامل VAST AI را تشکیل می دهند، اتخاذ می کند.بستر EPYC 9006 اتصال PCIe Gen6 را به خط سخت افزاری VAST معرفی می کند، دو برابر کردن پهنای باند I/O در هر نسل.
این ارتقاء سرعت فایل و ذخیره سازی شی را افزایش می دهد و تاخیر را برای بارهای کاری پایگاه داده، انبار داده و جریان رویداد که توسط VAST DataBase و DataEngine پشتیبانی می شود کاهش می دهد. برای زیرساخت های هوش مصنوعی،پهنای باند I/O بهبود یافته، تنگنایی ها را در سراسر محاسبات کاهش می دهد.، شبکه سازی و ذخیره سازی NVMe، بهره برداری از بارگذاری مدل، لوله های بازیابی، دسترسی به نقطه کنترل و جریان های کاری KV cache خارجی که از محدودیت های حافظه GPU بومی فراتر می رود.
معماری مرجع سه نفره با AMD و DriveNets
VAST، AMD و DriveNets به طور مشترک در حال ساخت یک معماری مرجع زیرساخت های هوش مصنوعی متحد هستند که زیرساخت های Helios AI در مقیاس AMD، VAST AI OS و شبکه های DriveNets AI Fabric را ترکیب می کند.این چارچوب راهنمایی های استاندارد برای استفاده از آموزش هوش مصنوعی را ارائه می دهد، نتیجه گیری، یادگیری تقویت کننده و بار کاری KV cache،ارائه بهترین شیوه های اندازه گیری و در دسترس بودن برای شرکت هایی که کارخانه های هوش مصنوعی را با زیرساخت های داده مشترک و شبکه های با عملکرد بالا می سازند.
VAST همچنین روابط اکوسیستم خود را با فروشندگان استنباط TensorMesh و EmbeddedLLM گسترش داده است، با تمرکز بر معماری های استنباط درجه تولید برای موارد استفاده از هوش مصنوعی عامل،با جزئیات مربوط به یکپارچه سازی و راه اندازی که هنوز اعلام نشده است.
بهینه سازی KV Cache Offload برای نتیجه گیری هم زمان بالا
یک قطعه اصلی از همکاری به روز شده، رفع بار کش KV است که از GPU های AMD Instinct، AMD Infinity Context، نرم افزار ROCm و سیستم عامل VAST AI استفاده می کند.حافظه کش KV داده های وضعیت توجه تولید شده را ذخیره می کند تا تعاملات چند دور و بارهای کاری AI طولانی را تسریع کند، اما اندازه های بزرگ کش به سرعت حافظه محدود GPU را مصرف می کنند.
تخلیه یا طبقه بندی کش KV به فضای ذخیره سازی مشترک با عملکرد بالا حافظه GPU را برای وظایف فعال آزاد می کند در حالی که داده های زمینه ای را برای درخواست های نتیجه گیری بعدی حفظ می کند.آزمایش های اولیه بر روی GPU های AMD Instinct MI355X 9 برابر سریعتر از زمان اولین توکن و 9 برابر سریعتر از زمان اولین توکن را ارائه می دهد..7 برابر بالاتر از تراکنش توکن برای بارهای کاری هوش مصنوعی عامل با کنکورنت های بالا از طریق KV KAST-powered cache offload، با عملکرد متفاوت با پایه سخت افزار، بار و تنظیمات ذخیره سازی.
علاوه بر این، سیاست های چرخه عمر خودکار VAST برای داده های حافظه کش KV اعمال می شود و امکان انقضا برنامه ریزی شده و حذف محتوای ذخیره شده را فراهم می کند.داده های ذاتی یا نتیجه گیری تنظیم شده.
اتصال بین GPU و حافظه با سرعت بالا از طریق Pensando Pollara 400
معماری AMD Pensando Pollara 400 AI NIC را برای اتصال GPU های AMD Instinct به خوشه های ذخیره سازی VAST استفاده می کند. پشتیبانی از NFS از طریق TCP و RDMA،NIC امکان انتقال داده از GPU به ذخیره سازی را فراهم می کند.، دسترسی با تاخیر کم به ذخیره سازی VAST مبتنی بر NVMe برای KV cache و بارهای کار نتیجه گیری عمومی.
این طراحی مقیاس بندی مدیریت زمینه را از محدودیت های حافظه فیزیکی GPU جدا می کند.VAST پلتفرم خود را به عنوان یک لایه داده و اجرای یکپارچه برای مدیریت مدل توزیع شده قرار می دهدبرای ارائه دهندگان ابر هوش مصنوعی، معماری بهره برداری از GPU و بهره وری عملیاتی را افزایش می دهد.پشتیبانی از انتقال صنعت از آموزش دسته و اجاره GPU به خدمات نتیجه گیری مداوم و هوش مصنوعی عامل.
شرکت فناوری چینجینگ جیوتونگ پکن، لمیتد
سندي يانگ، مدير استراتژي جهاني
واتساپ / وی چت: +86 13426366826
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com
تمرکز کسب و کار:
توزیع محصولات ICT / ادغام سیستم و خدمات / راه حل های زیرساخت
با 20+ سال تجربه توزیع فناوری اطلاعات، ما با مارک های پیشرو جهانی همکاری می کنیم تا محصولات قابل اعتماد و خدمات حرفه ای را ارائه دهیم.
استفاده از تکنولوژی برای ساختن یک جهان هوشمند، ارائه دهنده خدمات قابل اعتماد محصولات ICT شما
سندي يانگ، مدير استراتژي جهاني
واتساپ / وی چت: +86 13426366826
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com
تمرکز کسب و کار:
توزیع محصولات ICT / ادغام سیستم و خدمات / راه حل های زیرساخت
با 20+ سال تجربه توزیع فناوری اطلاعات، ما با مارک های پیشرو جهانی همکاری می کنیم تا محصولات قابل اعتماد و خدمات حرفه ای را ارائه دهیم.
استفاده از تکنولوژی برای ساختن یک جهان هوشمند، ارائه دهنده خدمات قابل اعتماد محصولات ICT شما