Persian
WEKA ادغام پلت فرم NeuralMesh خود را با معماری مرجع NVIDIA STX اعلام کرده است،ایجاد شبکه حافظه افزوده به عنوان یک بلوک کلیدی برای زیرساخت های نسل بعدی هوش مصنوعیاین راه حل ترکیبی یکی از مهم ترین تنگنایی ها را در محیط های نتیجه گیری در مقیاس بزرگ حل می کند: محدودیت های حافظه که به طور مستقیم بر عملکرد، کل هزینه مالکیت،و رشد مقیاس پذیر.
شبکه حافظه افزوده WEKA که از طریق NeuralMesh کار می کند، حافظه GPU را با خارج کردن و حفظ کیش های کلید ارزش گسترش می دهد.این معماری ذخیره سازی حافظه زمینه ای با سرعت بالا را برای بارهای کاری هوش مصنوعی عامل ارائه می دهد، پشتیبانی از استدلال زمینه ای طولانی در جلسات، ابزارها و جریان های کاری از انتهای به انتهای.و اسپکتروم-X اترنت می تواند سرعت انتقال توکن حافظه زمینه ای را 4 تا 10 برابر افزایش دهدهمچنین پیش بینی می شود که این پلتفرم حداقل 320 GB / s خواندن و 150 GB / s نوشتن را ارائه دهد، بیش از دو برابر عملکرد معماری های ذخیره سازی سنتی هوش مصنوعی.
زیرساخت های حافظه به تنگنای نتیجه گیری تبدیل می شوند
WEKA این ادغام را بر روی چالش رو به رشد دیوار حافظه در پیاده سازی های هوش مصنوعی مدرن متمرکز می کند. در خط لوله نتیجه گیری امروز، حافظه GPU پهنای باند بالا محدود، اخراج مکرر KV cache،منجر به محاسبه مجدد مکرر و کاهش بهره وری عملیاتیبا افزایش همزمان سیستم، این ناکارآمدی ها چند برابر می شوند، هزینه های زیرساخت را افزایش می دهند و پیش بینی عملکرد را کاهش می دهند.
این شرکت زیرساخت های ذخیره سازی KV مشترک را به عنوان راه حل ترویج می کند.ذخیره سازی به اشتراک گذاشته شده پردازش اضافی را از بین می برد و سرعت انتقال توکن را ثبات می دهد. NVIDIA STX معماری مرجع تایید شده را برای این مدل ارائه می دهد ، در حالی که WEKA لایه ذخیره سازی و گسترش حافظه را ارائه می دهد.
NeuralMesh و معماری شبکه حافظه افزوده
NeuralMesh به عنوان پلت فرم ذخیره سازی توزیع شده WEKA عمل می کند، ساخته شده برای ادغام یکپارچه در سراسر مجموعه کامل NVIDIA STX. این خدمات داده با عملکرد بالا را برای بار های کاری هوش مصنوعی بهینه می کند،در حالی که شبکه حافظه افزوده به عنوان یک لایه توسعه حافظه اختصاص داده شده است که کش KV را خارج از حافظه GPU تقویت می کند.
این طراحی به محیط های استنتاج اجازه می دهد تا جلسات طولانی مدت را بدون بارگذاری بیش از حد منابع GPU حفظ کنند. با حفظ حالت حافظه کش و امکان استفاده مجدد در تمام بارهای کاری،این پلتفرم بهره برداری بالا و عملکرد ثابت را در مقیاس استقرار حفظ می کند..
WEKA خاطرنشان می کند که شبکه حافظه افزوده، که برای اولین بار در GTC 2025 معرفی شد و اکنون به طور کلی در دسترس است، در سیستم عامل های پردازنده NVIDIA Grace با DPU های BlueField تایید شده است.معماری به دستاوردهای قابل اندازه گیری در بهره وری نتیجه گیری می پردازد، از جمله زمان سریع تر تا اولین توکن، سرعت بیشتری در هر توکن GPU و عملکرد پایدار تحت افزایش همزمان.تخلیه مسیر داده به BlueField-4 همچنین هزینه های CPU را کاهش می دهد و تنگنایی های I / O را کاهش می دهد.
افزایش عملکرد و کارایی
در محیط های مشابه تولید، این پلتفرم برای افزایش پاسخگویی و بهره وری زیرساخت طراحی شده است.WEKA می گوید که شبکه حافظه افزوده می تواند زمان تا اولین توکن را 4 تا 20 برابر کاهش دهد، در حالی که تولید توکن در هر GPU را تا 6.5 برابر افزایش می دهد. این پیشرفت ها ناشی از نرخ موفقیت کیش KV بالاتر و چرخه های محاسبه مجدد کمتر است.اجازه دادن به سیستم ها برای حفظ عملکرد به عنوان ابعاد زمینه و تعداد کاربران افزایش می یابد.
شرکت فرموس، یک ارائه دهنده زیرساخت های هوش مصنوعی به عنوان یک کاربر اولیه با استفاده از NeuralMesh با زیرساخت های مبتنی بر NVIDIA برجسته شده است. شرکت گزارش می دهد که سرعت انتقال توکن بهبود یافته و تاخیر در مقیاس کمتر است.,با دستاوردهای ناشی از استفاده کارآمدتر از GPU های موجود به جای استفاده از سخت افزار اضافی.
پیامدهای طراحی زیرساخت های هوش مصنوعی
این ادغام یک تغییر در طراحی سیستم هوش مصنوعی را برجسته می کند، جایی که استراتژی های حافظه و ذخیره سازی به طور فزاینده ای عملکرد کلی و بهره وری هزینه را تعریف می کنند.با گسترش حجم کار هوش مصنوعی و گسترش پنجره های زمینه ای، رویکردهای تنها DRAM به دلیل افزایش هزینه های محاسبه مجدد و GPU های کم استفاده، پایدار نمی شوند.
WEKA موقعیت های KV کش پایدار و مشترک را به عنوان یک قابلیت پایه ای برای کارخانه های هوش مصنوعی قرار می دهد. سازمان هایی که این مدل را اتخاذ می کنند می توانند بهره برداری از GPU را افزایش دهند.مصرف انرژی کمتر در هر کار نتیجه گیریدر مقابل، محیط هایی که به طور انحصاری به حافظه محلی GPU متکی هستند، احتمالا با افزایش حجم کار، با افزایش هزینه های عملیاتی و کاهش بازده مواجه خواهند شد.
شرکت فناوری چینجینگ جیوتونگ پکن، لمیتد
سندي يانگ، مدير استراتژي جهاني
واتساپ / وی چت: +86 13426366826
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com
تمرکز کسب و کار:
توزیع محصولات ICT / ادغام سیستم و خدمات / راه حل های زیرساخت
با 20+ سال تجربه توزیع فناوری اطلاعات، ما با مارک های پیشرو جهانی همکاری می کنیم تا محصولات قابل اعتماد و خدمات حرفه ای را ارائه دهیم.
استفاده از تکنولوژی برای ساختن یک جهان هوشمند، ارائه دهنده خدمات قابل اعتماد محصولات ICT شما
سندي يانگ، مدير استراتژي جهاني
واتساپ / وی چت: +86 13426366826
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com
تمرکز کسب و کار:
توزیع محصولات ICT / ادغام سیستم و خدمات / راه حل های زیرساخت
با 20+ سال تجربه توزیع فناوری اطلاعات، ما با مارک های پیشرو جهانی همکاری می کنیم تا محصولات قابل اعتماد و خدمات حرفه ای را ارائه دهیم.
استفاده از تکنولوژی برای ساختن یک جهان هوشمند، ارائه دهنده خدمات قابل اعتماد محصولات ICT شما