Persian
در نشست RAISE پاریس، DDN همکاری مداوم خود را با Nebul، یک ارائه دهنده ابر هیبریدی مستقل اروپایی، با تمرکز بر افزایش بهره وری برای پیاده سازی نتیجه گیری AI در مقیاس بزرگ، نشان داد.هفته ي گذشته منتشر شد، این ابتکار مشترک، پلت فرم استنباط Nebul، معماری هوش داده Infinia DDN و محاسبات شتاب NVIDIA را برای حل یک تنگنای کلیدی تولید هوش مصنوعی متحد می کند:هزینه های انتقال داده ها و محدودیت های عملکرد در طول بار کاری نتیجه گیری.
در حالی که آموزش مدل ارزش دارایی های هوش مصنوعی را ایجاد می کند،نتیجه گیری، بازده عملیاتی و تجاری آن را تعریف می کند.افزایش پذیرش هوش مصنوعی عامل، تولید افزوده بازیافت (RAG) ،و نتیجه گیری هم زمان بالا به این معنی است که زیرساخت های ذخیره سازی و داده به طور مستقیم بر بهره وری شتاب دهنده و سرعت پاسخ هوش مصنوعی تأثیر می گذارد.
این پروژه فعال اثبات مفهوم نتایج امیدوار کننده ای را به همراه داشته است.شرکا پیشرفت قابل اندازه گیری در زمان اولین توکن را با KV cache فعال کرده و اعتباربخشی را برای زیرساخت های مبتنی بر RoCE تکمیل کرده اند.مقایسه مداوم طول دنباله های نتیجه گیری را پوشش می دهد و پتانسیل بهینه سازی بیشتری را برای پلت فرم Infinia باز می کند.این همکاری همچنین به تلاش های مشترک NVIDIA در چارچوب های سنجش مقایسه گسترش می یابد.، بررسی مقیاس پذیری و نشریات فنی آینده.
این پلت فرم یکپارچه از خدمات کش KV توزیع شده ، حرکت داده های بومی GPU ، تنظیم داده های هوشمند و معماری ذخیره سازی با عملکرد بالا استفاده می کند.شتاب KV کش به دست آوردن سود قابل توجه استنتاج با حفظ و به سرعت بازیابی دولت های توجه پیش محاسباتی، کاهش محاسبات اضافی و از بین بردن تاخیر در تحویل داده که باعث خاموش شدن GPU می شود.
رهبران DDN، Nebul و NVIDIA یک تغییر عمده در صنعت را برجسته کردند: اولویت های زیرساخت های هوش مصنوعی از استقرار GPU خام به بهره وری عملیاتی تغییر می کنند،به حداکثر رساندن بازده از سخت افزار شتاب دهنده موجود. DDN CEO Alex Bouzari and Nebul CEO Arnold Juffer noted that past focus on larger model scales has given way to optimizing inference economics to make production AI commercially viable via lower per-token costsراد ایوانز، معاون زیرساخت های ابری NVIDIA اضافه کرد که بار های کاری عامل در مقیاس بزرگ در حال حاضر موفقیت زیرساخت ها را با استفاده از GPU و تأخیر اندازه گیری می کنند، نه قدرت محاسباتی.
DDN تأکید می کند که زیرساخت های هوش مصنوعی باید فراتر از توابع ذخیره سازی اساسی برای پشتیبانی فعال از جریان های کاری اجرای هوش مصنوعی تکامل یابد.پلتفرم های زیرساخت این شرکت در حال حاضر بیش از یک میلیون GPU در سراسر جهان را تقویت می کنند، که به هیپر اسکیلرها، ارائه دهندگان ابر، شرکت ها، دولت ها و موسسات تحقیقاتی خدمت می کند.
تیم های زیرساخت های هوش مصنوعی مدرن اکنون این معیارهای اصلی تولید را اولویت بندی می کنند:
استفاده از GPU: فعالیت تسریع کننده موثر را در طول نتیجه گیری اندازه گیری می کند و ارزش سخت افزار GPU پیشرفته را به حداکثر می رساند.
هزینه هر توکن: عملکرد زیرساخت ها را مستقیماً با هزینه های عملیاتی محصول مدل هوش مصنوعی مرتبط می کند.
توکن در وات: بهره وری انرژی تولید نتیجه گیری هوش مصنوعی را ارزیابی می کند.
وقت اولین نشانه: پاسخگویی برنامه های کاربردی هوش مصنوعی تعاملی و تجربه کاربر را تعیین می کند.
زمان تولید: تلاش عملیاتی برای مهاجرت خدمات هوش مصنوعی از آزمایش به استقرار تجاری مقیاس پذیر را تعیین می کند.
به عنوان نتیجه گیری تبدیل به بار کاری غالب هوش مصنوعی می شود، تحویل محتوای ذخیره شده و داده های سازمانی به GPU با کم،تاخیر پایدار برای حفظ بهره برداری بالا از GPU و کنترل هزینه های عملیاتی بلند مدت حیاتی خواهد بود.
شرکت فناوری چینجینگ جیوتونگ پکن، لمیتد
سندي يانگ، مدير استراتژي جهاني
واتساپ / وی چت: +86 13426366826
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com
تمرکز کسب و کار:
توزیع محصولات ICT / ادغام سیستم و خدمات / راه حل های زیرساخت
با 20+ سال تجربه توزیع فناوری اطلاعات، ما با مارک های پیشرو جهانی همکاری می کنیم تا محصولات قابل اعتماد و خدمات حرفه ای را ارائه دهیم.
استفاده از تکنولوژی برای ساختن یک جهان هوشمند، ارائه دهنده خدمات قابل اعتماد محصولات ICT شما
سندي يانگ، مدير استراتژي جهاني
واتساپ / وی چت: +86 13426366826
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com
تمرکز کسب و کار:
توزیع محصولات ICT / ادغام سیستم و خدمات / راه حل های زیرساخت
با 20+ سال تجربه توزیع فناوری اطلاعات، ما با مارک های پیشرو جهانی همکاری می کنیم تا محصولات قابل اعتماد و خدمات حرفه ای را ارائه دهیم.
استفاده از تکنولوژی برای ساختن یک جهان هوشمند، ارائه دهنده خدمات قابل اعتماد محصولات ICT شما