Zilliz Milvus نسخه 3.0، پایگاه داده وکتور منبع باز خود را راه اندازی کرد، دسترسی به داده های بومی دریاچه و یک موتور بازیابی ارتقا یافته را برای توسعه دهندگان هوش مصنوعی تولیدی اضافه کرد.
معماری بومی دریاچه، داده‌های خام را به‌جای کپی کردن آنها در پایگاه‌های داده مستقل، در قالب‌های باز در ذخیره‌سازی اشیاء ابری نگه می‌دارد. Zilliz مفهوم Vector Lakebase خود را در پیش‌نمایش عمومی ژوئن رونمایی کرد. چارلز زی، مدیر عامل شرکت، آن را به عنوان یک پایه داده یکپارچه توصیف کرد که امکان جستجوی بلادرنگ، کاوش داده و خطوط لوله آموزشی هوش مصنوعی چند پتابایتی را بدون کپی داده، مهاجرت یا پشته های ذخیره سازی موازی فراهم می کند. لایه ذخیره سازی یکپارچه اشیاء هم از جستجوی برداری آنلاین با تاخیر کم و هم از تجزیه و تحلیل در مقیاس بزرگ در فایل های منبع یکسان پشتیبانی می کند.
جیمز لوان، یکی از بنیانگذاران و CTO Zilliz، اظهار داشت: "Milvus 3.0 بازیابی تولید را مستقیماً در بالای فروشگاه های داده موجود اجرا می کند و موتور قدرتمندتری را برای بارهای کاری هوش مصنوعی مدرن ارائه می دهد. همین هسته اصلی Zilliz Vector Lakebase را تقویت می کند که با مقیاس بندی الاستیک، عملیات ساده و مدیریت داده های هوش مصنوعی در مقیاس سازمانی برای ابزارهای بزرگ تقویت شده است."
پایگاه های داده برداری، جاسازی های عددی بردار را برای متن، تصاویر و سایر محتواها ذخیره می کنند تا جستجوی شباهت را تقویت کنند. Zilliz بیان می‌کند که Milvus پرکاربردترین پایگاه‌داده منبع باز برداری جهان است که توسط بیش از 10000 شرکت برای RAG، موتورهای توصیه‌کننده و عوامل هوش مصنوعی، با بیش از 100 میلیون بار Docker ثبت شده، مورد استفاده قرار گرفته است.
خطوط لوله سنتی هوش مصنوعی، نسخه‌های جداگانه داده را برای بازیابی بلادرنگ و تجزیه و تحلیل آفلاین نگهداری می‌کنند که هزینه‌های ذخیره‌سازی اضافی، صادرات طولانی داده، خطوط لوله همگام‌سازی و هزینه‌های عملیاتی سنگین را به همراه دارد.
قابلیت های Core Milvus 3.0
1. مجموعه های خارجی: مجموعه های Milvus را روی فایل های دریاچه در Lance، Iceberg، Parket یا Vortex ایجاد کنید. این سیستم نمایه های برداری، متن کامل، JSON و اسکالر را بر روی داده های منبع بدون تکرار ایجاد می کند و آنها را از طریق API های استاندارد بومی در معرض نمایش قرار می دهد. با تغییر داده های دریاچه، همگام سازی افزایشی به طور خودکار فهرست ها را به روز می کند.
2.Loon Storage Engine: تقویت خواندن برش موتور مبتنی بر مانیفست جدید برای جستجوی ذخیره سازی اشیاء با تأخیر کم، با استفاده از Vortex سازگار با پیکان باز به عنوان قالب ستونی پیش فرض.
3. عکس های لحظه ای نقطه در زمان: عکس‌های فوری مجموعه‌های فقط خواندنی سبک، کارهای کپی‌برداری، ارزیابی و اعتبارسنجی آفلاین را قادر می‌سازد تا بدون ایجاد اختلال در نوشتن تولید، روی مجموعه داده‌های پایدار اجرا شوند.
4.Spark Connector & Batch Operators: یک کانکتور Spark DataSource V2 Milvus را با جریان‌های کاری دسته‌ای Spark، Databricks و EMR، در کنار توابع دسته‌ای برداری بومی برای حذف و خوشه‌بندی ادغام می‌کند.
جستجوی بردار استاندارد Top-K فقط مشابه ترین بردارها را با محاسبه فاصله واکشی می کند، که از مقیاس بندی ضعیف با تعداد و ابعاد بردار بالا رنج می برد. Milvus 3.0 بازیابی را بسیار فراتر از جستجوی اولیه نزدیکترین همسایه گسترش می دهد:
1. مرتب‌سازی سمت سرور، تجمیع و جستجوی وجهی، شباهت معنایی را با فیلترهای ابرداده (مهر زمانی، قیمت، دسته‌بندی، مستاجر و غیره) ترکیب می‌کند و پس پردازش سمت مشتری را حذف می‌کند.
2.StructList بازیابی چند برداری از موجودیت‌های دارای تعبیه‌های متعدد (تکه‌های سند، وصله‌های تصویر، داده‌های محصول چندوجهی) پشتیبانی می‌کند و با مدل‌های تعامل دیرهنگام مانند ColBERT و ColPali کار می‌کند.
3. فهرست پراکنده بهینه شده فضای ذخیره‌سازی را تا 70% کاهش می‌دهد و در عین حال با عملکرد فراخوان اصلی مطابقت دارد، همراه با بردارهای پراکنده آموخته‌شده SINDI، MinHash داخلی، فیلدهای برداری باطل، فرهنگ‌های متن کامل سفارشی و سازگاری گسترده‌تر با نمایه Faiss.
لوان اضافه کرد که حجم‌های کاری هوش مصنوعی تولیدی به رتبه‌بندی، گروه‌بندی و جستجوی چند بردار به صورت بومی در پایگاه داده و ذخیره‌سازی ویرایش شده نسخه 3.0 برای دسترسی سریع به ذخیره‌سازی اشیا در کنار پردازش غنی‌تر در موتور نیاز دارند.
این هسته یکپارچه به Milvus منبع باز خود میزبانی شده و Zilliz Cloud به طور کامل مدیریت می شود. Zilliz Cloud موتور پایه را به یک Vector Lakebase کامل با محاسبات الاستیک، ابزارهای کشف، تجزیه و تحلیل دسته ای، نمایه سازی یکپارچه، حاکمیت سازمانی و اتوماسیون در یک منبع واحد از داده های هوش مصنوعی گسترش می دهد.
زمینه رقابتی صنعت
این به‌روزرسانی فشار را بر رقبای Pinecone، Qdrant و Weaviate افزایش می‌دهد، که همگی برای کاهش تأخیر جستجو تلاش می‌کنند: Qdrant فهرست‌بندی سریع‌تر، خوشه‌های در دسترس بالا و گزارش‌های حسابرسی انطباق را در آوریل راه‌اندازی کرد. Pinecone مجموعه‌های برداری از پیش محاسبه‌شده و retrieverهای قابل ترکیب را در ماه مه برای سرعت بخشیدن به گردش‌های کاری عامل عرضه کرد.
فروشندگان پایگاه داده برداری خالص با پلتفرم های چند مدلی از جمله Regatta، SingleStore و SurrealDB رقابت می کنند. در حالی که آنها با خانه‌های دریاچه‌ای مانند Databricks و Snowflake ادغام می‌شوند، مشارکت‌های عمیق‌تر بین پایگاه‌های داده با موانع معماری و موتورهای ذخیره‌سازی مواجه هستند. ممکن است بازار شاهد باشد که بازیکنان بردار به مرور زمان پشتیبانی ساختار یافته، نمودار، سند یا سری زمانی بومی را اضافه می کنند.
در دسترس بودن
Milvus 3.0 همچنان یک پروژه فارغ‌التحصیل LF AI & Data تحت مجوز Apache 2.0 است که از طریق Docker یا Kubernetes از جمله محیط‌های دارای شکاف هوا قابل اجرا است و برای ذخیره‌سازی اشیاء S3، GCS و Azure Blob سازگار است. پوشش اولیه SDK شامل Python، Go و Node.js می شود که در آینده از جاوا پشتیبانی می کند. کد منبع، یادداشت‌های انتشار و راهنماهای شروع سریع در GitHub، در کنار ساعات اداری انجمن برای پشتیبانی از توسعه‌دهندگان میزبانی می‌شوند.
Zilliz Cloud مدیریت شده Milvus 3.0 را به عنوان لایه نمایه سازی اصلی خود تعبیه می کند و کشش سازمانی، امنیت و عملیات یکپارچه را در یک کپی داده مشترک اضافه می کند.
پاورقی
مجموعه‌های خارجی فهرست‌سازی دریاچه‌ای با کپی صفر را بدون مهاجرت داده پیاده‌سازی می‌کنند. Loon گلوگاه تقویت خواندن را حل می کند که قبلاً ذخیره سازی اشیاء را برای پرس و جوهای برداری کم تأخیر محدود می کرد.
پکن Qianxing Jietong Technology Co., Ltd.
سندی یانگ / مدیر استراتژی جهانی
WhatsApp / WeChat: +86 13426366826
ایمیل: yangyd@qianxingdata.com
وب سایت: www.qianxingdata.com/www.storagesserver.com
تمرکز تجاری:
توزیع محصول ICT/یکپارچه سازی سیستم و خدمات/راه حل های زیرساخت
با بیش از 20 سال تجربه توزیع فناوری اطلاعات، ما با برندهای پیشرو جهانی برای ارائه محصولات قابل اعتماد و خدمات حرفه ای همکاری می کنیم.
«استفاده از فناوری برای ساختن جهانی هوشمند» ارائه‌دهنده خدمات مورد اعتماد شما در زمینه فناوری اطلاعات و ارتباطات!
پیام شما باید بین 20 تا 3000 کاراکتر باشد!
Persian
