قم بتهيئة تخزين S3 Blob لـ ownCloud Infinite Scale

لتخزين محتويات ملفات المستخدم في S3 باستخدام ownCloud Infinite Scale (oCIS)، قم بتهيئة خدمة Storage-Users لاستخدام s3ngبرنامج التشغيل، ووجهها إلى حاوية تخزين مُنشأة مسبقًا، واحتفظ بدليل بيانات الخدمة الوصفية على وحدة تخزين POSIX دائمة. يحتفظ S3 بملفات blobs؛ ولا يستبدل جميع مسارات بيانات oCIS المحلية.

يتبع التكوين أدناه وثائق ownCloud Infinite Scale 8.2. قارن أسماء المتغيرات وأمثلة النشر مع وثائق الإصدار المُثبّت لديك قبل إجراء أي تغييرات على نظام الإنتاج.

تحقق من تخطيط التخزين قبل التكوين

في هذا السياق، يُشير مصطلح "blob" إلى محتوى الملف المُخزّن، بينما تُشير "metadata" إلى المعلومات التي يستخدمها نظام oCIS لتنظيم الملفات والعثور عليها. مع S3NG، تُخزّن ملفات blob في مخزن الكائنات المتوافق مع S3، بينما تبقى بيانات metadata على نظام ملفات POSIX. يجب إبقاء نظام الملفات هذا مُثبّتًا بشكل دائم ومُضمّنًا في النسخ الاحتياطية. يجب أن يبقى مُشغّل وحدة تخزين النظام ocis.

استخدم قائمة التحقق المختصرة هذه قبل الرحلة:

• اختر موفر خدمة S3 وتأكد من نقطة النهاية والمنطقة واسم الحاوية وعمليات واجهة برمجة تطبيقات S3 المدعومة وحدود الأجزاء المتعددة.
• أنشئ الحاوية قبل بدء تشغيل oCIS. يتطلب إعداد S3NG الموثق وجود حاوية موجودة.
• قم بإنشاء هوية وصول مخصصة لـ oCIS وقم بتخزين مفتاحها وسرها في مدير الأسرار الخاص بالنشر أو إعدادات البيئة المحمية.
• اختر مسار بيانات تعريف محلية ثابتة، وتأكد من أن عملية oCIS يمكنها قراءته وكتابته.
• بالنسبة للتثبيتات الحالية، يُرجى التخطيط لعملية ترحيل مدعومة قبل تغيير برنامج تشغيل التخزين. تغيير إعدادات النظام الخلفي لا يُعد نسخًا أو ترحيلًا لبيانات الملفات الموجودة.

توضح ملاحظات تخطيط تخزين ownCloud المعلومات التي تبقى خارج حاوية S3. ولهذا السبب، فإن استعادة الحاوية وحدها لا تُعد خطة استعادة كاملة.

أنشئ الحاوية وامنح الوصول المطلوب

قم بتهيئة حاوية التخزين في وحدة تحكم الموفر أو أدوات البنية التحتية، ثم امنح هوية خدمة oCIS صلاحيات الوصول اللازمة لحاويتها فقط. توثق صفحة ownCloud S3 سياسة أساسية لواجهة برمجة تطبيقات S3 على غرار AWS. استبدل bucket-nameاسم حاوية التخزين الخاصة بك، وعدّل صيغة السياسة لتتوافق مع موفرك إذا كان متوافقًا مع S3 وليس Amazon S3.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:ListBucket"],
      "Resource": ["arn:aws:s3:::bucket-name"]
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:*Object",
        "s3:*MultipartUpload",
        "s3:ListMultipartUploadParts"
      ],
      "Resource": ["arn:aws:s3:::bucket-name/*"]
    }
  ]
}

يختلف مُعرّف مورد التطبيقات (ARN) على مستوى الحاوية عن مُعرّف مورد التطبيقات على مستوى الكائن: يسمح الأول بعرض الحاوية، بينما يُطبّق الثاني إجراءات على الكائنات الموجودة بداخلها. التزم بمتطلبات سياسة حاوية ownCloud S3 ووثائق السياسة الحالية لمزود الخدمة. لا تقم بلصق بيانات الاعتماد في ملف سياسة أو مستودع مصدر أو لقطة شاشة.

قم بتعيين متغيرات Storage-Users S3NG

بالنسبة لبيئة الخدمة أو ملف Compose الذي يقبل متغيرات بيئة oCIS القياسية، قم بتعيين القيم التالية. هذه القيم هي قيم افتراضية؛ استخدم نقطة النهاية والمنطقة التي حددها مزود الخدمة الخاص بك.

STORAGE_USERS_DRIVER: s3ng
STORAGE_USERS_S3NG_ROOT: /var/lib/ocis/storage/users
STORAGE_SYSTEM_DRIVER: ocis
STORAGE_USERS_S3NG_ENDPOINT: https://s3.example.com
STORAGE_USERS_S3NG_REGION: us-east-1
STORAGE_USERS_S3NG_ACCESS_KEY: ${OCIS_S3_ACCESS_KEY}
STORAGE_USERS_S3NG_SECRET_KEY: ${OCIS_S3_SECRET_KEY}
STORAGE_USERS_S3NG_BUCKET: ocis-user-blobs

قم بتثبيت /var/lib/ocis/storage/users(أو الجذر الذي اخترته) على وحدة تخزين POSIX متينة. لا تُشر إلى مسار البيانات الوصفية هذا في حاوية S3. أدخل مفتاح الوصول والسر بشكل آمن؛ تفترض مراجع المتغيرات أعلاه أن عملية النشر لديك توفر قيم السر هذه. يجب أن تكون نقطة النهاية قابلة للوصول من خدمة oCIS، ويجب أن يشير اسم الحاوية والمنطقة وبيانات الاعتماد إلى حساب الموفر نفسه والحاوية نفسها.

إذا كنت تستخدم ocis_fullمثال Compose المعياري الخاص بـ ownCloud، فإن طبقة S3 الاختيارية فيه تستخدم إعدادًا خاصًا بهذا المثال وملف تكوين S3NGمنفصل s3ng.yml. اتبع هذا المثال كنمط نشر كامل بدلاً من دمجه بشكل عشوائي مع ملف Compose آخر. راجع مثال نشر oCIS Compose الرسمي ومرجع بيئة Storage-Users .

قم بتحديد حجم عمليات التحميل متعددة الأجزاء للملفات التي تتوقعها

يتم تحميل الملفات الكبيرة على شكل أجزاء متعددة. تُحدد خدمة Amazon S3 الحد الأقصى لحجم الملف بـ 5 تيرابايت، والحد الأقصى لعدد الأجزاء بـ 10,000 جزء؛ ويجب أن يتراوح حجم الجزء بين 5 ميجابايت و5 جيجابايت. أما في خدمة S3NG، فيبلغ حجم الجزء الافتراضي 16 ميجابايت. عند هذا الحجم الافتراضي، قد يصبح حد عدد الأجزاء هو الحد الأقصى العملي قبل الوصول إلى الحد الأقصى لحجم الملف الذي يحدده مزود الخدمة. تُقدّر صفحة ownCloud 8.2 الحد الأقصى الافتراضي بـ 160 جيجابايت؛ لذا استخدم حجم الجزء المُكوّن وقواعد مزود الخدمة لحساب حد أقصى آمن، واترك هامشًا.

المعلمة الوحيدة القابلة للتكوين في ملفات multipart، والموثقة من قِبل ownCloud، هي ` STORAGE_USERS_S3NG_PUT_OBJECT_PART_SIZEpart size`. قم بزيادة حجم الجزء إذا كان حجم الملف المدعوم يتطلب أكثر من 10,000 جزء. القيمة هي uint64عدد صحيح غير مُوقّع، لذا قم بتكوينها كعدد البايتات، وليس كسلسلة نصية مُلحق بها "MiB". حافظ على القيمة ضمن النطاق الموثق من 5 ميجابايت إلى 5 جيجابايت، وتأكد من أن موفر خدمة S3 يدعم القيمة المختارة. بالنسبة لكائن بحجم 5 تيرابايت موزع على 10,000 جزء، يجب أن يكون متوسط ​​حجم الجزء 500 ميجابايت.

يُرجى أيضًا حجز مساحة تخزين مؤقتة على مضيف أو حاوية oCIS: تُشير ownCloud إلى أنها تحتاج إلى سعة تخزين مؤقتة لا تقل عن حجم أكبر ملف مُتوقع لتخزين البيانات الواردة مؤقتًا. لن يمنع وجود حاوية تخزين صالحة وبيانات اعتماد صحيحة حدوث أعطال ناتجة عن عدم كفاية حجم الجزء المسموح به أو امتلاء القرص المؤقت. راجع حدود تحميل S3 الخاصة بـ ownCloud ومرجع أنواع متغيرات البيئة .

تطبيق البيانات والتحقق منها وحمايتها

بعد حفظ الإعدادات، أعد تشغيل أو نشر oCIS باستخدام الإجراء المتبع في تثبيتك. تحقق من سجلات الخدمة بحثًا عن أخطاء في الإعدادات أو نقاط النهاية أو الأذونات أو الاتصال. ثم شغّل فحص مخزن البيانات الثنائية الكبيرة (blobstore) في نفس بيئة التشغيل المُهيأة لـ oCIS.

ocis storage-users blobstore check

يستخدم أمر الصيانة هذا مخزن البيانات الثنائية المُهيأ، ويُجري عملية تحميل وتنزيل وحذف ذهابًا وإيابًا باستخدام حمولة اختبار عشوائية. وهو فحص مُركّز للتخزين، وليس دليلًا على نجاح جميع عمليات سير العمل التي يواجهها المستخدمون أو عمليات التحميل الكبيرة جدًا. يُوثّق مرجع أمر مخزن البيانات الثنائية خياراته، بما في ذلك حجم حمولة الاختبار القابل للتكوين.

أخيرًا، حمّل ملف اختبار صغيرًا عبر واجهة العميل أو الويب، وتأكد من ظهوره وفتحه. في حالة نشر ملفات كبيرة، اختبر أيضًا حجم ملف نموذجي قبل الاعتماد على الإعداد. لا يُعدّ نجاح عملية التحميل ذهابًا وإيابًا لملف صغير دليلًا على سعة التخزين متعدد الأجزاء أو مساحة القرص المؤقت المتاحة.

قم بعمل نسخة احتياطية من كائنات S3 وبيانات POSIX الوصفية، والتكوين، وبيانات oCIS الأخرى المطلوبة كمجموعة متكاملة. تنص إرشادات النسخ الاحتياطي لـ ownCloud على إيقاف تشغيل المثيل لإجراء النسخ الاحتياطي، والتعامل مع كائنات S3 المخزنة خارجيًا بشكل منفصل. احتفظ بنسخ قابلة للاسترداد من طبقتي التخزين، واختبر إجراء الاستعادة قبل اعتبار النشر محميًا: اعتبارات النسخ الاحتياطي لـ ownCloud .

قائمة التحقق السريع للتحقق من الصحة

• STORAGE_USERS_DRIVERهو s3ng؛ يبقى تخزين النظام ocis.
• جذر البيانات الوصفية هو تخزين POSIX دائم، ومخزن S3 موجود بالفعل.
• تتطابق نقطة النهاية والمنطقة والمجموعة وبيانات الاعتماد والسياسة مع حساب الموفر نفسه.
• حجم الجزء متعدد الأجزاء، وسعة 10000 جزء، والتخزين المؤقت يغطي أكبر ملف مخطط له.
• نجح فحص مخزن البيانات الثنائية الكبيرة، وتم فتح عملية تحميل العميل الحقيقي بشكل صحيح، وتم تضمين كل من البيانات الوصفية ومحتويات الحاوية في خطط النسخ الاحتياطي والاستعادة.