مراجعة Semalt - تشغيل سكريبت سكريبت

إن Airflow عبارة عن مكتبات لجدولة Python تُستخدم لتكوين تدفقات عمل متعددة الأنظمة يتم تنفيذها بالتوازي عبر أي عدد من المستخدمين. يتألف خط أنابيب تدفق الهواء من عمليات SQL و bash و Python. تعمل الأداة من خلال تحديد التبعيات بين المهام ، وهو عنصر مهم يساعد في تحديد المهام التي سيتم تشغيلها بالتوازي وأيها سيتم تنفيذها بعد اكتمال الوظائف الأخرى.

لماذا تدفق الهواء؟

أداة Airflow مكتوبة بلغة Python ، مما يمنحك ميزة إضافة مشغليك إلى الوظيفة المخصصة المعينة بالفعل. تسمح لك هذه الأداة بتقطيع البيانات من خلال التحويلات من موقع ويب إلى ورقة بيانات منظمة بشكل جيد. يستخدم تدفق الهواء الرسوم البيانية الحلقية الموجهة (DAG) لتمثيل سير عمل معين. في هذه الحالة ، يشير سير العمل إلى مجموعة من المهام التي تتضمن تبعيات اتجاهية.

كيف يعمل Apache Airflow

Airflow هو نظام إدارة المستودعات الذي يعمل على تحديد المهام باعتبارها تبعياتها النهائية حيث ينفذ الرمز الوظائف وفقًا لجدول زمني ويوزع تنفيذ المهمة عبر جميع عمليات العاملين. توفر هذه الأداة واجهة مستخدم تعرض حالة كل من المهام الجارية والمهام السابقة.

يعرض Airflow معلومات تشخيصية للمستخدمين فيما يتعلق بعملية تنفيذ المهمة ويسمح للمستخدم النهائي بإدارة تنفيذ المهام يدويًا. لاحظ أن الرسم البياني الحلقي الموجه يستخدم فقط لتعيين سياق التنفيذ وتنظيم المهام. في Airflow ، تعد المهام هي العناصر الحاسمة التي تقوم بتشغيل برنامج نصي كشط. في الكشط ، تتكون المهام من نكهتين تشمل:

  • المشغل أو العامل

في بعض الحالات ، تعمل المهام كمشغلين حيث يقومون بتنفيذ العمليات على النحو المحدد من قبل المستخدمين النهائيين. تم تصميم عوامل التشغيل لتشغيل سكريبت القشط والوظائف الأخرى التي يمكن إجراؤها بلغة برمجة Python.

  • المستشعر

تم تطوير المهام أيضًا للعمل كمستشعرات. في مثل هذه الحالة ، يمكن إيقاف تنفيذ المهام التي تعتمد على بعضها البعض مؤقتًا حتى يتم استيفاء المعيار الذي يعمل فيه سير العمل بسلاسة.

يستخدم تدفق الهواء في مجالات مختلفة لتشغيل سكربت سكريبت. فيما يلي دليل حول كيفية استخدام Airflow.

  • افتح متصفحك وتحقق من واجهة المستخدم الخاصة بك
  • تحقق من سير العمل الذي فشل وقم بالنقر فوقه لمعرفة المهام التي حدثت بشكل خاطئ
  • انقر على "عرض السجل" للتحقق من سبب الفشل. في كثير من الحالات ، يؤدي فشل مصادقة كلمة المرور إلى فشل سير العمل
  • انتقل إلى قسم المسؤول وانقر على "اتصالات". عدّل اتصال Postgres لاسترداد كلمة المرور الجديدة وانقر على "حفظ".
  • أعد زيارة المتصفح وانقر على المهمة التي فشلت. انقر على المهمة وانقر على "مسح" حتى يتم تشغيل المهمة بنجاح في المرة القادمة.

جدولة بايثون أخرى للنظر فيها

كرون

Cron هو نظام تشغيل يستند إلى Unix يستخدم لتشغيل البرامج النصية بشكل دوري على فترات زمنية وتواريخ وأوقات محددة. تستخدم هذه المكتبة في الغالب للحفاظ على بيئات البرامج وإعدادها.

لويجي

Luigi هي وحدة Python ستسمح لك بالتعامل مع التصور ودقة التبعية. يستخدم Luigi لإنشاء خطوط أنابيب معقدة لجمع الوظائف.

Airflow هي مكتبة جدولة لـ Python تُستخدم للتعامل مع مشاريع إدارة التبعية. في Airflow ، يعتمد تشغيل المهام على بعضها البعض. للحصول على نتائج متسقة ، يمكنك ضبط برنامج Airflow النصي ليعمل تلقائيًا بعد كل ساعة أو ساعتين.