482
تعديل
تغييرات
اذهب إلى التنقل
اذهب إلى البحث
وصف مبدئي لحظات التنظيف بناء على شغلي على ملف إحصاءات المجاري
أحيانا تكون الصيغة الوحيدة المنشورة فيها جداول البيانات صيغ جداول نصية غنية التنسيق يقصد بها القرّاء من البشرة و الطباعة، لكنها لذلك لا تكون ملائمة لمعالجتها بالبرمجيات. لذا يتوجّب معالجتها و حفظها في صيغة نظامية تمكن معالجتها بالبرمجيات، مثل صيغة CSV.
و تلك المعالجة تكون بطريق إزالة كل علامات التنسيق الغني (formatting)، و وضع البيانات في صيغ متّسقة، و جعل الحقول تحوي قيما نووية (atomic)، لا مركبة، بحيث تحوي كل الصفوف في كل عمود نوعا واحدا من البيانات، و بحيث يحوي كل صف سجلا كاملا مستقلا بذاته لا يعتمد على غيره لتفسير مضمونه.
الخطوات التفصيلية التي ينبغي اتباعها لإجراء ذلك التنظيف و التطبيع (normalisation) تختلف من مصدر إلى آخر، لكن يمكن بدراسة الملفات المصادر المتماثلة أو المجلوبة من مصدر واحد أو المعدذة بنفس الأسلوب استنباط مجموعة من الإجراءات التي يمكن تطبيقها عليها جميعا للوصول بها إلى الحالة المنشودة.
== خطوات عامة ==
# إزالة دمج كل خلايا الترويسات في الجدول؛ في عناوين الأعمدة و في قيم الصفوف المكررة\الشاملة
# إعادة صياغة الجزء الأكثر تخصيصًا من عناوين الخلايا المدمجة عديدة المستويات بحيث يكون مميَّزًا و شاملا كل الدلالة المعرفية للعناوين في المستويات الأعم، بكلمات أخرى فإن هذا يعني استحداث التكرار في الصياغة الذي كان قد اختزل بعمل عناوين مركبة من عدة مستويات. مثال:
<pre>
┐───────────────────────┌
│ شبكة عامة │
┤────────┬──────────────├
│عدد الأسر│عدد أفراد الأسر│
┤────────┼──────────────├
</pre>
يصبح:
<pre>
┐──────────────────────┬────────────────────────────┌
│عدد الأسر على شبكة عامة│عدد أفراد الأسر على شبكة عامة│
┤──────────────────────┼────────────────────────────├
</pre>
# إزالة أعمد و صفوف الإجماليات
# ملء الخلايا التي صارت فارغة بعد إزالة الدمج عن الأعمدة بقيمها المستمدة من أوّل خلية غير شاغرة فوقها (طالع [[#تلميحات مساعدة|التلميحات]])
# تطبيع النصوص من نواحي: إزالة الكشيدات، و تصويب الإملاء (الهمزات، التاءات المربوطة، الياءات الأخيرة)
# إزالة العلامات الإضافية في الخلايا، مثل إحالات الملاحظات، مع حفظ المعلومات المتعلّقة بها لتوثيقها في مكان آخر بحيث لا تُغفل الملاحظات لأهميتها في تفسير البيانات
=== تلميحات مساعدة ===
* تمكن إزالة صفوف الإجماليات بطريق تطبيق مرشّح (filter) لإظهارها وحدها ثم حذفها جملةً.
في لمستخدمي ليبرأوفس كالك يُجرى ذلك من Data -> More filters -> Standard filter
* يوجد [https://gist.github.com/agharbeia/a2f1751ba1b0ec6be370174c9390d471 ماكرو لليبرأوفيس] يساعد على ملء خلايا الأعمدة التي تصبح شاغرة بعد إزالة الدمج عنها
[[تصنيف:خطوات عمل]]
و تلك المعالجة تكون بطريق إزالة كل علامات التنسيق الغني (formatting)، و وضع البيانات في صيغ متّسقة، و جعل الحقول تحوي قيما نووية (atomic)، لا مركبة، بحيث تحوي كل الصفوف في كل عمود نوعا واحدا من البيانات، و بحيث يحوي كل صف سجلا كاملا مستقلا بذاته لا يعتمد على غيره لتفسير مضمونه.
الخطوات التفصيلية التي ينبغي اتباعها لإجراء ذلك التنظيف و التطبيع (normalisation) تختلف من مصدر إلى آخر، لكن يمكن بدراسة الملفات المصادر المتماثلة أو المجلوبة من مصدر واحد أو المعدذة بنفس الأسلوب استنباط مجموعة من الإجراءات التي يمكن تطبيقها عليها جميعا للوصول بها إلى الحالة المنشودة.
== خطوات عامة ==
# إزالة دمج كل خلايا الترويسات في الجدول؛ في عناوين الأعمدة و في قيم الصفوف المكررة\الشاملة
# إعادة صياغة الجزء الأكثر تخصيصًا من عناوين الخلايا المدمجة عديدة المستويات بحيث يكون مميَّزًا و شاملا كل الدلالة المعرفية للعناوين في المستويات الأعم، بكلمات أخرى فإن هذا يعني استحداث التكرار في الصياغة الذي كان قد اختزل بعمل عناوين مركبة من عدة مستويات. مثال:
<pre>
┐───────────────────────┌
│ شبكة عامة │
┤────────┬──────────────├
│عدد الأسر│عدد أفراد الأسر│
┤────────┼──────────────├
</pre>
يصبح:
<pre>
┐──────────────────────┬────────────────────────────┌
│عدد الأسر على شبكة عامة│عدد أفراد الأسر على شبكة عامة│
┤──────────────────────┼────────────────────────────├
</pre>
# إزالة أعمد و صفوف الإجماليات
# ملء الخلايا التي صارت فارغة بعد إزالة الدمج عن الأعمدة بقيمها المستمدة من أوّل خلية غير شاغرة فوقها (طالع [[#تلميحات مساعدة|التلميحات]])
# تطبيع النصوص من نواحي: إزالة الكشيدات، و تصويب الإملاء (الهمزات، التاءات المربوطة، الياءات الأخيرة)
# إزالة العلامات الإضافية في الخلايا، مثل إحالات الملاحظات، مع حفظ المعلومات المتعلّقة بها لتوثيقها في مكان آخر بحيث لا تُغفل الملاحظات لأهميتها في تفسير البيانات
=== تلميحات مساعدة ===
* تمكن إزالة صفوف الإجماليات بطريق تطبيق مرشّح (filter) لإظهارها وحدها ثم حذفها جملةً.
في لمستخدمي ليبرأوفس كالك يُجرى ذلك من Data -> More filters -> Standard filter
* يوجد [https://gist.github.com/agharbeia/a2f1751ba1b0ec6be370174c9390d471 ماكرو لليبرأوفيس] يساعد على ملء خلايا الأعمدة التي تصبح شاغرة بعد إزالة الدمج عنها
[[تصنيف:خطوات عمل]]