سلام به وبلاگ علی محمدی خوش آمدید

۲ مطلب در اسفند ۱۴۰۲ ثبت شده است

دوره جامع مهندسی داده Data Engineering Course

چهارمین دوره با سرفصل‌های کاملن متفاوت

 

 

 

چرا مهندسی داده؟

در سال‌های اخیر، با توجه به استفاده‌های متنوع و متعدد از داده (data) در سازمان‌های بزرگ و کوچک، و فراگیر شدن استفاده از روش‌های مختلف هوش مصنوعی در بالا بردن بهره‌وری مجموعه‌ها، نیاز مبرم به استانداردسازی زیرساخت دیتایی (اطلاعات)، بیش از قبل احساس می‌گردد. در مهندسی داده‌، دغدغه‌ی اصلی سر و سامان دادن به این زیرساخت‌ها و اتوماتیک نمودن خطوط (data pipeline) ورود و خروج داده می‌باشد. یک مهندس داده باید با بروزترین ابزارها در حوزه‌ی کار با داده، از اسپارک گرفته تا انواع مختلف دیتابیس‌ها آشنایی خوبی داشته باشد. بطور کلی چون عرضه در این رشته کم‌تر بوده، در حال حاضر تقاضا در آن بسیار بالاتر است و بازار کار بسیار مطلوبی دارد.

با کامل نمودن این دوره به چه اهدافی دست خواهید یافت؟

  • می‌توانید برای موقعیت‌های شغلی در این زمینه درخواست (اپلای) بدهید.
  • به درک بسیار عمیقی از ابزارهای موجود در دنیای کار با دیتا خواهید رسید.
  • با ابزراهای مدرن و بروز در دنیای مهندسی داده آشنا خواهید شد.

نیازمندی‌ها جهت ورود به این دوره چیست؟

  • داشتن یک سیستم خوب با حداقل رم 8 گیگ و پردازنده‌ی i5 به بالا.
  • آشنایی با پایتون، sql و جاوا مفید است. اما تمامی مطالب از پائین‌ترین سطح بیان خواهد شد.
  • زبان تدریس «فارسی» است اما اصطلاحات اصلی این حوزه بطور کامل به زبان انگلیسی بیان می‌گردد.
  • آشنایی با مفاهیم اساسی در دنیای کامپیوتر بسیار مفید است. اگر دانش عمومی کامپیوتر شما پائین است، این دوره مناسب شما نیست. هر چند که اگر پشت‌کار داشته باشید، تمامی موارد را ما توضیح می‌دهیم.

نحوه‌ی برگزاری دوره به چه صورت است؟

  • ویدیوهای آموزشی ضبط و به مرور زمان و منظم، در پنل کاربری شما قرار خواهند گرفت.
  • هر هفته، روز چهارشنبه ساعت 13 در گوگل میت آنلاین خواهیم شد و به بیان سوالات و ابهامات خود خواهید پرداخت. مدرس دوره، آقای دکتر فزونی نیز پاسخگویی شما هستند. دقت بفرمائید ما در این مجموعه، TA نداریم.
  • یک گروه تلگرامی داریم که در آنجا عضو خواهید شد و از آن طریق می‌توانید با سایر شرکت‌کنندگان و مدرس، بطور مستقیم در ارتباط باشید.

معرفی مدرس و دوره

دکتر محمد فزونی، عضو هئیت علمی تمام وقت و دانشیار گروه ریاضی و آمار دانشگاه گنبدکاووس هستند. ایشان  از سال 1393 در این مجموعه مشغول به فعالیت‌های آموزشی و پژوهشی می‌باشند و از سال 1398 با داشتن یک بنیه‌ی قوی علمی تحلیلی (ریاضی) وارد دنیای علم داده شدند و تا به امروز در فعالیت‌های مختلفی، از آموزش گرفته تا انجام پروژه‌های داخلی و خارجی مشغول به فعالیت در حوزه‌های علم داده و مهندسی داده هستند. اگر ویدیوی پائین باز نشد، از این لینک اقدام نمائید.

نکته: در ویدیو، به اشتباه تعداد جلساتِ کافکا و اسپارک 10 جلسه بیان می‌شود. اما هر کدام از این ابزارها 7 جلسه را به خود اختصاص می‌دهند. همچنین بدلیل طولانی نشدن ویدیو، تمامی سرفصل‌ها بیان نمی‌گردد. برای دیدن لیست کامل‌تر، ادامه‌ی این صفحه را مشاهده کنید. 

 

سرفصل‌های دوره

لینوکس و خط فرمان شگفت‌انگیز آن

گیت و گیت‌هاب برای مدیریت ورژن کدها

سیستم توزیع‌شده‌ی مدیریت فایلِ هدوپ

زبان‌های برنامه‌نویسی پایتون و جاوا

پوستگرس، پیشرفته‌ترین دیتابیس رایگان دنیا

داکر، آشنایی و کار با کانتینرها

آپاچی ایرفلو، یک سیستم مدیریت جریان داده

آپاچی کافکا، غولی در دنیای پردازش داده‌های استریم

آپاچی اسپارک، سرعت و قدرت همزمان در پردازش داده

کوبرنتیز، بهترین سیستم مدیریت کانتینرها

شاید جلساتی برای مدل‌سازی دیتا در پایگاه‌های داده و یا کار با دیتابیسِ فوق‌العاده قدرتمندِ استار-راک، یا حتی مانگو-دی.بی. و یا کاساندرا نیز به دوره افزوده شود. همچنین دور از انتظار نیست که در خصوص فرمت‌ جدید ذخیره‌سازی دیتا، آپاچی آیسبرگ نیز محتواهایی به دوره ضمیمه گردد. این بخشی است که اشتیاق شرکت‌کنندگان برای یادگیری، به محتواها خواهد افزود.
لارم به ذکر است که ممکن است بجای HDFS بحث Elasticsearch را دنبال کنیم.

 

 

 

تمامی سطوح

SKILL LEVEL

30 جلسه

LESSONS

37 ساعت

DURATION

فارسی

LANGUAGE

 

لینک ثبت‌نام: 

https://www.m-fozouni.ir/de4/

مهندسی داده با پایتون و اسکیوال

مهندسی داده برای مبتدیان

                                                                                                                                                                                                                                            

در این دوره چه خواهیم آموخت؟

در این دوره‌ی آموزشی، شما در کوتاه‌ترین زمان ممکن با مبانی و مقدمات لازم برای ورود به دنیای مهندسی داده (Data Engineering) که در حال حاضر یکی از بهترین مشاغل در حوزه‌ی تکنولوژی در سراسر دنیاست، آشنا خواهید شد. میانگین درآمد یک مهندس داده در حال حاضر 120 هزار دلار در سال می‌باشد.

چرا مهندسی داده

در سال‌های اخیر، با توجه به استفاده‌های متنوع و متعدد از داده (data) در سازمان‌های بزرگ و کوچک، و فراگیر شدن استفاده از روش‌های مختلف هوش مصنوعی در بالا بردن بهره‌وری مجموعه‌ها، نیاز مبرم به استانداردسازی زیرساخت دیتایی (اطلاعات)، بیش از قبل احساس می‌گردد. در مهندسی داده‌، دغدغه‌ی اصلی سر و سامان دادن به این زیرساخت‌ها و اتوماتیک نمودن خطوط (data pipeline) ورود و خروج داده می‌باشد. یک مهندس داده باید با بروزترین ابزارها در حوزه‌ی کار با داده، از اسپارک گرفته تا انواع مختلف دیتابیس‌ها آشنایی خوبی داشته باشد. بطور کلی چون عرضه در این رشته کم‌تر بوده، در حال حاضر تقاضا در آن بسیار بالاتر است و بازار کار بسیار مطلوبی دارد.

 

 

عناوین ویدیوها

  • نصب SQL Server
  • نصب Visual Studio
  • ساختن خط لوله (دیتا پایپ‌لاین) ETL با استفاده از SSIS
  • معرفی پایتون
  • انواع داده‌ها
  • رشته‌ها
  • اعداد صحیح
  • عبارات شرطی
  • لیست‌ها
  • بررسی لیست‌ها در Python
  • توابع
  • پیدا کردن حداکثر
  • مدیریت اولویت رشته‌ها
  • عملیات پایه رشته
  • زوج یا فرد بودن
  • محاسبه فاکتوریل
  • حلقه‌ها
  • تاپل‌ها
  • مجموعه‌ها
  • یافتن عناصر منحصر به فرد
  • برعکس کردن یک رشته
  • محاسبه مجموع ارقام
  • بررسی پالیندروم
  • سری فیبوناچی
  • یافتن عدد فیبوناچی Nام
  • بررسی اعداد اول
  • تعداد اعداد اول
  • محاسبه میانگین
  • تعداد تکرار در یک لیست
  • یافتن عدد گمشده
  • یافتن عناصر مشترک در دو لیست
  • حذف تکرارها از یک لیست
  • تعداد تکرار یک کلمه
  • بررسی تعادل پرانتزها
  • مبانی برنامه‌نویسی شیءگرا (OOP)
  • مقدمه‌ای به برنامه‌نویسی شیءگرا (OOP)
  • یافتن بیشترین با کلاس
  • پیاده‌سازی یک استک
  • پیاده‌سازی یک صف
  • یافتن نزدیک‌ترین عدد
  • یافتن طولانی‌ترین زیردنباله متوالی
  • ادغام لیست‌های مرتب
  • ژوپیتر نوت‌بوک
  • معرفی Pandas
  • مدیریت داده (Data Manipulation)
  • نصب Postgres
  • آموزش SQL
  • معرفی API
  • بکارگیری GET و POST
  • تست API با Postman

 

جهت ثبت‌نام در دوره از طریق لینک زیر اقدام نمائید:

https://www.m-fozouni.ir/de/