รู้จักกับ Data Engineer และทักษะที่ต้องรู้

รู้จักกับ Data Engineer วิศวกรข้อมูล และทักษะที่ต้องรู้

Data Engineer คือใคร ?

วิศวกรข้อมูล (Data Engineer หรือ DE) ทำหน้าที่สร้างชุดข้อมูลที่ง่ายต่อการวิเคราะห์ โดยปรับปรุงข้อมูล (Transform Data) ทำความสะอาดข้อมูล (Data Cleansing) สร้างความน่าเชื่อถือและคุณภาพของข้อมูลด้วยวิธีการต่าง ๆ โดยทำการรวมข้อมูลดิบจากแหล่งข้อมูลต่าง ๆ (Data Source) เพื่อสร้างชุดข้อมูลตามรูปแบบที่ตอบโจทย์ทางธุรกิจ อีกทั้งยังพัฒนาสถาปัตยกรรมที่ใช้ดึงข้อมูลและการแปลงข้อมูลต่าง ๆ และทดสอบเพื่อการสร้างแบบจำลองในการนำไปใช้ทำนาย คาดการณ์ (Forecast) ตอบโจทย์กับทางธุรกิจให้กับองค์กร

หน้าที่ ความรับผิดชอบ ของ Data Engineer

จัดระเบียบข้อมูลดิบ นำข้อมูลมาทำความสะอาด (Data Cleansing + Shaping + ETL)
รวมข้อมูลดิบจากแหล่งข้อมูลต่าง ๆ
การรวบรวมข้อมูลที่มีโครงสร้าง (Structured Data) และไม่มีโครงสร้าง (Unstructured Data)
หาวิธีการปรับปรุงคุณภาพของข้อมูล และสร้างความน่าเชื่อถือของข้อมูล
สร้างระบบข้อมูล และ Pipelines ของข้อมูล
จัดเตรียมข้อมูลสำหรับการสร้างแบบจำลอง
สร้างอัลกอริทึมและสร้างต้นแบบ
ประเมินความต้องการและวัตถุประสงค์ทางธุรกิจ
ดูแนวโน้มและ Patterns
วิเคราะห์นำข้อมูลที่ซับซ้อนและรายงานผล
สร้างเครื่องมือและโปรแกรมในการวิเคราะห

ทักษะที่สำคัญ (Hard Skills) ของ Data Engineer

ทักษะดานคณิตศาสตร์ และตัวเลข ในระดับดี
ทักษะด้านสถิติ
ประสบการณ์ตรงกับการออกแบบฐานข้อมูล SQL
เข้าใจเรื่องสคริปต์และเว็บไซต์ เช่น json, xml, java script, html5
เข้าใจกระบวนการ ETL และการใช้เครื่องมืออย่าง SSIS, Power Query
สามารถใช้งานเครื่องมือในการสร้างรายงาน สร้าง Dashboard เช่น Power BI, Tableau , Qlik
ความเชี่ยวชาญด้านเทคนิคด้วยโมเดลข้อมูล การทำเหมืองข้อมูล (Data Mining)
ความรู้เกี่ยวกับภาษาโปรแกรม (เช่น Python, Java หรือ .NET)

Soft Skills ของ Data Engineer

ทักษะการนำเสนอ สามารถในการอธิบายโดยสามารถนำความคิดที่ซับซ้อนมาทำให้เป็นรูปแบบที่เข้าใจง่าย
นักสื่อสารที่ดีพร้อมการจัดการผู้มีส่วนได้ส่วนเสียได้
มีความใส่ใจทุกรายละเอียด
ทักษะการแก้ปัญหา