logo

Select Sidearea

Populate the sidearea with useful widgets. It’s simple to add images, categories, latest post, social media icon links, tag clouds, and more.
hello@youremail.com
+1234567890
0
  • No products in the cart.

Technology

image

ใน YARN เองจะมีอยู่ 4 ส่วนประกอบที่สำคัญคือ (1) Resource Manager เป็นตัวจัดการหลัก และมี (2) Applicaton Master ซึ่งอยู่กระจายไปตาม Node บางตัวใน Cluster โดย 2 ตัวนี้จะคุยกันตลอดเวลา เพื่อหาว่าจะเอาข้อมูลที่ทำการ Map และข้อมูลที่ทำการ Reduce แล้วไปวางไว้กับ (3) Container ใน Node ไหนบ้างด้วย (4) Node Manager...

Read More
image

แล้วระบบแบบไหน ยังไงล่ะ ที่จะเรียกว่าเป็น BIG DATA? เท่าที่ผมได้รู้ว่า มีการแบ่งง่ายๆ แบบหนึ่งคือใช้หลัก 3V's มาจาก Volume, Variety และ Velocity ซึ่งข้อมูลเหล่านี้จะใช้การจัดเก็บรูปแบบเดิมไม่ได้เลย เพราะข้อมูลที่มี 3V's นั่นจะทำให้พื้นที่เก็บต้องมีขนาดใหญ่ขึ้นเรื่อยๆ ข้อมูลมีความซับซ้อนมากขึ้นๆ การเข้าถึงข้อมูลในที่เก็บข้อมูลช้าหนักขึ้นเรื่อยๆ โดยมีปัญหา 2 อย่างหลักๆ คือ 1 Large Scale Data Storage และ 2 Large Scale Data Analysis...

Read More
image

ขณะที่ในหัวกำลังเลือกทางเดินชีวิตอยู่ เพราะงาน Develop Application เริ่มไม่ท้าทายสำหรับผมแล้ว ผมก็ได้เจอกับคำว่า Data Lineage & Data Impact พอดี สรุปโดยย่อ Data Lineage จะประมาณ เส้นสายของข้อมูล...

Read More