Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
Module 08
หลักการทํางานพื้ นฐาน การวิเคราะห์บิกดาตา ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด สาขาวิ ช าวิ ท ยาศาสตร์ แ ละเทคโนโลยี มหาวิ ท ยาลั ย สุ โ ขทั ย ธรรมาธิ ร าช
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
1
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
หลักการทํางาน
บิกดาตา
ข้อมูลทางธุรกิจ เอกสารและอีเมล Hadoop เว็บล็อก เครือข่ายสังคม
แอปพลิเคชัน Repository
บีไอ
ข้อมูลเครื่องจักร
การวิเคราะห์บิกดาตา
ข้อมูลเซ็นเซอร์ ข้อมูลพิ กัดแผนที่
การบริหารจัดการบิกดาตา
แหล่งข้อมูล
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
2
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
กระบวนการจัดการบิกดาตา จัดเก็บข้อมูล ประมวลผลข้อมูล เข้าถึงข้อมูล จัดการข้อมูล
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
3
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
แฟ้มข้อมูล
กระจายฮาดูป
เอช เอฟ H D F S ระบบจัดเก็บข้อมูลขนาดใหญ่ ทํางานอยู่บนฮาดูป
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
HDFS)
4
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
แฟ้มข้อมูล ข้อมูล 1 ข้อมูล 2
ข้อมูลใหญ่
ข้อมูล 3 ข้อมูล N
กระจายฮาดูป HDFS
HDFS
HDFS
HDFS
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
คอมพิ วเตอร์ 1 คอมพิ วเตอร์ 2 คอมพิ วเตอร์ 3 คอมพิ วเตอร์ N
5
่ ง เครือ เซิร์ฟเวอร์ หลัก
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
องค์ประกอบ แฟ้มข้อมูล กระจายฮาดูป ชื่อ
(Name Node)
ข้อมูล
(Data Node)
ชื่อรอง
(Secondary Name Node)
ติดตามงาน
(Job Tracker)
ติดตามภาระงาน
(Task Tracker) 13736 การจั ด การความรู้ แ ละบิ ก ดาตา
6
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
แมปรีดิวซ์
MapReduce -1
ฮาดูปแมปรีดิวซ์
Hadoop MapReduce ü เป็นเทคนิค วิธีการเขียนโปรแกรม
ü เพื่ อประมวลผลข้อมูลใหญ่ ü ทํางานบนระบบฮาดูป คลัสเตอร์ (cluster)
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
7
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
คลัสเตอร์ (cluster)
เป็นการจัดกลุ่มเครื่องคอมพิ วเตอร์
เชื่อมต่อระบบการทํางาน นําข้อมูลขนาดใหญ่มาทําการแบ่งแยกข้อมูล กระจายข้อมูลขนาดเล็กที่ได้ ไปประมวลผล
ให้เสร็จในเวลาอันรวดเร็ว 13736 การจั ด การความรู้ แ ละบิ ก ดาตา
8
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
แมปรีดิวซ์
MapReduce -2 แมป 1 แมป 2
ข้อมูลเข้า
รีดิวซ์ 1 ผลลัพธ์
แมป 3 รีดิวซ์ N แมป N
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
9
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
ตัวอย่าง แมปรีดิวซ์
โปรแกรมนับคํา
An STOU education is affordable An STOU education provides freedom
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
10
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
ข้อดี
แมปรีดิวซ์
เขียนโปรแกรมได้ง่าย อยู่บนฮาดูปคลัสเตอร์ ปลอดภัยสูง โอเพนซอร์ส ü ประมวลผลได้หลากหลาย เสถียรภาพสูง
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
11
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
การวิเคราะห์บิกดาตา ü กระบวนการวิเคราะห์ข้อมูลขนาดใหญ่ ü ข้อมูลมีความหลากหลายรูปแบบ ü ข้อมูลมีการเพิ่ มขนาดอย่างต่อเนื่อง ü การค้นหารูปแบบความสัมพั นธ์ ที่เชื่อมโยงข้อมูลเหล่านั้น ทํานายแนวโน้ม ü การค้นหาความต้องการที่แท้จริง จากพฤติกรรมของข้อมูล ü การค้นหาข้อมูลอื่น ๆ ที่เป็นประโยชน์ 13736 การจั ด การความรู้ แ ละบิ ก ดาตา
12
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
การวิเคราะห์บิกดาตา ผลที่ได้จากการวิเคราะห์ข้อมูล ทําแผนการตลาดที่มีประสิทธิภาพ พั ฒนาศักยภาพขององค์กร สร้างความได้เปรียบทางธุรกิจ ตอบสนองต่อการบริการที่ดีมากขึ้น ปรับปรุงการดําเนินงานขององค์กร
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
13
เครื่องมือวิเคราะห์บิกดาตา
https://littlefield.co/an-introduction-into-data-mining-in-bioinformatics-964511e9ea21
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
การวิเคราะห์ข้อมูลขนาดใหญ่ Walmart
พายุเฮอร์ริเคนแซนดี้ ถล่มสหรัฐอเมริกา
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
15
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
การวิเคราะห์บิกดาตา มาฮาวท์
อาปาเชมาฮาวท์
ü ทําหน้าที่จัดการกับข้อมูลที่มีปริมาณมาก เพื่ อทําการวิเคราะห์ข้อมูลเชิงทํานายผล Surabhi Dwivedi
การเรียนรู้จากประสบการณ์ของข้อมูล ข้อมูลจากอดีตมาทําการวิเคราะห์ ทํานายพฤติกรรม ในอนาคต ü ช่วยในการตัดสินใจในทางธุรกิจ 13736 การจั ด การความรู้ แ ละบิ ก ดาตา
16
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
การวิเคราะห์บิกดาตา มาฮาวท์
อาปาเชมาฮาวท์
ü ประกอบไปด้วยหลายเทคนิค • หลักสถิติ • การเรียนรู้ของเครื่อง • การทําเหมืองข้อมูลในทางธุรกิจนั้น
Surabhi Dwivedi
ü การวิเคราะห์ข้อมูลเชิงทํานาย เป็นการสร้างโมเดล จากข้อมูลในอดีต ความเสี่ยง เพื่ อหาโอกาส
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
17
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
การประยุกต์จัดหมวดหมู่หนังสือในห้องสมุด อาปาเชมาฮาวท์
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
18
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
การวิเคราะห์บิกดาตา
พาวเวอร์บีไอ (Power BI) พาวเวอร์บีไอ เครื่องมือในการวิเคราะห์ข้อมูลธุรกิจ
โดดเด่นในการสร้างรายงาน ü สร้างรายงานแบบมุมมอง 360 องศา ประกอบการตัดสินใจแบบรวมศูนย์ หลาย ๆ รูปแบบ ü เห็นข้อมูลจากการวิเคราะห์ ü เลือกดูข้อมูลในมุมที่ต้องการ ü อัปเดตข้อมูลแบบเรียลไทม์ ü แสดงผลได้จากหลายอุปกรณ์ powerbi.microsoft.com
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
19
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
การแสดงข้อมูลVisualization พาวเวอร์บีไอ (Power BI)
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
20
Module 08 ▶ หลักการทํางานพื้ นฐานและการวิเคราะห์บิกดาตา อาจารย์ผู้สอน ▶ ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด
ขอขอบคุณ นักศึกษา ข้อสงสัย
สอบถาม
walisa.rom@stou.ac.th
ผู้ช่วยศาสตราจารย์ ดร.วฤษาย์ ร่มสายหยุด สาขาวิ ช าวิ ท ยาศาสตร์ แ ละเทคโนโลยี มหาวิ ท ยาลั ย สุ โ ขทั ย ธรรมาธิ ร าช
13736 การจั ด การความรู้ แ ละบิ ก ดาตา
21