Submit Search
Upload
بیگ دیتا
•
15 likes
•
4,505 views
Hamed Azizi
Follow
بیگ دیتا هادوپ حامد عزیزی دانشکده فنی تهران جنوب Hazizi.ir
Read less
Read more
Software
Report
Share
Report
Share
1 of 27
Download now
Download to read offline
Recommended
Introduction to Hadoop and Spark - اسلاید کارگاه آموزش هدوپ و اسپارک شیراز
Introduction to Hadoop and Spark - اسلاید کارگاه آموزش هدوپ و اسپارک شیراز
Mobin Ranjbar
Big data بزرگ داده ها
Big data بزرگ داده ها
Omid Sohrabi
Big data analytics - hadoop
Big data analytics - hadoop
Vishwajeet Jadeja
openstack designate
openstack designate
Yashar Esmaildokht
HBASE Overview
HBASE Overview
Sampath Rachakonda
Deep Dive on Amazon Redshift
Deep Dive on Amazon Redshift
Amazon Web Services
Apache Kylin on HBase: Extreme OLAP engine for big data
Apache Kylin on HBase: Extreme OLAP engine for big data
Shi Shao Feng
Chicago Data Summit: Apache HBase: An Introduction
Chicago Data Summit: Apache HBase: An Introduction
Cloudera, Inc.
Recommended
Introduction to Hadoop and Spark - اسلاید کارگاه آموزش هدوپ و اسپارک شیراز
Introduction to Hadoop and Spark - اسلاید کارگاه آموزش هدوپ و اسپارک شیراز
Mobin Ranjbar
Big data بزرگ داده ها
Big data بزرگ داده ها
Omid Sohrabi
Big data analytics - hadoop
Big data analytics - hadoop
Vishwajeet Jadeja
openstack designate
openstack designate
Yashar Esmaildokht
HBASE Overview
HBASE Overview
Sampath Rachakonda
Deep Dive on Amazon Redshift
Deep Dive on Amazon Redshift
Amazon Web Services
Apache Kylin on HBase: Extreme OLAP engine for big data
Apache Kylin on HBase: Extreme OLAP engine for big data
Shi Shao Feng
Chicago Data Summit: Apache HBase: An Introduction
Chicago Data Summit: Apache HBase: An Introduction
Cloudera, Inc.
Apache Iceberg Presentation for the St. Louis Big Data IDEA
Apache Iceberg Presentation for the St. Louis Big Data IDEA
Adam Doyle
Introduction to HiveQL
Introduction to HiveQL
kristinferrier
Hadoop Hive Tutorial | Hive Fundamentals | Hive Architecture
Hadoop Hive Tutorial | Hive Fundamentals | Hive Architecture
Skillspeed
Hive Tutorial | Hive Architecture | Hive Tutorial For Beginners | Hive In Had...
Hive Tutorial | Hive Architecture | Hive Tutorial For Beginners | Hive In Had...
Simplilearn
Databricks and Logging in Notebooks
Databricks and Logging in Notebooks
Knoldus Inc.
Virtualization
Virtualization
Kingston Smiler
Hadoop Tutorial For Beginners
Hadoop Tutorial For Beginners
Dataflair Web Services Pvt Ltd
Apache Hive Tutorial
Apache Hive Tutorial
Sandeep Patil
Hive on Spark の設計指針を読んでみた
Hive on Spark の設計指針を読んでみた
Recruit Technologies
6.hive
6.hive
Prashant Gupta
Cloud Storage
Cloud Storage
VishalR50
Spark Summit EU talk by Kent Buenaventura and Willaim Lau
Spark Summit EU talk by Kent Buenaventura and Willaim Lau
Spark Summit
Deploying MariaDB databases with containers at Nokia Networks
Deploying MariaDB databases with containers at Nokia Networks
MariaDB plc
Introduction to Hadoop and Hadoop component
Introduction to Hadoop and Hadoop component
rebeccatho
Services comparison among Microsoft Azure AWS and Google Cloud Platform
Services comparison among Microsoft Azure AWS and Google Cloud Platform
indu Yadav
HBase Tutorial For Beginners | HBase Architecture | HBase Tutorial | Hadoop T...
HBase Tutorial For Beginners | HBase Architecture | HBase Tutorial | Hadoop T...
Simplilearn
Masterclass Live: Amazon EMR
Masterclass Live: Amazon EMR
Amazon Web Services
Part 2: Apache Kudu: Extending the Capabilities of Operational and Analytic D...
Part 2: Apache Kudu: Extending the Capabilities of Operational and Analytic D...
Cloudera, Inc.
Cloudera Hadoop Distribution
Cloudera Hadoop Distribution
Thisara Pramuditha
Introduction to YARN and MapReduce 2
Introduction to YARN and MapReduce 2
Cloudera, Inc.
کلان داده کاربردها و چالش های آن
کلان داده کاربردها و چالش های آن
Hamed Azizi
عظيم داده چيست؟
عظيم داده چيست؟
digidanesh
More Related Content
What's hot
Apache Iceberg Presentation for the St. Louis Big Data IDEA
Apache Iceberg Presentation for the St. Louis Big Data IDEA
Adam Doyle
Introduction to HiveQL
Introduction to HiveQL
kristinferrier
Hadoop Hive Tutorial | Hive Fundamentals | Hive Architecture
Hadoop Hive Tutorial | Hive Fundamentals | Hive Architecture
Skillspeed
Hive Tutorial | Hive Architecture | Hive Tutorial For Beginners | Hive In Had...
Hive Tutorial | Hive Architecture | Hive Tutorial For Beginners | Hive In Had...
Simplilearn
Databricks and Logging in Notebooks
Databricks and Logging in Notebooks
Knoldus Inc.
Virtualization
Virtualization
Kingston Smiler
Hadoop Tutorial For Beginners
Hadoop Tutorial For Beginners
Dataflair Web Services Pvt Ltd
Apache Hive Tutorial
Apache Hive Tutorial
Sandeep Patil
Hive on Spark の設計指針を読んでみた
Hive on Spark の設計指針を読んでみた
Recruit Technologies
6.hive
6.hive
Prashant Gupta
Cloud Storage
Cloud Storage
VishalR50
Spark Summit EU talk by Kent Buenaventura and Willaim Lau
Spark Summit EU talk by Kent Buenaventura and Willaim Lau
Spark Summit
Deploying MariaDB databases with containers at Nokia Networks
Deploying MariaDB databases with containers at Nokia Networks
MariaDB plc
Introduction to Hadoop and Hadoop component
Introduction to Hadoop and Hadoop component
rebeccatho
Services comparison among Microsoft Azure AWS and Google Cloud Platform
Services comparison among Microsoft Azure AWS and Google Cloud Platform
indu Yadav
HBase Tutorial For Beginners | HBase Architecture | HBase Tutorial | Hadoop T...
HBase Tutorial For Beginners | HBase Architecture | HBase Tutorial | Hadoop T...
Simplilearn
Masterclass Live: Amazon EMR
Masterclass Live: Amazon EMR
Amazon Web Services
Part 2: Apache Kudu: Extending the Capabilities of Operational and Analytic D...
Part 2: Apache Kudu: Extending the Capabilities of Operational and Analytic D...
Cloudera, Inc.
Cloudera Hadoop Distribution
Cloudera Hadoop Distribution
Thisara Pramuditha
Introduction to YARN and MapReduce 2
Introduction to YARN and MapReduce 2
Cloudera, Inc.
What's hot
(20)
Apache Iceberg Presentation for the St. Louis Big Data IDEA
Apache Iceberg Presentation for the St. Louis Big Data IDEA
Introduction to HiveQL
Introduction to HiveQL
Hadoop Hive Tutorial | Hive Fundamentals | Hive Architecture
Hadoop Hive Tutorial | Hive Fundamentals | Hive Architecture
Hive Tutorial | Hive Architecture | Hive Tutorial For Beginners | Hive In Had...
Hive Tutorial | Hive Architecture | Hive Tutorial For Beginners | Hive In Had...
Databricks and Logging in Notebooks
Databricks and Logging in Notebooks
Virtualization
Virtualization
Hadoop Tutorial For Beginners
Hadoop Tutorial For Beginners
Apache Hive Tutorial
Apache Hive Tutorial
Hive on Spark の設計指針を読んでみた
Hive on Spark の設計指針を読んでみた
6.hive
6.hive
Cloud Storage
Cloud Storage
Spark Summit EU talk by Kent Buenaventura and Willaim Lau
Spark Summit EU talk by Kent Buenaventura and Willaim Lau
Deploying MariaDB databases with containers at Nokia Networks
Deploying MariaDB databases with containers at Nokia Networks
Introduction to Hadoop and Hadoop component
Introduction to Hadoop and Hadoop component
Services comparison among Microsoft Azure AWS and Google Cloud Platform
Services comparison among Microsoft Azure AWS and Google Cloud Platform
HBase Tutorial For Beginners | HBase Architecture | HBase Tutorial | Hadoop T...
HBase Tutorial For Beginners | HBase Architecture | HBase Tutorial | Hadoop T...
Masterclass Live: Amazon EMR
Masterclass Live: Amazon EMR
Part 2: Apache Kudu: Extending the Capabilities of Operational and Analytic D...
Part 2: Apache Kudu: Extending the Capabilities of Operational and Analytic D...
Cloudera Hadoop Distribution
Cloudera Hadoop Distribution
Introduction to YARN and MapReduce 2
Introduction to YARN and MapReduce 2
Viewers also liked
کلان داده کاربردها و چالش های آن
کلان داده کاربردها و چالش های آن
Hamed Azizi
عظيم داده چيست؟
عظيم داده چيست؟
digidanesh
Introduction to Apache Hadoop in Persian - آشنایی با هدوپ
Introduction to Apache Hadoop in Persian - آشنایی با هدوپ
Mobin Ranjbar
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
Mobin Ranjbar
A Story of Big Data:Introduction
A Story of Big Data:Introduction
Mobin Ranjbar
Big Data and select suitable tools
Big Data and select suitable tools
Meghdad Hatami
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
Hamed Azizi
Big Data Processing in Cloud Computing Environments
Big Data Processing in Cloud Computing Environments
Farzad Nozarian
K-Means clustring @jax
K-Means clustring @jax
Ajay Iet
91353111 datamining
91353111 datamining
Saeid Habibpour
Data clustring
Data clustring
Salman Memon
داده کاوی
داده کاوی
Taha Mokfi
هادوپ چيست؟
هادوپ چيست؟
digidanesh
تحلیل احساسات در شبکه های اجتماعی
تحلیل احساسات در شبکه های اجتماعی
Hamed Azizi
بررسی کاربردها و چالش های کلان داده در تحلیل عقاید
بررسی کاربردها و چالش های کلان داده در تحلیل عقاید
Hamed Azizi
فناوریهای حوزهی کلان داده - Introduction to Big Data Technologies
فناوریهای حوزهی کلان داده - Introduction to Big Data Technologies
Ehsan Asgarian
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
Frank Oellien
Distributed System
Distributed System
Iqra khalil
Internet of Things Security Challlenges
Internet of Things Security Challlenges
quickheal_co_ir
تشخیص انجمن در مقیاس کلان داده
تشخیص انجمن در مقیاس کلان داده
Navid Sedighpour
Viewers also liked
(20)
کلان داده کاربردها و چالش های آن
کلان داده کاربردها و چالش های آن
عظيم داده چيست؟
عظيم داده چيست؟
Introduction to Apache Hadoop in Persian - آشنایی با هدوپ
Introduction to Apache Hadoop in Persian - آشنایی با هدوپ
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
A Story of Big Data:Introduction
A Story of Big Data:Introduction
Big Data and select suitable tools
Big Data and select suitable tools
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
Big Data Processing in Cloud Computing Environments
Big Data Processing in Cloud Computing Environments
K-Means clustring @jax
K-Means clustring @jax
91353111 datamining
91353111 datamining
Data clustring
Data clustring
داده کاوی
داده کاوی
هادوپ چيست؟
هادوپ چيست؟
تحلیل احساسات در شبکه های اجتماعی
تحلیل احساسات در شبکه های اجتماعی
بررسی کاربردها و چالش های کلان داده در تحلیل عقاید
بررسی کاربردها و چالش های کلان داده در تحلیل عقاید
فناوریهای حوزهی کلان داده - Introduction to Big Data Technologies
فناوریهای حوزهی کلان داده - Introduction to Big Data Technologies
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
Distributed System
Distributed System
Internet of Things Security Challlenges
Internet of Things Security Challlenges
تشخیص انجمن در مقیاس کلان داده
تشخیص انجمن در مقیاس کلان داده
Similar to بیگ دیتا
آشنایی با Hadoop
آشنایی با Hadoop
nasser rezaei
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
Farafekr Technology
Bi and data mining with Oracle
Bi and data mining with Oracle
ghanadbashi
توسعه نرمافزارهای مقیاسپذیر بر اساس معماری ریزسرویسها (Microservices) و اجر...
توسعه نرمافزارهای مقیاسپذیر بر اساس معماری ریزسرویسها (Microservices) و اجر...
Web Standards School
Microsoft BI Sumery
Microsoft BI Sumery
Reza Bahadorizadeh
داده های عظیم چگونه دنیا را تغییر خواهند داد
داده های عظیم چگونه دنیا را تغییر خواهند داد
Farzad Khandan
دادهکاوی و زبان برنامهنویسی R
دادهکاوی و زبان برنامهنویسی R
جشنوارهٔ روز آزادی نرمافزار تهران
پردازش ابری و امنیت سایبری
پردازش ابری و امنیت سایبری
Amin Younesi
cloud services for libraries
cloud services for libraries
mahboubeh ghorbani
IranOUG_Oracle_Multitenant
IranOUG_Oracle_Multitenant
Oracle Freelancer
مقدمه ای بر جمع آوری اطلاعات
مقدمه ای بر جمع آوری اطلاعات
iuvmtech
Oracle نوشته مهندس اسمعیل دخت
Oracle نوشته مهندس اسمعیل دخت
Yashar Esmaildokht
Oracle_Database_12c_Most_Important_New_Features_Persian
Oracle_Database_12c_Most_Important_New_Features_Persian
Armin Valadkhani
اسلايد آموزشي هوش تجاري
اسلايد آموزشي هوش تجاري
Ali Masoombeigi
Opendata and business - داده های باز و کسب و کار
Opendata and business - داده های باز و کسب و کار
efazati
Efazati opendata slides
Efazati opendata slides
Hosseinieh Ershad Public Library
Sharding
Sharding
Ali Hallaji
ورودی خروجی Hadoop
ورودی خروجی Hadoop
nasser rezaei
Crisp dm.1.0
Crisp dm.1.0
ali ahmadi
Data streaming & kafka
Data streaming & kafka
mohadesedashti
Similar to بیگ دیتا
(20)
آشنایی با Hadoop
آشنایی با Hadoop
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
Bi and data mining with Oracle
Bi and data mining with Oracle
توسعه نرمافزارهای مقیاسپذیر بر اساس معماری ریزسرویسها (Microservices) و اجر...
توسعه نرمافزارهای مقیاسپذیر بر اساس معماری ریزسرویسها (Microservices) و اجر...
Microsoft BI Sumery
Microsoft BI Sumery
داده های عظیم چگونه دنیا را تغییر خواهند داد
داده های عظیم چگونه دنیا را تغییر خواهند داد
دادهکاوی و زبان برنامهنویسی R
دادهکاوی و زبان برنامهنویسی R
پردازش ابری و امنیت سایبری
پردازش ابری و امنیت سایبری
cloud services for libraries
cloud services for libraries
IranOUG_Oracle_Multitenant
IranOUG_Oracle_Multitenant
مقدمه ای بر جمع آوری اطلاعات
مقدمه ای بر جمع آوری اطلاعات
Oracle نوشته مهندس اسمعیل دخت
Oracle نوشته مهندس اسمعیل دخت
Oracle_Database_12c_Most_Important_New_Features_Persian
Oracle_Database_12c_Most_Important_New_Features_Persian
اسلايد آموزشي هوش تجاري
اسلايد آموزشي هوش تجاري
Opendata and business - داده های باز و کسب و کار
Opendata and business - داده های باز و کسب و کار
Efazati opendata slides
Efazati opendata slides
Sharding
Sharding
ورودی خروجی Hadoop
ورودی خروجی Hadoop
Crisp dm.1.0
Crisp dm.1.0
Data streaming & kafka
Data streaming & kafka
بیگ دیتا
1.
شده توزیع داده
پایگاه و داده کالن خدا نام به Hadoop
2.
بررسی مورد های
موضوع •داده کالن تعریف •دنیا در اطالعات تولید روند •ای رابطه غیر های داده پایگاه •Hadoop •ساختارHadoop •HDFS •Map-Reduce •مثالMap-Reduce •گیری نتیجه 01 1/26
3.
تعریفBIG Data 01 موسسه که
تعریفیگارتنردارد داده کالن از: کالندارایی دادههاییحجم باباال ،فزاینده تولید سرعت می باال تنوع با اطالعاتیباشند پردازش از جدیدی اشکال به نیاز کهدارند بینش ، گیری تصمیم قدرت بتوانند تاکشف دهند افزایش را فرآیند سازی بهینه و 2/26
4.
اینترنت دنیای از
ارقام و آمار
5.
01 1میلیاردبازدیددرماهتوسطکاربران مختلف بیشاز6میلیاردساعتویدیودرهرماه توسطکاربرانمشاهدهمیشود درهردقیقه100ساعتویدیوآپلود میشود. 80درصدترافیکازخارجآمریکاوارد سایتمیشود. April 2014 بیشازیکمیلیاردکاربر 618میلیونکاربرفعالیکهروزانهاطالعاتخودرا بررسیمیکنند. 570میلیونمشاهدهصفحاتدرماه روزانهبیشاز300میلیونعکسآپلودمیشود معادلحدود3میلیاردعکسدرماهکهتاکنونتعداد اینتصاویرفراتراز240میلیاردبودهاست. پردازشونمایشبیشاز1.2میلیاردعکسدرثانیه روزانه500ترابایتاضافه جدید
اطالعاتمیشود. حدود ارتباط30جهان سراسر در سرور هزار February 2013 4/26
6.
01 از بیش12جستجوی درخواست
میلیارد ماهیانه نزدیک70آمریکا در جستجوها درصد April 2014 October 2012 500روزانه رشد با کاربر میلیون150،000کاربر 200فعال کاربر میلیون روزانه540توییت میلیون! از بیش آپلود40روز در عکس میلیون 8500ثانیه هر در الیک از بیش ثانیه هر در1000در نظرمورد می نوشته کاربران توسط تصاویرشود. January 2013 5/26
7.
01 یکتیغهتوربینگازکهبهمنظورتولیدبرقبه کارمیرودروزانه520گیگابایتاطالعاتتولید میکندکهدرهرتوربین20عددازاینتیغهها وجوددارد. ها ماشین تولیدی
اطالعات حجم الگبه مربوطروترها،سوییچ، ها فایروالو... الگبه مربوطسنسورها الگها دوربین مربوط و... 6/26
8.
NO-SQL
9.
01 مدلایرابطهسال در۱۹۷۰توسطادگارکادمطرحشد. مدلStructured Query
Language مشکالت داده کالن محیط یک در پاسخگویی عدم ابری محیط در مناسب و بنیادی سازگاری عدم باال پذیری مقیاس عدم 8/26
10.
01 توسط بار نخستین
برایCarlo Strozziدر سال1998شد مطرح مفهوم این. داده های پایگاه نوع این به بعد مدتیNoREL یاNot Only Relational مدلNot Only SQL های داده پایگاه سمت به گذارNO SQL های محدودیت و مشکالت دلیل بهSQL م های محدودیت دلیل به بلکه ، نبودهدل بوده ای رابطهاست. 9/26
11.
01 سهمفومتحت دادهای های
پایگاه در اصلیوب •سازگاریConsistency همهنودهادارند دسترسی زمانی واحد یک در یکسان داده یک به. •پذیری دسترسیAvailability باشد داشته جوابی باید درخواست هر. •بخشبخشسیستم سازیPartitioning از یکی در اطالعات رفتن بین از هرگونه صورت در سیستمنودهابخش افتادن کار از یا واز ی دهد ادامه خود کار به ها داده دیگر با بتواند سیستم. 10/26
12.
01 نظریهCAP •سال در2000نظریهCAPتوسط •Eric Brewerشد
مطرح. •کسب توانایی فقط و فقطدومورد زمان یک در 11/26
13.
01 مناسب داده پایگاه
انتخاب چگونگی •کم خواندن توالی و باال نوشتن توالی با های داده:شمارندهتل اطالعات ،سکوپ •کم نوشتن توالی و باال خواندن توالی با های داده:اسناد مثلHtmlو تصاویر ،... •ک بسیار خدمات توقف با و باال بودن دسترس در قبیل از کاربردهاییم •دادههاییشوند همگام جغرافیایی مختلف نقاط در باید که. 12/26
14.
15.
01 Apache Hadoop اجرا برای
که است پردازشی کلی چارچوب یک هادوپ ،ساده زبان بهی پرسمجموعه روی تکراری عملیات دیگر و وجوهاداده هایبا عظیم ای حجماست شده طراحی پتابایت حتی و ترابایت های. •خالقهادوپدوگکاتینگ •برایتوزیع از پشتیبانیشدگیج موتور پروژه درستجوی Nutchسال در2005 •نامکرد انتخاب پسرش عروسکی فیل روی از را پروژه. های ویژگیHadoop •باال پذیری دسترسی •عالی پذیری مقیاس •تکثیر قابلیت •قابلیتMap-Reduce 14/26
16.
01 معماریHadoop 15/26
17.
معماریHDFS 16/26
18.
01 Replication درHDFS 17/26
19.
01 از ها شرکت
کدامهادوپ؟ کنند می استفاده 18/26
20.
01 چارچوبMap-Reduce MapReduceتوسطگوگلدرسال2003توسعهداده شد یکچارچوبافزارینرماستکهبستریامنومقیاس پذیربرایتوسعهکاربردهایتوزیعیفراهممیکند. چارچوب از استفاده
مزایایMap-Reduce -موازیسازیکارهابهصورتخودکار -تعادلدربارمحاسباتیوداده -بهینهسازیدرانتقاالتدیسکوشبکه -ادارهکردنهاینقصرخدادهدرهاماشین 19/26
21.
01 Map-Reduce 20/26
22.
01 نگاشت چارچوب از
مثالی-کاهش 21/26
23.
01 نگاشت چارچوب از
مثالی-کاهش 22/26
24.
01 نگاشت چارچوب از
مثالی-کاهش 23/26
25.
01 نگاشت چارچوب از
مثالی-کاهش 24/26
26.
های داده پایگاه
سمت به گذارNO SQLهای محدودیت و مشکالت دلیل بهSQLبه بلکه ، نبوده بوده ای رابطه مدل های محدودیت دلیلاست. های پایگاهRDBMSکرد خواهند حفظ را خود بازار همیشه. که شود می زمانی به منحصر بیشتر کاربرد3Vشود اثبات. گیری نتیجه 25/26
27.
منابع 26/26
Download now