Skip to main content

Login for students

Login for employees

Publication detail

A Proposal of a Big Web Data Application and Archive for the Distributed Data Processing with Apache Hadoop
Authors: Lněnička Martin | Hovad Jan | Komárková Jitka
Year: 2015
Type of publication: článek ve sborníku
Name of source: Computational Collective Intelligence. Proceedings. Part II.
Publisher name: Springer International Publishing AG
Place: Cham
Page from-to: 285-294
Titles:
Language Name Abstract Keywords
cze Návrh big web data aplikace a archivu pro distribuované zpracování dat s Apache Hadoop V posledních letech se stal velmi populárním výzkum zabývající se zpracováním big dat, ukládáním těchto dat a dalšími tématy v oblasti analýzy nad těmito daty. Tento příspěvek popisuje návrh big web data aplikace a archivu pro distribuované zpracování dat s Apache Hadoop, včetně rámce s vybranými metodami, které mohou být použity s touto platformou. Dále příspěvek navrhuje pracovní postup pro vytvoření web content mining aplikace a archivu pro big data, který využívá moderní technologie jako je Python, PHP, JavaScript, MySQL a cloudové služby. Zároveň také obsahuje podrobný přehled o použité architektuře, metodách a datových strukturách v kontextu web miningu, distribuovaného zpracování a analýzy big dat. Big web data; analýza big dat; web content mining; distribuované zpracování dat; Python; Apache Hadoop
eng A Proposal of a Big Web Data Application and Archive for the Distributed Data Processing with Apache Hadoop In recent years, research on big data, data storage and other topics that represent innovations in the analytics field has become very popular. This paper describes a proposal of a big web data application and archive for the distributed data processing with Apache Hadoop, including the framework with selected methods, which can be used with this platform. It proposes a workflow to create a web content mining application and a big data archive, which uses modern technologies like Python, PHP, JavaScript, MySQL and cloud services. It also shows the overview about the architecture, methods and data structures used in the context of web mining, distributed processing and big data analytics. Big web data; big data analytics; web content mining; distributed data processing; Python; Apache Hadoop