OPTIMALISASI TERHADAP INFRASTRUKTUR BIG DATA DENGAN MENGGUNAKAN HADOOP
Kata Kunci:
Big Data, Hadoop, Desain Infrastuktur.Abstrak
Infrastruktur Big Data merupakan teknologi yang menyediakan kemampuan untuk menyimpan, memproses, menganalisis, dan memvisualisasikan data yang berukuran besar. Alat dan aplikasi yang digunakan menjadi salah satu tantangan ketika membangun infrastruktur big data. Pada penelitian ini kami menawarkan sebuah strategi baru guna mengoptimasi desain infrastruktur big data yang merupakan bagian penting dalam pengolahan big data dengan cara melakukan analisis kinerja aplikasi yang digunakan pada setiap tahap pemrosesan big data. Proses diawali dari mengumpulkan data yang bersumber dari berita online dengan menggunakan metode web crawler dengan menerapkan aplikasi Scrapy dan Apache Nutch. Selanjutnya menerapkan teknologi Hadoop untuk mempermudah dalam penyimpanan dan komputasi big data secara terdistribusi. No-SQL database Mongo DB dan HBase untuk mempermudah melakukan query data, Setelah itu membangun mesin pencari menggunakan Elasticsearch dan Apache Solr. Data yang tersimpan kemudian di analisis menggunakan Apache Hive, Pig dan Spark. Data yang telah dianalisis kemudian ditampilkan dalam website menggunakan aplikasi Zeppelin, Metabase, Kibana dan Tableau. Skenario pengujian terdiri dari jumlah server dan file yang digunakan. Parameter pengujian mulai dari kecepatan proses, penggunaan memori, penggunaan CPU, throughput dll. Hasil pengujian kinerja setiap aplikasi kemudian dibandingkan dan dianalisis untuk melihat kelebihan dan kekurangan aplikasi sebagai referensi dalam membangun desain infrastruktur yang optimal sesuai dengan kebutuhan penggunanya. Penelitian ini telah menghasilkan dua alternatif desain infrastruktur big data. Infrastruktur yang disarankan sudah diimplementasikan pada node-node komputer di Lab Big Data Pens untuk mengolah big data dari media online dan terbukti dapat berjalan dengan baik.
Referensi
Abidin, Z. (2013). PENYELESAIAN TRAVELING SALESMAN PROBLEM (TSP) MENGGUNAKAN METODE CUTTING PLANE DAN PERANGKAT LUNAK QSopt 1.0. Prosiding Seminar Nasional Sains Mipa Dan Aplikasi (ISBN: 978-602-98559-1-3), 3(3).
Ahdan, S., Gumantan, A., & Sucipto, A. (2021). Program Latihan Kebugaran Jasmani. 2(2), 102–107.
Alat Pemberi Pakan Dan, P., Prayoga, R., Savitri Puspaningrum, A., Ratu, L., & Lampung, B. (2022). Purwarupa Alat Pemberi Pakan Dan Air Minum Untuk Ayam Pedaging Otomatis. Jurnal Teknik Dan Sistem Komputer (JTIKOM, 3(1), 2022.
Aminatun, D., Alita, D., Rahmanto, Y., & Putra, A. D. (2022). Pelatihan Bahasa Inggris Melalui Pembelajaran Interaktif Di Smk Nurul Huda Pringsewu. Journal of Engineering and Information Technology for Community Service, 1(2), 66–71.
Andraini, L., Indonesia, U. T., Lampung, B., Indonesia, U. T., Lampung, B., Surahman, A., Indonesia, U. T., & Lampung, B. (n.d.). Design And Implementation Of 02244 TDS Meter Gravity Sensor And 4502C pH Sensor On Hydroponic.
ANGGARINI, D. R., & PERMATASARI, B. (2020). PENGARUH NILAI TUKAR DOLAR ANGGARINI, D. R., & PERMATASARI, B. (2020). PENGARUH NILAI TUKAR DOLAR DAN INFLASI TERHADAP PEREKONOMIAN INDONESIA. 1(2).DAN INFLASI TERHADAP PEREKONOMIAN INDONESIA. 1(2).
Anggoro, B., Hamidy, F., Putra, A. D., Desa, D., Anggoro, B., Studi, P., Informasi, S., & Indonesia, U. T. (2022). Sistem Informasi Akuntansi Pengelolaan Dana Desa ( Studi Kasus : Desa Isorejo Kec . Bunga Mayang Kab . Lampung Utara ). 2(2), 54–61.
Arrahman, R. (2022). Rancang Bangun Pintu Gerbang Otomatis Menggunakan Arduino Uno R3. Jurnal Portal Data, 2(2), 1–14. http://portaldata.org/index.php/portaldata/article/view/78
Autoridad Nacional del Servicio Civil. (2021). 済無No Title No Title No Title. Angewandte Chemie International Edition, 6(11), 951–952., 4(3), 2013–2015.
Ayu, M., & Sari, F. M. (2021). Exploring English Teachers’ Strategies in Managing Online Learning through Google Classroom. ELT Worldwide: Journal of English Language Teaching, 8(2), 318–330.
Bhakti, F. K., Ahmad, I., Adrian, Q. J., Informasi, S., Teknik, F., & Indonesia, U. T. (2022). PERANCANGAN USER EXPERIENCE APLIKASI PESAN ANTAR DALAM KOTA MENGGUNAKAN METODE DESIGN THINKING ( STUDI KASUS : KOTA BANDAR LAMPUNG ). 3(2), 45–54.
Borman, R. I., Megawaty, D. A., & Attohiroh, A. (2020). Implementasi Metode TOPSIS Pada Sistem Pendukung Keputusan Pemilihan Biji Kopi Robusta Yang Bernilai Mutu Ekspor (Studi Kasus: PT. Indo Cafco Fajar Bulan Lampung). Fountain of Informatics Journal, 5(1), 14–20.
Damuri, A., Riyanto, U., Rusdianto, H., & Aminudin, M. (2021). Implementasi Data Mining dengan Algoritma Naïve Bayes Untuk Klasifikasi Kelayakan Penerima Bantuan Sembako. Jurnal Riset Komputer, 8(6), 219–225. https://doi.org/10.30865/jurikom.v8i6.3655
Di, E., & Negeri, S. M. P. (2021). Pengaruh pembelajaran matematika realistik (pmr) dan penalaran formal siswa terhadap prestasi belajar siswa (. 2(2), 1–16.
Febrian, A., & Fadly, M. (2021). The Impact of Customer Satisfaction with EWOM and Brand Equity on E-Commerce Purchase IntentioFebrian, A., & Fadly, M. (2021). The Impact of Customer Satisfaction with EWOM and Brand Equity on E-Commerce Purchase Intention in Indonesia Moderated by Cultur. Binus Business Review, 12(1), 41–51. https://doi.org/10.21512/bbr.v12i1.6419
Fitri, A., Hasan, Z. A., & Ghani, A. A. (2011). Determining the Effectiveness of Harapan Lake as Flood Retention Pond in Flood Mitigation Effort Determining the Effectiveness of Harapan Lake as Flood Retention Pond in Flood Mitigation Effort. November 2014.
Fitri, A., Hashim, R., & Motamedi, S. (2017). Estimation and validation of nearshore current at the coast of Carey Island, Malaysia. Pertanika Journal of Science and Technology, 25(3), 1009–1018.
Fitri, A., Rossi, F., Suwarni, E., & Rosmalasari, D. (2021). Pelatihan Pembuatan Video Pembelajaran Bagi Guru MA Matha ’ ul Anwar Lampung Pada Masa Pandemi COVID-19. 2(3), 189–196. https://doi.org/10.23960/jpkmt.v2i3.50
Hendrastuty, N., An’Ars, M. G., Damayanti, D., Samsugi, S., Paradisiaca, M., Hutagalung, S., & Mahendra, A. (2022). Pelatihan Jaringan Komputer (Microtik) Untuk Menambah Keahlian Bagi Siswa Sman 8 Bandar Lampung. Journal of Social Sciences and Technology for Community Service (JSSTCS), 3(2), 209. https://doi.org/10.33365/jsstcs.v3i2.2105
Hendrastuty, N., Ihza, Y., Ring Road Utara, J., & Lor, J. (2021). Rancang Bangun Aplikasi Monitoring Santri Berbasis Android. Jdmsi, 2(2), 21–34.
Ilal, Z., Nani, D. A., & Putri, A. D. (2022). Pengaruh Rasio Profitabilitas Terhadap Harga Saham Perusahaan Perbankan yang Terdaftar di Bursa Efek Indonesia pada Tahun 2015 - 2021. Transformasi Manageria: Journal of Islamic Education Management, 3(1), 15–27. https://doi.org/10.47467/manageria.v3i1.2093
Iqbal, M., Gani, R. A., Ahdan, S., Bakri, M., & Wajiran, W. (2018). Analisis Kinerja Sistem Komputasi Grid Menggunakan Perangkat Lunak Globus Toolkit Dan MPICH-G2. CIRCUIT: Jurnal Ilmiah Pendidikan Teknik Elektro, 2(2).
Journal, L., Husna, F. S., & Kuswoyo, H. (2022). THE PORTRAYAL OF POST TRAUMATIC STRESS DISORDER AS SEEN IN THE MAIN CHARACTER IN THE WOMAN IN THE WINDOW. 3(2), 122–130.
Kuswoyo, H., Sujatna, E. T. S., Afrianto, & Rido, A. (2022). „This novel is not totally full of tears...‟: Graduation Resources as Appraisal Strategies in EFL Students‟ Fiction Book Review Oral Presentation. World Journal of English Language, 12(6), 294–303. https://doi.org/10.5430/wjel.v12n6p294
Lestari, F., & Puspaningrum, S. (2021). Pengembangan Denah Sekolah untuk Peningkatan Nilai Akreditasi pada SMA Tunas Mekar Indonesia. 2(2), 1–10.
Lestari, I. D., Samsugi, S., & Abidin, Z. (2020). Rancang Bangun Sistem Informasi Pekerjaan Part Time Berbasis Mobile Di Wilayah Bandar Lampung. TELEFORTECH: Journal of Telematics and Information Technology, 1(1), 18–21.
Maharani, Y. D. (2020). Pengaruh Green Brand Image, Eco – Label, Dan Green Perceived Quality Terhadap Green Purchase Intention Melalui Green Trust.
Mandasari, B., Aminatun, D., Pustika, R., Setiawansyah, S., Megawaty, D. A., Ahmad, I., & Alita, D. (2022). Pendampingan Pembelajaran Bahasa Inggris Bagi Siswa-Siswi Sma/Ma/Smk Di Desa Purworejo Lampung Tengah. Community Development Journal : Jurnal Pengabdian Masyarakat, 3(1), 332–338. https://doi.org/10.31004/cdj.v3i1.4026
Marsheilla Aguss, R., Ameraldo, F., Reynaldi, R., & Rahmawati, A. (2022). Pelatihan Peningkatan Kapasitas Manajemen Olahraga SMAN 1 RAJABASA LAMPUNG SELATAN. Journal of Social Sciences and Technology for Community Service (JSSTCS), 3(2), 306. https://doi.org/10.33365/jsstcs.v3i2.2182
Maskar, S., Indonesia, U. T., & Ability, N. (2020). Materi Bilangan Bulat dan Pecahan untuk Siswa SMP / MTs dengan Pendekatan Pendidikan Matematika Realistik. July 2016.
Maskar, S., Puspaningtyas, N. D., & Puspita, D. (2022). Linguistik Matematika: Suatu Pendekatan untuk Meningkatkan Kemampuan Pemecahan Masalah Non-Rutin Secara Matematis. Mathema Journal E-Issn, 4(2), 118–126. www.oecd.org/pisa/,
Megawaty, D. A., Alita, D., & Dewi, P. S. (2021). Penerapan Digital Library Untuk Otomatisasi. 2(2), 121–127.
Megawaty, D. A., & Putra, M. E. (2020). Aplikasi Monitoring Aktivitas Akademik Mahasiswa Program Studi Informatika Universitas Xyz Berbasis Android. Jurnal Informatika Dan Rekayasa Perangkat Lunak, 1(1), 65–74.
MENANI, ZAELMA, S., & NOVITA, D. (2021). STRATEGI MENINGKATKAN DAYA SAING DAN MERAIH PELUANG MELALUI SOSIAL MEDIA DI UMKM KERIPIK LATEB JAYA BANDAR LAMPUNG. 1(1), 1–9.
Nababan, R. M., & Nurmaily, E. (2021). THE HYPERMASCULINITY AS SEEN IN THE MAIN CHARACTER IN RAMBO : LAST BLOOD MOVIE. 2(1), 25–32.
Najib, M., Satria, D., Mahfud, I., & Surahman, A. (2021). PESAWARAN. 2(2), 108–112.
Nani, D. A., & Ali, S. (2020). Determinants of Effective E-Procurement System: Empirical Evidence from Indonesian Local GovernmeNani, D. A., & Ali, S. (2020). Determinants of Effective E-Procurement System: Empirical Evidence from Indonesian Local Governments. Jurnal Dinamika Akuntansi. Jurnal Dinamika Akuntansi Dan Bisnis, 7(1), 33–50. https://doi.org/10.24815/jdab.v7i1.15671
Nomor, V., Desember, O., Yulyani, V., Furqoni, P. D., Nuryani, D. D., Ahmad, I., & Depari, R. (2022). Poltekita : Jurnal Pengabdian Masyarakat Pernafasan Atas ( ISPA ) paling banyak prevalensinya diderita oleh anak kategori usía perilaku higiene sanitasi yang tidak baik ( Zulaikhah , Soegeng , & Sumarawati , 2017 ). dan puskesmas bersama masyarakat itu se. 3, 971–978. https://doi.org/10.33860/pjpm.v3i4.1547
Novanti, E. A., & Suprayogi, S. (2021). Webtoon’s Potentials to Enhance EFL Students’ Vocabulary. Journal of Research on Language Education (JoRLE), 2(2), 83–87. https://ejurnal.teknokrat.ac.id/index.php/JoRLE/index
Nurkholis, A., Budiman, A., Pasha, D., Ahdan, S., & Andika, R. (2022). DIGITALISASI PELAYANAN ADMINISTRASI SURAT PADA DESA. 3(1), 21–28.
Nurkholis, A., Megawaty, D. A., & Apriando, M. F. (2022). E-Catalog Application for Food and Beverages At Ruang Seduh Café Based on Augmented Reality. Jurnal Teknoinfo, 16(2), 304. https://doi.org/10.33365/jti.v16i2.1957
Nurkholis, A., & Sitanggang, I. S. (2019). A spatial analysis of soybean land suitability using spatial decision tree algorithm. Sixth International Symposium on LAPAN-IPB Satellite, 11372(December), 113720I. https://doi.org/10.1117/12.2541555
Pajar, M., & Putra, K. (2021). A Novel Method for Handling Partial Occlusion on Person Re-identification using Partial Siamese Network. 12(7), 313–321.
Parinata, D., Puspaningtyas, N. D., & Indonesia, U. T. (2022). STUDI LITERATUR : KEMAMPUAN KOMUNIKASI METEMATIS. 3(2), 94–99.
Pasha, D., Sucipto, A., & Nurkholis, A. (2023). Pelatihan Desain Grafis untuk Meningkatkan Kompetensi Siswa SMKN 1 Padang Cermin. 1(3), 122–125.
Puspaningrum, A. S., Suaidah, S., & Laudhana, A. C. (2020). MEDIA PEMBELAJARAN TENSES UNTUK ANAK SEKOLAH MENENGAH PERTAMA BERBASIS ANDROID MENGGUNAKAN CONSTRUCT 2. Jurnal Informatika Dan Rekayasa Perangkat Lunak, 1(1), 25–35.
Puspaningrum, A. S., & Susanto, E. R. (2021). Penerapan Dan Pelatihan e-Learning Pada SMA Tunas Mekar Indonesia. Jurnal Pengabdian Kepada Masyarakat (JPKM) TABIKPUN, 2(2), 91–100.
Puspito, J., Putra, Y. P., Kurniawan, D., & Setiadi, B. R. (2020). The abilities of vocational high school students in reading of orthogonal projection drawing. Journal of Physics: Conference Series, 1700(1), 6–10. https://doi.org/10.1088/1742-6596/1700/1/012007
Putra, M. W., Darwis, D., & Priandika, A. T. (2021). Pengukuran Kinerja Keuangan Menggunakan Analisis Rasio Keuangan Sebagai Dasar Penilaian Kinerja Keuangan (Studi Kasus: CV Sumber Makmur Abadi Lampung Tengah). Jurnal Ilmiah Sistem Informasi Akuntansi, 1(1), 48–59.
Putri, A. D., & Ghazali, A. (2021). ANALYSIS OF COMPANY CAPABILITY USING 7S MCKINSEY FRAMEWORK TO SUPPORT CORPORATE SUCCESSION ( CASE STUDY : PT X INDONESIA ). 11(1), 45–53. https://doi.org/10.22219/mb.v11i1.
Putri, N. U., Oktarin, P., & Setiawan, R. (2020). Pengembangan Alat Ukur Batas Kapasitas Tas Sekolah Anak Berbasis Mikrokontroler. Jurnal Ilmiah Mahasiswa Kendali Dan Listrik, 1(1), 14–22. https://doi.org/10.33365/jimel.v1i1.189
Rahman Isnain, A., Pasha, D., & Sintaro, S. (2021). Workshop Digital Marketing “Temukan Teknik Pemasaran Secara Daring.” Journal of Social Sciences and Technology for Community Service (JSSTCS), 2(2), 113–120. https://ejurnal.teknokrat.ac.id/index.php/JSSTCS/article/view/1365
Redy, E., Wantoro, A., & Andini, C. (2022). Analysis of recommendations for recipients of COVID-19 cash social assistance financing the ministry of social affairs. 14(2), 126–133.
Rizki, M. A. K., & Op, F. (2021). Rancang Bangun Aplikasi E-Cuti Pegawai Berbasis Website ( Studi Kasus : Pengadilan Tata Usaha Negara ). Jurnal Teknologi Dan Sistem Informasi (JTSI), 2(3), 1–13.
Rumandan, R. J., Nuraini, R., Sadikin, N., & Rahmanto, Y. (2022). Klasifikasi Citra Jenis Daun Berkhasiat Obat Menggunakan Algoritma Jaringan Syaraf Tiruan Extreme Learning Machine. 4(1). https://doi.org/10.47065/josyc.v4i1.2586
Samsugi, S., Nurkholis, A., Permatasari, B., Candra, A., & Prasetyo, A. B. (2021). Internet of Things Untuk Peningkatan Pengetahuan Teknologi Bagi Siswa. Journal of Technology and Social for Community Service (JTSCS), 2(2), 174.
Samsugi, S., & Suwantoro, A. (2018). Pemanfaatan Peltier dan Heater Sebagai Alat Pengontrol Suhu Air Pada Bak Penetasan Telur Ikan Gurame. Conf. Inf. Technol, 295–299.
Saputra, V. H., & Pasha, D. (2021). Comics as Learning Medium During the Covid-19 Pandemic. Proceeding International Conference on Science and Engineering, 4, 330–334.
Sari, T. D. R. (2021). Pemahaman Laporan Keuangan Bagi Entrepreneur Muda. SINAR SANG SURYA: Jurnal Pusat Pengabdian …, 5(2), 122–127. http://ojs.ummetro.ac.id/index.php/sinarsangsurya/article/view/1662
Setiawan, A., Lina, L. F., & Novita, D. (2021). PENERAPAN STRATEGI PEMASARAN DIGITAL DI GARAGE AWAN CARBON BANDAR LAMPUNG. 1(1), 22–25.
Sindangpt, J. C., & Djaya, D. (2019). Perancangan Pilar Portal Struktur Jembatan Cikeruh Ruas. 00, 237–244.
Soraya, A., & Wahyudi, A. D. (2021). Rancang bangun aplikasi penjualan dimsun berbasis web. Teknologi Dan Sistem Informasi (JTSI), 2(4), 43–48.
Styawati, Andi Nurkholis, Zaenal Abidin, & Heni Sulistiani. (2021). Optimasi Parameter Support Vector Machine Berbasis Algoritma Firefly Pada Data Opini Film. Jurnal RESTI (Rekayasa Sistem Dan Teknologi Informasi), 5(5), 904–910. https://doi.org/10.29207/resti.v5i5.3380
Sugama Maskar, Nicky Dwi Puspaningtyas, Putri Sukma Dewi, Putri M. Asmara, I. M. (2022). Perguruan Tinggi Bagi Masyarakatadesa Hanura-. 3(1), 324–331.
Sulistiani, H., Hamidy, F., Isnain, A. R., Yasin, I., & Mersita, R. (2022). Google Spreadsheet Training for Teacher at SMK N 1 Padang Cermin. 1(2), 72–75.
Sulistiani, H., Yuliani, A., & Hamidy, F. (2021). Perancangan Sistem Informasi Akuntansi Upah Lembur Karyawan Menggunakan Extreme Programming. Technomedia Journal, 6(1 Agustus).
Surahman, A., Octaniansyah, A. F., & Darwis, D. (2020). Teknologi Web Crawler Sebagai Alat Pengembangan Market Segmentasi Untuk Mencapai Keunggulan Bersaing Pada E-Marketplace. Jurnal Komputer Dan Informatika, 15(1), 118–126.
Suwarni, E., & Handayani, M. A. (2021). Development of Micro, Small and Medium Enterprises (MSME) to Suwarni, E., & Handayani, M. A. (2021). Development of Micro, Small and Medium Enterprises (MSME) to Strengthen Indonesia’s Economic Post COVID-19. Business Management and Strategy, 12(2), 19. h. Business Management and Strategy, 12(2), 19. https://doi.org/10.5296/bms.v12i2.18794
Utami, A. R., Aminatun, D., & Fatriana, N. (2020). STUDENT WORKBOOK USE: DOES IT STILL MATTER TO THE EFFECTIVENESS OF STUDENTS’LEARNING? Journal of English Language Teaching and Learning, 1(1), 7–12.
Utami Putri, N., Persada Sembiring, J., Jayadi, A., Jafar Adrian, Q., & Sudana, I. W. (2022). Pelatihan Doorlock Bagi Siswa/Siswi Mas Baitussalam Miftahul Jannah Lampung Tengah. Journal of Social Sciences and Technology for Community Service (JSSTCS), 3(2), 198. https://doi.org/10.33365/jsstcs.v3i2.2022
Widodo, T., Irawan, B., Prastowo, A. T., & Surahman, A. (2020). Sistem Sirkulasi Air Pada Teknik Budidaya Bioflok Menggunakan Mikrokontroler Arduino Uno R3. Jurnal Teknik Dan Sistem Komputer, 1(2), 1–6.
Wijaya, A., Hendrastuty, N., & Ghufroni An, M. (2022). Rancang Bangun Sistem Informasi Manajemen Kepegawaian (Simpeg) Berbasis Web (Studi Kasus: Pt Sembilan Hakim Nusantara). Jurnal Teknologi Dan Sistem Informasi (JTSI), 3(1), 77. http://jim.teknokrat.ac.id/index.php/JTSI
Yuliana, Y., Paradise, P., & Kusrini, K. (2021). Sistem Pakar Diagnosa Penyakit Ispa Menggunakan Metode Naive Bayes Classifier Berbasis Web. CSRID (Computer Science Research and Its Development Journal), 10(3), 127. https://doi.org/10.22303/csrid.10.3.2018.127-138
Yusuf, N. (2021). The Effect of Online Tutoring Applications on Student Learning Outcomes during the COVID-19 Pandemic. Italienisch, 11(2), 81–88. http://www.italienisch.nl/index.php/VerlagSauerlander/article/view/100
Маркова, Т. Н., Стас, М. С., Анчутина, А. А., & Чибисова, В. В. (2022). Оценка Влияния Инициации Терапии Агонистами Рецепторов Глюкагоноподобного Пептида 1 На Исходы У Пациентов С Сахарным Диабетом 2 Типа, Госпитализированных С Коронавирусной Инфекцией. https://doi.org/10.14341/conf05-08.09.22-132
