비즈니스 트렌드(BUSINESS Trend)/빅데이터(BIG DATA)5 big data platform written by http://hochul.net/blog/bigdata-architecture-realtime-batch-hadoopeco/ [DBGuide.net] 연재 글 – 빅데이터 플랫폼 아키텍처의 두 가지이전 글에 “빅데이터 분석의 또 다른 패러다임 – 실시간(Real-time)”에서 비교했던, 두 가지, Hadoop 기반의 배치(Batch)처리와 CEP 아키텍처 기반의 실시간(Real-time)처리에 대해 전반적인 Eco-System을 설명하고자 한다.Hadoop Eco-system 기반의 Batch(배치)처리 아키텍처 일반빅데이터 처리 플랫폼의 대명사는 Hadoop Eco-System이다. Hadoop Eco-System의 구성요소는 아주 다양하지만, 각 Layer별 대표적인 것만 나열하.. 2016. 6. 4. [Hadoop] 개념이해 및 설치하기 [Hadoop] 개념이해 및 설치하기Hadoop/Concept왜 빅데이터가 이슈가 되고 있을까? HW와 SW의 가격은 저렴해지고, 표준은 평준화 되고 접근이 수워지고 있다. 그러나 데이터는 복제나 공유가 되지 않고 자사의 데이터가 돈이 되는 시대가 왔다. 그런 의미에서 하둡은 빅데이터를 처리하는 분야의 SW이다. 하둡 개념 - Input: 분석할 데이터, Output: 결과값 - MasterNode: HDFS-분산파일위치 정보지님 (NameNode) - SlaveNode: 분산된 실 데이터를 저장 (DataNode) - MapReduce/HDFS Layer 영역으로 나뉨 - 역할에 대한 이해하기 Hadoop & MapReduce from Newvewm - JobTracker : Map -> Reduce .. 2015. 1. 14. 빅데이터 사례들 "홍대와 가로수길 여성의류 판매를 보면 가로수길 매장이 더 비싼데 잘팔립니다. 카드 매출을 분석해보니 홍대에서는 여성들의 카드 사용이 많은 반면 가로수길에서는 남성들의 카드 결제가 많았습니다. 여자친구에게 선물하기 위해서인 것이죠. 즉 가로수길에서는 싸다고 팔리는 게 아니라는 통찰을 얻을 수 있습니다." 23일 부산 벡스코에서 열린 '빅데이터 월드 컨벤션(BWC) 2014'에서 최재원 다음소프트 이사는 빅데이터 분석을 통해 의미있는 결과를 얻으려면 이같은 데이터 필터링이 필요하다고 밝혔다. 현재 빅데이터 분석이 가장 잘 활용되는 분야 중 하나가 바로 유통업계다. 롯데,신세계 등 유통업계 강자들은 유동인구 파악 등 상권 분석에 빅데이터를 폭넓게 도입하고 있다. 그러나 부모나 남편, 남자친구 등 타인 명의의.. 2015. 1. 14. 왜 여러분은 주변에 넘치는 데이터를 사용하지 않습니까. "왜 여러분은 주변에 넘치는 데이터를 사용하지 않습니까." 이달 초 미국 라스베이거스에서 열린 '스플렁크 컨퍼런스 2014' 기조연설(키노트)에서 고프리 R. 설리반(Godfrey R. Sullivan) 최고경영자(CEO)가 던진 화두는 데이터의 활용이었다. 설리반 스플렁크 CEO는 상당수의 기업들이 활용할 수 있는 데이터 중에 일부분만쓰는데 만족하고 있다며 보다 많은 데이터를 활용하는데 적극 투자해야 한다고 목소리를 높였다. 연사로 참석한 마이클 코너(Michael Connor) 코카콜라 최고정보담당책임자(CIO)도"모든 데이터의 30%만 제대로 활용한다면 물 위를 걸을 수도 있을 것"이라며 데이터활용의 중요성을 언급하기도 했다. 실제 코카콜라는 사소한 데이터라도 산업과 연계해 활용하기 위한 다양한 실.. 2015. 1. 14. 주목! 9가지 오픈소스 빅 데이터 기술 http://www.ciokorea.com/slideshow/12897?slide=4#mobile_stage_slide 2015. 1. 14. 이전 1 다음