지식나눔

생활 속의 빅데이터 활용, 어디까지?

  • 좋아요
대량의 다양한 정보 뿐만 아니라 신속한 정보의 수집 및 처리속도를 갖춰서 다양하고 복잡한 데이터에서 비즈니스 가치를 찾아내는 과정이 빅데이터 분석입니다. 빅데이터는 머신러닝 등 인공지능(AI)를 활용하면서 그 활용도는 매우 다양하고 성공적인 사례를 산출하고 있습니다.
 
이러한 빅데이터 분석은 컴퓨터의 데이터 저장장치와 처리장치가 엄청난 발전을 하면서 가능케 되었습니다. 방대한 데이터를 저장하는 것도 가능하고, 실시간에 가까운 응답체제도 처리 장치와 통신망이 엄청나게 발전하면서 원활하게 이뤄지게 된 것이지요. 그러면서 데이터를 데이터되게, 즉 유의미하게 만들 수 있게 되었습니다.
 
한 사례로, 앱에 돈을 미리 충전해놓고 원하는 음료를 사전에 주문할 수 있는 시스템을 이용해 한 커피 체인점은 개인 맞춤형 서비스를 빅데이터를 활용해 주문을 늘리고, 커피 값을 올리지 않아 경쟁력을 유지했다고 합니다. 여기서 빅데이터는 개인의 최근 주문 이력과 시간대, 날씨 등이며, 이 데이터를 수집, 분석한 맞춤형 상품을 추천하는 방식이라고 합니다.
 
빅데이터의 활용은 서비스, 바이오, 소셜, 생산, 금융, 통신 등 많은 분야에서 활용되고 있습니다. 과학기술 영역에서 바이오 부문, 특히 헬스케어를 사례는 스마트폰을 통해 개인의 헬스에 대한 자가 진단 및 모니터링을 하면서 개인의 의료 데이터들이 엄청나게 쌓이게 되었고, 이것을 활용하여 새로운 부가가치를 창출하려는 의료기관들의 노력이 빅데이터 기술을 접목하여 시작하게 되었습니다. 구글의 독감예측시스템이 제법 오래된 사례이며, 건강수준을 도시 별로 비교할 수 있도록 미국건강지수(American Fitness Index)를 빅데이터를 활용하여 개발하여 활용하고 있습니다.
 
그렇다면 이런 빅데이터 시대에 있으면서 우리 코세니아들께서는 대학, 연구소 및 기업체 등에서 자체적으로 빅데이터를 어떻게 활용하고 있는지요? 빅데이터를 활용하면서 종전에 얻을 수 없었던 사실을 알게 된 점, 실험 등의 과정을 단축하거나 혁신한 사례, 디지털 데이터를 통한 연구성과를 정리하거나 데이터 관리와 처리의 어려움 등 사례 줌심으로 댓글 참여를 해 주세요.
 
과학자들의 집단 지성이야기
KOSEN 이슈토론에 의견을 작성해 보세요.
의견 11
  • 아이 학습지

    좋아요
    좀 웃긴 얘기일 수 있는데...
    실생활이라고 하니 요즘 AI 학습지가 생각하네요..
    요즘 어린이 학습지가 많이 나오는데 공통으로 나오는 부분은 '빅데이터를 활용한 AI 학습지'라는 문구입니다.
    기존 학습자들의 빅데이터를 수집하여 분석하고 해당 학습자 경향에 맞게 제시한다는 내용인데 그냥 들으면 합리적인 부분 같습니다.
    하지만 얼마나 많은 빅데이터를 가지고 분석하는지, 알고리즘이 무엇인지 알려주지 않은 상태에서 광고로 활용하고 있으니 좀 씁쓸하기는 합니다.

    뭐 요약하면 실생활에 여러 부분에서 알게 모르게 빅데이터는 활용하고 있는 것이 현실이기는 하고, 빅데이터라는 타이틀을 붙이고 부실한 활용이 될 수 있는 것도 현실이지 않을까 합니다.
     
    좀 웃긴 얘기일 수 있는데...
    실생활이라고 하니 요즘 AI 학습지가 생각하네요..
    요즘 어린이 학습지가 많이 나오는데 공통으로 나오는 부분은 '빅데이터를 활용한 AI 학습지'라는 문구입니다.
    기존 학습자들의 빅데이터를 수집하여 분석하고 해당 학습자 경향에 맞게 제시한다는 내용인데 그냥 들으면 합리적인 부분 같습니다.
    하지만 얼마나 많은 빅데이터를 가지고 분석하는지, 알고리즘이 무엇인지 알려주지 않은 상태에서 광고로 활용하고 있으니 좀 씁쓸하기는 합니다.

    뭐 요약하면 실생활에 여러 부분에서 알게 모르게 빅데이터는 활용하고 있는 것이 현실이기는 하고, 빅데이터라는 타이틀을 붙이고 부실한 활용이 될 수 있는 것도 현실이지 않을까 합니다.
     
    등록된 댓글이 없습니다.
  • 빅 데이터의 기원을 찾아서

    좋아요
    90년대 초 대중 과학서 '카오스'가
    많은 인구에 회자되었습니다.
    불확실성과 알수없는 미래에 대한 혹은
    알고 있는 사실관계의 진위에 큰 충격을 주었습니다.

    경영이란 용어를 정립한 드러커 박사가
    정체성이 불분명한 미래학이라는 저자로
    2000년대 초반 서점가를 채우기 시작했습니다.

    외환위기로 폐점하기 전인 종로서적에서
    스티븐 김 교수의 데이터 마이닝을 구입하며
    데이터의 중요성을 인지하기도 했습니다.

    이러한 지극히 개인적이고 단편적인
    기억의 파편을 통해
    장님 코끼리 만지기처럼
    빅 데이터와 인공지능 조합의 가능성에 대한
    장미빛 기대를 해봅니다.

    경제학에서 생산성 3요소는
    노동, 자본, 원료이지만,
    개인적으로는 원래 용어 대신
    인적 경영, 금융 기술, 기술혁신(과학기술)을
    넣고자 합니다.

    생산성 극대화와 휴먼 에러를 없애려는
    목표지향적 용어로 사용된
    빅데이터와 인공지능을
    어떤식으로 받아들일지에 대한
    저의 태도입니다.

    즉, 사족으로 과학기술에 의한
    경제 분야의 불확실성을
    예측가능, 관리가능
    영역으로 끌어들여야 합니다.
    헌법에 명시한 경제분야에
    종속적인 과학기술이 
    아닌 것입니다.

    - - - 

    카오스 이론
    https://en.wikipedia.org/wiki/Chaos_theory

    피터 드러커
    https://en.wikipedia.org/wiki/Peter_Drucker

    데이터 마이닝
    https://books.google.co.kr/books/about/DATA_MINING_IN_FINANCE.html?id=sYeRMgAACAAJ&redir_esc=y

    https://en.wikipedia.org/wiki/Data_mining
    90년대 초 대중 과학서 '카오스'가
    많은 인구에 회자되었습니다.
    불확실성과 알수없는 미래에 대한 혹은
    알고 있는 사실관계의 진위에 큰 충격을 주었습니다.

    경영이란 용어를 정립한 드러커 박사가
    정체성이 불분명한 미래학이라는 저자로
    2000년대 초반 서점가를 채우기 시작했습니다.

    외환위기로 폐점하기 전인 종로서적에서
    스티븐 김 교수의 데이터 마이닝을 구입하며
    데이터의 중요성을 인지하기도 했습니다.

    이러한 지극히 개인적이고 단편적인
    기억의 파편을 통해
    장님 코끼리 만지기처럼
    빅 데이터와 인공지능 조합의 가능성에 대한
    장미빛 기대를 해봅니다.

    경제학에서 생산성 3요소는
    노동, 자본, 원료이지만,
    개인적으로는 원래 용어 대신
    인적 경영, 금융 기술, 기술혁신(과학기술)을
    넣고자 합니다.

    생산성 극대화와 휴먼 에러를 없애려는
    목표지향적 용어로 사용된
    빅데이터와 인공지능을
    어떤식으로 받아들일지에 대한
    저의 태도입니다.

    즉, 사족으로 과학기술에 의한
    경제 분야의 불확실성을
    예측가능, 관리가능
    영역으로 끌어들여야 합니다.
    헌법에 명시한 경제분야에
    종속적인 과학기술이 
    아닌 것입니다.

    - - - 

    카오스 이론
    https://en.wikipedia.org/wiki/Chaos_theory

    피터 드러커
    https://en.wikipedia.org/wiki/Peter_Drucker

    데이터 마이닝
    https://books.google.co.kr/books/about/DATA_MINING_IN_FINANCE.html?id=sYeRMgAACAAJ&redir_esc=y

    https://en.wikipedia.org/wiki/Data_mining
    등록된 댓글이 없습니다.
  • 자동차 부문..

    좋아요
    자동차는 향후 이동 수단을 넘어서 스마트 기기로서의 역할을 할 것으로 예상됩니다.

    현재 저장되는 데이터를 활용하는 부분은 개인정보 보호 관련 법규를 따라야하는 상황이지만, 차량 빅데이터를 통해 운전자의 보험료 연계, 예방 정비 알림, 맞춤형 마케팅 활동 지원이 이론적으로는 가능합니다.
    자동차는 향후 이동 수단을 넘어서 스마트 기기로서의 역할을 할 것으로 예상됩니다.

    현재 저장되는 데이터를 활용하는 부분은 개인정보 보호 관련 법규를 따라야하는 상황이지만, 차량 빅데이터를 통해 운전자의 보험료 연계, 예방 정비 알림, 맞춤형 마케팅 활동 지원이 이론적으로는 가능합니다.
    등록된 댓글이 없습니다.
  • 메쉬 생성 분야에서의 빅데이터 활용

    좋아요
    현재 메쉬생성 분야에서는 어떤 형상의 조합일 경우 어떻게 조합하면 메쉬의 질이 향상이 된다는 것을 데이터화 하여 이를 학습시켜 새로운 형상이 왔을 때 가장 근접한 경우의 조합의 파라메터와 생성방법을 추천하는 방법을 연구하는 것이 시작한지 2-3년 되었습니다.
    아직 기초단계이지만 연구가 잘 진행되면 사람의 개입없이 고품질의 메쉬를 생성하는것에 한걸음 더 나아갈 것으로 보입니다.
    현재 메쉬생성 분야에서는 어떤 형상의 조합일 경우 어떻게 조합하면 메쉬의 질이 향상이 된다는 것을 데이터화 하여 이를 학습시켜 새로운 형상이 왔을 때 가장 근접한 경우의 조합의 파라메터와 생성방법을 추천하는 방법을 연구하는 것이 시작한지 2-3년 되었습니다.
    아직 기초단계이지만 연구가 잘 진행되면 사람의 개입없이 고품질의 메쉬를 생성하는것에 한걸음 더 나아갈 것으로 보입니다.
    등록된 댓글이 없습니다.
  • 빅데이터의 활용

    좋아요
    빅데이터를 이용한 실험은 광범위한 실험군을 연구할 때 시간 단축과 더욱 실험의 유의미한 결과와 신뢰도를 높일 수 있는 아주 좋은방법으로 실제 생명과학 분야 실험에서 사용되고 있습니다. 구체적으로 실험 집단을 많으면 그만큼 신뢰도를 높일 수 있는데 이를 위해 각 기관이나 연구소에서 하는 생명과학 관련 실험 결과 및 실허군의 공유를 적극 하도록 독려해야한다고 생각한다.   
    빅데이터를 이용한 실험은 광범위한 실험군을 연구할 때 시간 단축과 더욱 실험의 유의미한 결과와 신뢰도를 높일 수 있는 아주 좋은방법으로 실제 생명과학 분야 실험에서 사용되고 있습니다. 구체적으로 실험 집단을 많으면 그만큼 신뢰도를 높일 수 있는데 이를 위해 각 기관이나 연구소에서 하는 생명과학 관련 실험 결과 및 실허군의 공유를 적극 하도록 독려해야한다고 생각한다.   
    등록된 댓글이 없습니다.
  • 마케팅에 가장 많이 사용될거 같아요.

    좋아요
    이미 많이 사용되고 있지 않나요?
    구글만 하더라도 사용자의 방대한 빅데이터를 이용하여 몇번만 클릭 해도 이사람이 어떤걸 좋아하겠구나 판대해서 맞춤 광고를 하는 하나의 예가 아닐까 싶네요.
    아무래도 빅데이터 사용은 돈이 되는곳이 먼저일것 같습니다. 
    이미 많이 사용되고 있지 않나요?
    구글만 하더라도 사용자의 방대한 빅데이터를 이용하여 몇번만 클릭 해도 이사람이 어떤걸 좋아하겠구나 판대해서 맞춤 광고를 하는 하나의 예가 아닐까 싶네요.
    아무래도 빅데이터 사용은 돈이 되는곳이 먼저일것 같습니다. 
    등록된 댓글이 없습니다.
  • 사람들의 눈으로 직접 보는것이 중요하죠

    좋아요
    차광판 연구를 진행하면서 차광률에 따른 사람이 물체를 인지하는 정도를 확인하기 위해서

    연구를 진행하고 데이터를 쌓아 목표 값을 정하였는데 이것도 일종의 빅테이터라고 볼 수 있겠죠.
    차광판 연구를 진행하면서 차광률에 따른 사람이 물체를 인지하는 정도를 확인하기 위해서

    연구를 진행하고 데이터를 쌓아 목표 값을 정하였는데 이것도 일종의 빅테이터라고 볼 수 있겠죠.
    등록된 댓글이 없습니다.
  • 빅데이터의 확장성 및 위험성

    좋아요
    빅데이터 도입으로 플랫폼 현상이 더욱 심화되고 있다. 수많은 데이터가 스마트폰, 공간, 사람 간에 교류되며 새로운 사회현상이 발생하고 이에 따른 산업도 생겨나고 있다. 이제는 이러한 빅데이터 플랫폼을 통해 대량의 데이터를 처리하는 능력, 서로 다른 종류의 데이터들을 수집하고 분류하고 통합하는 처리 능력들이 중요한 역량으로 대두된다. 
    우리의 생활도 빅데이터 활용에 의해 다양한 변화가 일어날 것이다. 의료, 소비, 복지, 소통, 업무 등 모든 생활영역에 도입되고 있다. 특히, 스마트 기기가 더욱 인간의 삶에 밀접하게 연결되면서 의사결정에 큰 영향을 미칠 것이다. 자율주행자동차의 최적 경로 설정, 소비자가 구매하는 물품들에 대한 의사결정 지원, 의료서비스 및 법률서비스에 대한 질높은 선택 등 다양한 의사결정에 대한 지원이 가능할 것이다. 
    이것은 또한 인공지능과 연결되어 의사결정에 대한 고도의 서비스를 지원할 수 있게 될텐데, 이에 따른 인간의 존엄성, 자율권, 도덕성, 책임성 등 다양한 윤리도덕적 문제로 뒤따를 수 있다. 그래서 빅데이터에 대한 규제 및 사용범위 체계가 발달되지 않으면 (제도로써) 기술의 발전에 대한 부작용 또한 커질 수 있을 것이다. 

    우리 연구원에서는 모든 기초과학분야의 연구데이터를 생산하고 축적하고 분석지원하는 역할을 하고 있다. 이제 과학기술로 인한 연구데이터가 직접 의료, 환경, 물질, 에너지 등 다양한 사회문제 해결과 산업발전에 기여할 수 있는 플랫폼이 구축되고 있다. 하지만 데이터에 대한 권리, 규제, 활용범위, 소유권 등 법과 제도 개정되고 있지 않아 과학기술 투자에 대한 활용성은 여전히 떨어지고 있다. 그리고 데이터 분류 및 체계, 이종 데이터의 구분 기준 등에 대한 규정이 지속적으로 개발되어야 한다. 

    이제 빅데이터와 인공지능을 통해 R&D에 대한 속도, 연구상용화 속도가 빨라졌고, 실험 및 분석, 측정 등에 대한 처리속도와 신뢰성 평가가 효율적으로 개선되고 있다. 이러한 점은 매우 유용하다고 할 수 있겠다. 

    빅데이터에 대한 사회적 합의와 혁신주체 간 협력, 정부의 적극적 대응을 통한 제도 개선이 뒤따라야 할 것이다. 




     
    빅데이터 도입으로 플랫폼 현상이 더욱 심화되고 있다. 수많은 데이터가 스마트폰, 공간, 사람 간에 교류되며 새로운 사회현상이 발생하고 이에 따른 산업도 생겨나고 있다. 이제는 이러한 빅데이터 플랫폼을 통해 대량의 데이터를 처리하는 능력, 서로 다른 종류의 데이터들을 수집하고 분류하고 통합하는 처리 능력들이 중요한 역량으로 대두된다. 
    우리의 생활도 빅데이터 활용에 의해 다양한 변화가 일어날 것이다. 의료, 소비, 복지, 소통, 업무 등 모든 생활영역에 도입되고 있다. 특히, 스마트 기기가 더욱 인간의 삶에 밀접하게 연결되면서 의사결정에 큰 영향을 미칠 것이다. 자율주행자동차의 최적 경로 설정, 소비자가 구매하는 물품들에 대한 의사결정 지원, 의료서비스 및 법률서비스에 대한 질높은 선택 등 다양한 의사결정에 대한 지원이 가능할 것이다. 
    이것은 또한 인공지능과 연결되어 의사결정에 대한 고도의 서비스를 지원할 수 있게 될텐데, 이에 따른 인간의 존엄성, 자율권, 도덕성, 책임성 등 다양한 윤리도덕적 문제로 뒤따를 수 있다. 그래서 빅데이터에 대한 규제 및 사용범위 체계가 발달되지 않으면 (제도로써) 기술의 발전에 대한 부작용 또한 커질 수 있을 것이다. 

    우리 연구원에서는 모든 기초과학분야의 연구데이터를 생산하고 축적하고 분석지원하는 역할을 하고 있다. 이제 과학기술로 인한 연구데이터가 직접 의료, 환경, 물질, 에너지 등 다양한 사회문제 해결과 산업발전에 기여할 수 있는 플랫폼이 구축되고 있다. 하지만 데이터에 대한 권리, 규제, 활용범위, 소유권 등 법과 제도 개정되고 있지 않아 과학기술 투자에 대한 활용성은 여전히 떨어지고 있다. 그리고 데이터 분류 및 체계, 이종 데이터의 구분 기준 등에 대한 규정이 지속적으로 개발되어야 한다. 

    이제 빅데이터와 인공지능을 통해 R&D에 대한 속도, 연구상용화 속도가 빨라졌고, 실험 및 분석, 측정 등에 대한 처리속도와 신뢰성 평가가 효율적으로 개선되고 있다. 이러한 점은 매우 유용하다고 할 수 있겠다. 

    빅데이터에 대한 사회적 합의와 혁신주체 간 협력, 정부의 적극적 대응을 통한 제도 개선이 뒤따라야 할 것이다. 




     
    등록된 댓글이 없습니다.
  • 뭐니 뭐니 해도 여론조사 아닐까 싶습니다.

    좋아요
    아웃바운드 여론조사보다 사람들이 보여주는 빅데이터를 기반으로 여론조사에 응용하는 식이 가장 유용할것같네요
    아웃바운드 여론조사보다 사람들이 보여주는 빅데이터를 기반으로 여론조사에 응용하는 식이 가장 유용할것같네요
    등록된 댓글이 없습니다.
  • 반도체 생산 빅데이터

    좋아요
    반도체 제조 회사에 근무를 하고 있습니다. 작년에 Artificial Neural Network 기반의 machnine learning 기능을 이용하여 반도체 생산 지표 parameters를 예측하는 업무를 수행한 적이 있습니다. 예측 정확도를 다중회귀 분석 기법과 비교하여 보았는데 10% 미만의 errors 를 보여 만족한 결과를 얻었던 적이 있습니다.

    하지만 개인 사무용 컴퓨터로 처리하려면 (Python 프로그래밍 필요) data 적용에 한계가 있습니다. 컴퓨터
    사양이 미흡하면 많은 양의 data를 한 번에 처리하기가 어렵기 때문입니다. 물론 회사내에 허가를 받아 대용량 컴퓨터 접속이 가능하기는 했지만 임직원의 수요가 커지면 이 또한 결국 투자 비용/효과를 생각하지 않을 수 없을 듯 합니다.

    결국 빅데이터의 대중화는 예측/분석 기술의 발전도 중요하지만 data 처리 속도 및 저장과 관련된 제반 컴퓨터 인프라의 확대도 반드시 동반되어야 할 숙제인 것 같습니다.  결국 고성능 반도체 개발이 또한 밑거름이 되어야 겠지요 ^^  
    반도체 제조 회사에 근무를 하고 있습니다. 작년에 Artificial Neural Network 기반의 machnine learning 기능을 이용하여 반도체 생산 지표 parameters를 예측하는 업무를 수행한 적이 있습니다. 예측 정확도를 다중회귀 분석 기법과 비교하여 보았는데 10% 미만의 errors 를 보여 만족한 결과를 얻었던 적이 있습니다.

    하지만 개인 사무용 컴퓨터로 처리하려면 (Python 프로그래밍 필요) data 적용에 한계가 있습니다. 컴퓨터
    사양이 미흡하면 많은 양의 data를 한 번에 처리하기가 어렵기 때문입니다. 물론 회사내에 허가를 받아 대용량 컴퓨터 접속이 가능하기는 했지만 임직원의 수요가 커지면 이 또한 결국 투자 비용/효과를 생각하지 않을 수 없을 듯 합니다.

    결국 빅데이터의 대중화는 예측/분석 기술의 발전도 중요하지만 data 처리 속도 및 저장과 관련된 제반 컴퓨터 인프라의 확대도 반드시 동반되어야 할 숙제인 것 같습니다.  결국 고성능 반도체 개발이 또한 밑거름이 되어야 겠지요 ^^  
    등록된 댓글이 없습니다.
  • 아직은 빅데이터라 불리만한게 없네요.

    좋아요
    우주발사체 분야는 빅데이터라고 불리만한 데이터 구축이 아직 초보단계이고 세계 여러나라에서도
    액체 로켓분야는 극비라 공유가 안되기 때문에 빅데이터 사용면에서는 힘든 분야입니다.
    하지만 국내 액체 로켓 엔진 시험횟수가 200회가 넘어가는 시점에서는 그 동안 구축된 데이터를 토대로
    시험 결과들을 보면서 바로 어떤 문제가 있는지? 시험 데이터 분석과 개선사항을 위해서 처음 시험을
    했을 때 보다 소요되는 시간은 많이 단축되었습니다. 시험 참여자의 개인적인 경험치로 판단이 되지만 향후
    1000회가 넘는다면 해당 데이터를 토대로 엔진/발사체 자동 진단 시스템 구축이 가능하지 않을까 예측해봅니다.
    우주발사체 분야는 빅데이터라고 불리만한 데이터 구축이 아직 초보단계이고 세계 여러나라에서도
    액체 로켓분야는 극비라 공유가 안되기 때문에 빅데이터 사용면에서는 힘든 분야입니다.
    하지만 국내 액체 로켓 엔진 시험횟수가 200회가 넘어가는 시점에서는 그 동안 구축된 데이터를 토대로
    시험 결과들을 보면서 바로 어떤 문제가 있는지? 시험 데이터 분석과 개선사항을 위해서 처음 시험을
    했을 때 보다 소요되는 시간은 많이 단축되었습니다. 시험 참여자의 개인적인 경험치로 판단이 되지만 향후
    1000회가 넘는다면 해당 데이터를 토대로 엔진/발사체 자동 진단 시스템 구축이 가능하지 않을까 예측해봅니다.
    김효민(okkhm) 2019-11-05

    마케팅 분야에서는 매우 광범위하게 사용되고 있다고 생각합니다. 외국은 물론이고 국내 기업들도 Telco를 중심으로 그동안 수집해온 고객 관련 정보를 자사 제품이나 서비스에 이미 적용 중이고 이제는 온라인 포탈과의 제휴를 통해 빅 데이터 기술을 쇼핑을 비롯한 사용자 친화적인 서비스에 적용하고 있다고 보입니다.

    공감합니다. 빅데이터가 갖는 파급력이 크기 때문에 안전성과도 직결되어서 조심스러운 부분이 있네요.