몽할망구의 ★이야기홀릭★

빅데이터 분석과 인공지능은 서로 매우 관련이 깊습니다. 둘 다 대량의 데이터를 인풋(Input)으로 활용한다는 점, 기계가 이해할 수 있는 형태로 가공해주어야 한다는 점은 같습니다.

그런데 아웃풋(Output)의 형태에서는 서로 다릅니다. 빅데이터의 경우 아웃풋은 인간 전문가가 데이터를 통계적으로 분석해서 내놓은 인사이트입니다. 주로 보고서나 리포트 형태로 나옵니다. 텍스트뿐 아니라 차트나 복잡한 시각화 이미지를 넣기도 합니다.

그러나 인공지능은 주로 자동화된 액션이 그 결과물입니다. 데이터를 바탕으로 패턴을 찾아낸 다음에 실제로 문제해결에 적용해서 액션을 취하는 것이지요. 예를 들어 번역을 하거나 대화를 하거나 자동차를 운전하는 식으로 말이지요.

요즘 빅데이터라고 불리는 것은 어떤 것이죠? 예를 들어 아마존에서 관심 있는 물건을 검색하면, 아마존은 고객들이 물건을 검색한 기록을 전부 모아 커다란 데이터셋을 만듭니다.

그리고 그것을 자체적으로 분석해서 패턴을 찾고 ‘소비자들에게 이런 상품이 인기가 있더라’라는 정보를 만들어냅니다.

빅데이터 분석은 사용자들의 행동을 통해서 자동적으로 생성된 데이터들이 쌓이고 그것을 분석해서 의미를 찾아내는 것입니다. 그래서 빅데이터 분석에서 중요한 것은 의도하지 않게 생성된 데이터를 의도한 목적에 부합하게 가공하는 과정입니다.

빅데이터든 인공지능이든 데이터 형식을 정돈하고 표준화하는 것이 가장 중요한 첫걸음입니다. 어느 것이 더 어려운지는 경우에 따라 다르지만, 많은 경우에 데이터 확보 그 자체보다도 그 데이터를 가공하고 기계가 학습할 수 있는. 기계 판독이 가능한(Machine Readable) 형식으로 가공하는 과정이 더욱 어렵지요.

이 과정에서 수많은 수작업이 따르는 경우가 많아서 문제인데, 기술이 발달해서 상당히 자동화할 수 있게 되었습니다. 그러나 아직 완전히 자동화할 수는 없고, 아마 앞으로도 그런 작업을 완전하게 자동화할 수 있을지는 의문입니다.

이렇게 데이터를 정리하는 사람이 해당 분야에 대한 이해도가 높은 경우에 데이터 처리의 효율이 더 높아집니다. 인공지능과 빅데이터 분석 역시 근간은 사람에 달린 것입니다.