AWS Partner Techshift - (SaaS) 사업을 위한 데이터 기반 세일즈/마케팅 전략과 노하우 (트레져데이터 고영혁 수석)

229 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
229
On SlideShare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
27
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • A common workflow involves these steps.
    Ingestion of data, such as application logs or ad impressions
    Enriching & cleaning that data – removing bot access, adding geo information to IP addresses,
    Creating a model based on that data - some analytic insight, which could be the results of A/B testing, or segmentation analysis
    Then load those insights into your production systems
    So that you can then utilize those insights – for your product.
  • For a more specific example, let’s say you wanted to utilize data from web logs, your production database, and marketing campaign data - bring it together in S3 - clean & process it through EMR - to prepare datasets in Redshift for your analytic teams - where then run analysis and build models that result in recommendations ready to be accessed by your application to tell users what products they may want to buy.

    This can be quite a complex process to manage. And, you want to it update regularly so the recommendations are as fresh as possible.
  • To manage this exactly this type of flow, we at Treasure Data have created a new open source project, called Digdag.

    Digdag is a Workflow Engine designed for simplicity, extensibility, & multi-platform support.

    It’s language agnostic so application developers, data scientists, and data engineers, with different tool chains & needs can use a single unified workflow engine.

    And it’s very easy to get started – download a binary and get started immediately on your local machine. Setting up server mode for running workflows in the cloud is quite easy as well.
  • Design: Indicate story flow: Import data from S3, execute process jobs in EMR and Redshift, then load into Aurora via MySQL
    Presenter notes: Contrast how you would have done this before Digdag
  • Design: Indicate story flow: Import data from S3, execute process jobs in EMR and Redshift, then load into Aurora via MySQL
    Presenter notes: Contrast how you would have done this before Digdag
  • Design: Indicate story flow: Import data from S3, execute process jobs in EMR and Redshift, then load into Aurora via MySQL
    Presenter notes: Contrast how you would have done this before Digdag
  • One Treasure Data user who is using Digdag for their Workflow Management is Packlink.

    Packlink is an online platform providing cost-effective package delivery services in Europe & Internationally. They’ve turned to Digdag to help manage their advanced analytics flow.

    Every part of the diagram represented in yellow – Bulk ETL, Cleanup, analytic steps, & deployment of those analytic insights – are managed by Packlink using Digdag hosted by Treasure Data.

    You can likely see that, based on some of the systems this workflow is integrating with, they are focused in large part on delivering value to their sales & marketing teams – for personalizing marketing campaigns & optimizing sales performance.
  • Need input from Sada/Rob
  • Need input from Sada/Rob
  • Need input from Sada/Rob
  • Need input from Sada/Rob
  • Thanks Sada for that great demo.

    We created Digdag to support our customers & our business. We host it for our customers so they can start creating & managing workflows without DevOps & reduce the overall time to setup.

    We have numerous customers using it for scheduling, processing flows across AWS, running data loads into and out of our system, and generally organizing their analytics processing steps.

    We also have started to receive contributions from the open source community.
  • AWS Partner Techshift - (SaaS) 사업을 위한 데이터 기반 세일즈/마케팅 전략과 노하우 (트레져데이터 고영혁 수석)

    1. 1. (SaaS) 사업을 위한 데이터 기반 세일즈/마케팅 전략과 노하우 고영혁 | Data Scientist / Growth Hacker Treasure Data (트레저데이터)
    2. 2. 트레저데이터 소개
    3. 3. 트레저데이터 Treasure Data – Live Data Management Platform We Make Data be • Connected • Current • Easily Accessible
    4. 4. 트레저데이터 Treasure Data – Live Data Management Platform
    5. 5. 트레저데이터 회사 개요 • Treasure Data 는 서비스 형태로 데이터 분석 인프라를 제공하는 세계 선도 기업으로 서, 데이터 파이프라인과 데이터 플랫폼 관리의 각종 복잡한 이슈를 해결하여, 조직이 데이터로부터 가치를 추출하는 데에만 온전히 집중할 수 있도록 합니다. • 위치: Mountain View, CA (HQ), Tokyo, Seoul • 투자현황: $30M raised from top Silicon Valley VCs (Now Series C) • 개발하여 후원하는 글로벌 유명 오픈소스 프로젝트 목록 Treasure Data Investors Treasure Data’s Data Collection Technology Users Jerry Yang Yahoo! Founder James Lindenbaum Heroku Founder Bill Tai ex-CRV, leading angel investor • Very popular data collector • Data serializer • Enterprise data bulk loader • Data collector from IoT/Embedded devices
    6. 6. 트레저데이터의 고속 성장 60,000,000,000,000+Rows (October 2016)
    7. 7. 트레저데이터 서비스 현황 Total Records Stored 60 Trillion Managed & Supported 24 * 7 * 365 Uptime 99.99% New Records / second 2 Million Handling Queries 100 Billion
    8. 8. 데이터 생태계의 혁신을 만들어낸 트레저데이터의 핵심 역량 Storage Data ProcessingData Import 트레저데이터가 개발한 프로그래밍 필요 없이 머신 러닝을 실행할 수 있는 SQL 쿼리 형태의 라이브러리 . 일본 주요 애드테크 기업들에서 CTR 예측 등에 활 용 대규모 데이터 병렬 분산처리 기반 오타 CTO 가 세계 최대규모의 Hadoop 일본 유저 그룹을 설립 Facebook 이 개발한 병렬 분산처리 기반 오픈소스 소프트웨어 프로젝트로서, Facebook, Teradata 와 함께 트레저데이터도 개발에 참여 공동창업자 후루하시가 개발한 바이너리 기반의 고속 변환이 가능한 데이터 압축 포맷 Pinterest, Uber 등에서도 데이터 저장용 포맷으로 사 용하고 있음 공동창업자 후루하시가 만든 벌크 형식의 로그 수집 도구 오픈소스 소프트웨어로 공개한 지 1년 반 만에 100개 이상의 플러그인이 개발되었 으며, WEB 서비스 기업을 중심으로 사용 되고 있음 트레저데이터가 개발한 IoT・임베디드 기 반을 위한 스트리밍 형식의 로그 수집 도 구 C언어로 개발되고 있어서 가볍고, 의존성 에 구애 받지 않고 이용 가능 Plazma 트레저데이터가 독자 개발한 타임스탬프를 인덱스로 하는 스키마리스 컬럼기반 데이터베이스. 시계열 로그 빅데이터 처리에 특히 강함 공동창업자 후루하시가 만든 스트리밍 형 식의 로그 수집 도구 Google, Microsoft, AWS 와 같은 글로벌 기업들에서 로그 수집 도구로 사용되고 있 음
    9. 9. 트레저데이터가 해결하고 있는 문제 “성공적인 비즈니스는 제품과 서비스를 향상시키는 분석이 필요하다! ” “분석에 필요한 인프라를 갖추는 것이 가장 어려운 문제이며 수많은 시간, 돈, 사람의 투입이 필요하다! ”
    10. 10. 트레저데이터의 문제 해결 방법 “Plug-n-play managed analytics infrastructure in the cloud” 수집 저장 분석 실행 자체/파트너 TREASURE DATA
    11. 11. 3 관리하기 어려운 분석계 4 활용 안되는 KPIs 2 복잡한 시스템 통합 1 흩어져 있는 데이터 저장소들 Before Treasure Data
    12. 12. 3 쉬운 솔루션 연계 2 관리 부담 제로 1 쉬운 데이터 수집 50+ Data Outputs Multi-Tenant Cloud Service 300+ Data Sources After Treasure Data
    13. 13. 다양한 분야의 글로벌 초우량 고객사 AD Tech IoT 三菱重工 Retail Finance Technology Agency / Trading Desk DMP / DSP Ad-Network TelecommunicationMaker EC Media Game/SNS Digital Marketing
    14. 14. 트레저데이터의 기술 (Fluentd, MessagePack, Embulk)을 사용하는 대표 기업
    15. 15. 트레저데이터가 만들어낸 세일즈/마케팅 혁신
    16. 16. MUJI (무인양품) 기본 소개 • 1980년 회사 설립 • 연매출 22억 USD • 연수익 2억 USD • 매장 현황 – 일본 401개 / 해외 301개 • MUJI = NO brand name or designer name • 트레저데이터 활용 - 2013년부터 ※ 2015년 2월 기준 자료
    17. 17. MUJI – Needs & Challenge (Pain Points) • 매출의 성장 • 전세계에 걸쳐 있는 다수 매장의 관리 • 고객 로열티의 관리 • 데이터를 활용하는 것이 근본적인 답이라는 것은 알고 있음  NEEDS • 방대한 웹/앱/매장 데이터의 통합 문제 • 기존 시스템을 최대한 건드리지 않고 패러다임 시프트 • 시간. 시간. 시간 • Scalability  CHALLENGE Treasure Data 로 해결
    18. 18. MUJI – Treasure data 활용 O2O Analytics Platform
    19. 19. MUJI – Treasure data 활용 핵심 및 결과 • 고객의 온라인 행동과 오프라인 행동 패턴을 데이터를 통해 모두 파악 • 온라인에서의 행동과 매장의 재고 및 매출 현황을 토대로, 고객의 매장 방 문 시점에서 해당 고객 및 매출에 최적화된 스펙의 쿠폰을 실시간으로 생 성하여 사용 유도  활용 핵심  활용 결과 • 매출 46% 증가 • 전체 매장 평균 쿠폰 활용률 100% 증가 • 오프라인 매장 내 체류시간 및 동선량 증가 투입 리소스 • 사람 : CTO 1인 • 시간 : 2.5 개월 • 돈 : $3,300 /월
    20. 20. Oisix – 회사 개요 • 2000년 창업. 자본금 약 84억원 • 식재료와 완제품 요리의 전자상거래/리테일 판매 비즈니스 • 가입회원 대상 지속적 판매를 하는 서브스크립션 커머스 중심
    21. 21. Oisix – 회사 개요 • 전통적인 서브스크립션 커머스 대비 회원비 부담 없고, 개인화된 구 매(식재료의 종류&수량, 배달 시간)가 가능
    22. 22. Oisix – 머신러닝을 활용한 이탈자 예측과 대응  기계학습을 하고 지난 1달간의 데이터를 바탕으로 앞으로 1달간에 해지 할 가능성이 높은 고객 리스트를 Hivemall을 이용하여 작성 실시 내용  회원의 정기 구매가 회사 전체 매출과 이익을 좌우하는데, 해지 징후가 있는 회원을 미리 파악 및 방어하는 대책이 부족했다 과제  오이식스(Oisix)고객 사례  통계의 전문 지식 없이 머신러닝  해지 예측 리스트에 있는 회원에게 포인트를 부여함으로써 해지율 반감  해지 원인이 되는 액션, 이벤트를 찾아내고 비해지고객의 특징적인 행동도 파악 가능 기대 효과 Web Mobile 속성 정보 행동 로그 클레임 정보 유입 경로 이용 서비스 정보 직접적 액션 간접적 액션 포인트 부여 케어콜 성공체험에로 유도UI 변경 예측에 사용하는 데이터 Hivemall 에서 머신러닝 고객 정보나 행동 로그를 바탕으로 기계학습을 하고 해지고객을 예측 Table of Who / When / How % Churn
    23. 23. Oisix – 머신러닝을 활용한 이탈자 예측과 대응 w/ Hivemall Classification with Mahout CREATE TABLE lr_model AS SELECT feature, -- reducers perform model averaging in parallel avg(weight) as weight FROM ( SELECT logress(features,label,..) as (feature,weight) FROM train ) t -- map-only task GROUP BY feature; -- shuffled to reducers This SQL query automatically runs in parallel on Hadoop • Machine Learning made easy for SQL developers (ML for the rest of us) • Interactive and Stable APIs w/ SQL abstraction
    24. 24. Treasure DMP 를 활용한 디지털 마케팅 채널 전송데이터 수집 1ST Party (고객 데이터) TREASURE DMP 원천빅데이터 저장 , Data (ID) 통합 세그멘테이션 / 대시보드 데이터웨어하우스, 머신러닝 (추천 엔진 등) 데이터 연결/통합 2nd, 3rd Party DMP 광고 활동 마케팅 활동 CRM 활동 광고 로그 데이터 웹로그 데이터 모바일앱 데이터 소셜 데이터 POS 데이터 CRM 데이터 마케팅 자동화 데이터 매장 방문 데이터 고객 속성 데이터 생애 주기추정 연간 소득 날씨연계 데이터 관심사회사간 연결 데이터 POS 데이터 위치 데이터 Ad Network DSP 이메일 LINE Push Notification Facebook / Twitter 콜센터 Divided out PC / SP site TREASURE COLLECTOR 실시간으로 다양한 빅데이터를 간편하게 수집 TREASURE RESULT 다양한 프로그램과 쉽게 연동 TREASURE EXCHANGE 기업이 보유하고 있지 않은 이용자 ID의 연동 3rd Party Cookie 연계 포함
    25. 25. TREASURE DMP – 다양한 서비스와 연계되는 Private DMP 솔루션 3rd 파티 오디언스 데이터 1st 파티 데이터 CRM / MA / O2O 광고 효과 측정 도구 시각화 수집 모바일타겟팅 Public DMP 통계 데 이 터 마 켓 플 레 이 스 3rd 파티 데이터 SDK(JS, iOS, Android) Private DMP 미디어 / 앙케이트 소 셜 미 디 어 디스플레이 S S P 모바일 애드네트워 크 광고 SNS 타겟팅 3PAS(제3자배신) 기계학습 /자동화 분석 Web 어낼리틱스 연계 각종 미디어 사이트 인구/가구 통계, 사업자/건물/시설, 지리/기상/교통, 상품/소비동향평 가/리뷰/미디어 CRM / MA / 이메일 LPO / AB / Web 접객 DSP
    26. 26. Private DMP 최신도입사례 : 시셰이도 실행데이터통합 / 연계 데이터통합 / 시각화 / 분석 / 연계 3rd Party Cookie 데이터 (오디언스 데이터) 연계 성별 결혼 여부 연령 직업 연수입 흥미/관심사 자녀유무 취미/기호 3rd Party Public DMP 1st Party (사이트검색, 고객데이터) Private DMP 대량의 원천데이터 축적, 데이터 통합, 세그멘테이션, 연계 실행 점포 POS 데이터 W+ 회원 데이터 OS 구매 데이터 샘플 신청 데이터 등 “와타시 플러스”, ”Beauty & Co.” 사이트 검색 데이터 미디어 사이트 검색 데이터 2nd Party (미디어 채널 데이터) LINE 이메일 애드네트워크 DSP Facebook/Twitter 광고 실행 CRM 실행 마케팅 실행 앱 노티 PC/SP 사이트별 집행 데이터 시각화 데이터 분석
    27. 27. AWS와 트레저데이터의 데이터 가치 활용 “Data Workflow Management”
    28. 28. 오늘날 데이터 처리 워크플로우의 일반적 흐름 Ingest Application logs User attribute data Ad impressions 3rd-party cookie data Enrich Removing bot access Geo location from IP address Parsing User-Agent JOIN user attributes to event logs Model A/B Testing Funnel analysis Segmentation analysis Machine learning Load Creating indexes Data partitioning Data compression Statistics collection Utilize Recommendation API Realtime ad bidding Visualize using BI applications Ingest UtilizeEnrich Model Load
    29. 29. 전자상거래에서 추천 제품 기능을 운영하려면… Ingest UtilizeEnrich Model Load Amazon S3 Amazon Redshift Amazon EMR Amazon Aurora
    30. 30. 조직 퍼포먼스를 향상시키는 워크플로우 관리
    31. 31. Workflow Steps Ingest UtilizeEnrich Model Load +task +task +task +task +task +task +task +task +task +task +task +task
    32. 32. Organizing tasks using groups Ingest UtilizeEnrich Model Load +ingest +enrich +task +task +model +basket_analysis +task +task +learn +load +task +task+tasks +task
    33. 33. 전자상거래에서 추천 제품 기능 운영 자동화 Ingest UtilizeEnrich Model Load Amazon S3 Amazon Redshift Amazon EMR Amazon Aurora
    34. 34. Data Prep Cohort Analysis Attribution Analysis Web & Product Logs Packlink is an online platform providing cost-effective package delivery services in Europe & Internationally. They use Digdag to manage their analytic workflows that power insights that allow Sales, Marketing, and their Partners to operate more effectively – helping their business to grow. Digdag 을 이용한 데이터 통합 분석 프로세스 구축 사례
    35. 35. Operators Standard libraries redshift>: runs Amazon Redshift queries emr>: create/shutdowns a cluster & runs steps s3_wait>: waits until a file is put on S3 pg>: runs PostgreSQL queries td>: runs Treasure Data queries td_for_each>: repeats task for result rows mail>: sends an email Open-source libraries You can release & use open-source operator libraries. +wait_for_arrival: s3_wait>: | bucket/www_${date}.csv +load_table: redshift>: scripts/copy.sql
    36. 36. Scripting operators Scripting operators sh>: runs a Shell script py>: runs a Python method rb>: runs a Ruby method Docker option docker: image: ubuntu:16.04 Digdag supports Docker natively. Easy to use data analytics tools. Reproducible anywhere. +run_custom_script: sh>: scripts/custom_work.sh +run_python_in_docker: py>: Analysis.item_recommends docker: image: ubuntu:16.04
    37. 37. Loops and parameters Parameter A task can propagate parameters to following tasks Loop Generate subtasks dynamically so that Digdag applies the same set of operators to different data sets. +send_email_to_active_users: td_for_each>: list_active.sql _do: +send: email>: tempalte.txt to: ${td.for_each.addr} (+send tasks are dynamically generated)
    38. 38. Parallel execution +load_data: _parallel: true +load_users: redshift>: copy/users.sql +load_items: redshift>: copy/items.sql Parallel execution Tasks under a same group run in parallel if _parallel option is set to true.
    39. 39. Scheduling Query Result Output Loading Bulk Data ETL Process Management Presto Analytic Queries AWS System Processing 데이터의 진짜 가치 활용인 Data Product 의 개발과 운영을 고려하신다면?
    40. 40. 트레저데이터를 마케팅/세일즈 하면서 얻은 노하우 공유
    41. 41. Sales Lead 와 Account 의 연결 처리
    42. 42. 트레저데이터가 쓰는 SaaS 툴스택
    43. 43. 트레저데이터가 쓰는 SaaS 툴스택
    44. 44. 트레저데이터가 쓰는 SaaS 툴스택
    45. 45. 트레저데이터가 쓰는 SaaS 툴스택
    46. 46. 데이터 기반 온라인 마케팅의 핵심 광고 = 매칭 최적화 = 정보 싸움 A/B 테스팅 – 타겟 집단, 콘텐츠, 랜딩 이메일 주소의 중요성 광고 결과 데이터의 분석과 활용 플랫폼이 제공하는 트래킹 도구의 활용 – Pixel
    47. 47. 데이터 기반 마케팅에서 PR을 대하는 바람직한 자세 중장기 흐름을 만드는 포석 인식의 형성과 행동의 촉발 스트레이트성 기사와 기획 기사의 조화 SEO 와의 궁합을 고려 전체적인 메시지 전략과 스토리 텔링
    48. 48. SaaS 세일즈 퍼포먼스 향상의 핵심 “꽤 좋은 거 같긴한데 그래서 어떻게 쓰면 되요?” 고비 극복 SaaS 는 온라인에서 가입하고 알아서 결제한다? 바로 쓸 수 있는 서비스이기 때문에 더더욱 밸류 컨설팅 “어디까지 알아보셨어요?” 안물어보고 답 알기 항상 최적 플랜 제시. 사후관리 통한 업셀링이 훨씬 효과적
    49. 49. 세일즈와 데이터 스타트부터 클로징까지 전체 히스토리 데이터화 테이블 – Account, Contact, Communication 정적인 정보와 동적인 정보 / 업데이트 주기 테이블에 포함되어야 할 칼럼의 구조 테이블의 연결 분석을 통해 알아내고 실행할 것

    ×