데이터 부문. 2013년. 회고적

2013 년 IBS, 그러면 생성되는 것 같았습니다. 데이터 부문, 빅 데이터의 문제 영역과 데이터 전반에 대해 이러한 브레인 덤프(기업 석유 및 가스 고객과의 상호 작용 경험을 바탕으로)를 작성해 달라고 요청했습니다. 그래서 7년 만에 우연히 만났는데 재미있다고 생각했어요. 어떤 것들은 분명합니다. 일부는 사실이 아닌 것으로 밝혀졌지만... 7년이 지났습니다.

영어로 썼는데 이제 러시아어로 번역할까 생각도 했어요. 지금도 여전히 관련성이 있는 것이 있다면 어떻게 될까요? (공지 번역은 하겠지만 게을러서 영어로 표시는 남겨둡니다. 녹색은 좋음, 빨간색은 위험, 파란색은 꿈).

오늘부터 최소한의 댓글을 공식화하겠습니다. 이탈리아 사람그래서 명확하고 구별 가능합니다.

그래서, 데이터! 우리를 위한 데이터...

데이터 사업부는 혈액 사업부입니다. 왜냐하면 데이터는 예를 들어 기업의 정맥과 동맥을 흐르는 혈액에 비유될 수 있기 때문입니다. 그러나 혈액은 같지만 유기체는 다르기 때문에 제품화 매우 어렵지만 발전의 기회이기도 합니다.

데이터가 눈에 바로 들어오는 사람들이 있습니다. 우리.
그리고 불행히도 데이터 포인트가 공백으로 표시되지 않는 사람들이 있습니다. 아아, 이것은 다시 우리의 것입니다 고객!

따라서, 비즈니스 원칙...

1. 팔다 사업아니라 IT (모든 IT 전문가가 즉시 저를 용서하길 바랍니다.) 왜냐하면 우리는 세상의 문제를 해결하고 있고, 더 많은 돈을 벌고 있기 때문입니다.
2. 모든 비즈니스 문제는 주제별 산업 분야에 집중되어 있으며 적절한 조치가 필요합니다. 전문화.
3. 증명하려는 시도 "데이터"의 가치 또는 훨씬 더 어려운 것은 비즈니스에 대한 "데이터 관리"의 가치는 영원한 고통과 고통입니다. 기본적으로 그것은 기분이 좋은 사람에게 와서 "야, 이제 우리가 네 피를 치료해 줄 건데, 친구, 비싸!"라고 말하는 것과 같습니다.
4. 나의 "몽상"은 SaaS 모델 내에서 "데이터 추출"과 "분석"을 판매하는 것입니다. 중소기업프로젝트 관리, 헬프데스크, 회계, CRM, 급여, 시간 보고, 마케팅 등 멋진 인터페이스를 갖춘 123개의 클라우드 서비스에 뛰어들어 데이터 속에 묻혀버린 사람입니다. Youcalc 및 Successfactors(아마 더 이상 없을 것 같아요) 이거 좋은데요!
5. 땜질을 좋아하는 사람들을 찾으세요 "결정적 시기" 데이터로. 그것들은 희귀하고 이상하지만(찻잎처럼) 사업의 핵심입니다. 예를 들어, 시인은 상관 관계에 매우 능숙할 수 있습니다.
6. Инженеры 필요하다! Cruncher가 데이터에서 가져온 문제를 솔루션으로 전환하는 데 필요했습니다. 그리고 결정의 성공 여부는 전적으로 그들에게 달려 있습니다.
7. 개발 오픈 소스 프로젝트는 매우 가치가 높으며 실제로 처음부터 복잡한 솔루션을 "조립"하는 것이 가능합니다.
8. 하지만... Hadoop도 라이브러리이고, Lucene도 라이브러리라는 점을 잊지 말아야 합니다. 도서관 및 산업용 제품 많이!
9. 구축된 솔루션은 크게 조정되어야 합니다. 모듈성 и 통합성 - 키 포인트.
10. 민첩한 (저를 용서해주십시오)은 고객과의 상호작용 및 검증에 있어서 핵심적인 기술입니다. 가설, 그 중 많은 것이 있을 것입니다.
11. 특히 모든 코딩과 UI를 아웃소싱하는 것이 가능하고 필요합니다. 모든 비즈니스 분석 및 사양 백엔드 떠나야 해 이내 핵심역량으로 생각하고 있습니다.
12. 비즈니스 의사 결정자는 다음에 대해 지속적으로 "정보"를 받아야 합니다. 데이터를 적절하게 다루어야 할 필요성 그리고 그것들을 분석하는 새로운 방법을 끊임없이 찾고 있습니다. 임직원의 기술역량과 사업역량의 결합은 조직 전체의 위상을 높이는 데 도움이 될 것입니다.
13. 인터넷 – 끝없는 영감의 원천이 있습니다 (그땐 고양이가 그렇게 많지 않았어) 기업 데이터 관리에 대한 접근 방식과 관련이 있지만 목표와 범위는 크게 다릅니다.

기술적 가정...

1. 발전 잠재력이 크다 단순화 데이터가 사람들에게 표시되는 방식. 이것을 "iPhonization"이라고 부를 수 있습니다.
2. BI 공급업체가 직접적으로 최종 사용자에게 분석 제공, (그리고 그들은 확실히 이 방향으로 움직이고 있습니다)-아직 획기적인 발전이 이루어지지 않았습니다. 사람들은 잘 이해하지 못해요 다차원 데이터.
3. 다소 복잡하고 느슨하게 구조화된 데이터를 나타내는 사용자 인터페이스 면처리된 양식 - 또한 끝없이 많은 문제를 제시합니다. 결론: 평평할수록 좋습니다.
4. 소스로부터의 자동 데이터 추출(항상 추출을 위해 설계된 것은 아님)을 기반으로 구축된 플랫폼은 소스, 커넥터의 안정성 및 인프라에 크게 의존합니다. 결과를 전달하지 못한 것에 대해서는 플랫폼(메신저)이 항상 비난을 받을 것입니다. 신뢰 – 이런 종류의 플랫폼의 자본. 벌기는 어렵고 잃기 쉬운 자본.
5. 비즈니스 관점에서는 빅데이터 분석과 차이가 없습니다. 그냥 데이터. 2x2처럼 단순한 숫자 뒤에는 수백만 달러 상당의 기회가 숨어 있는 경우가 많습니다. 좋은 예는 노르웨이 대륙붕에 있는 인프라 요소의 수명 종료에 대한 데이터입니다. 미래 상한선의 날짜는 모두 언제입니까? 모든 장비의 수리가 하나의 축에 배치되었고 그들은 N 년 안에 아마겟돈 선반이 올 것이라는 것을 알게되었습니다. 매우 부유 한 한 남자가 의자에서 일어나 급히 방에서 몸을 굽혀 다음과 같이 말했습니다. 시간이 많으니 함대를 준비해야 하는데..."
6. 기본적으로 명확하고 간결한 데이터 표현인 Excel은 엄청난 힘과 위대한 미래를 가지고 있습니다. 나는 아름다운 테이블을 믿는다 (여전히) 그리고 그게 다야!
7. 이 모든 "분석"의 주요 활은 의사결정 자동화. 가장 큰 기회가 있는 동시에 가장 높은 위험도 있습니다. 그래서 기회가 풍부하고, 위험이 있는 것입니다. 그래서 기회가 있는 것입니다. 그래서 토피입니다... 🙂 음 시추 관리, 예를 들어...
8. "통합성"이 핵심 기능이라면 데이터는 사실상 서비스로 제공되어야 합니다. REST 규칙이지만 최적화를 잊어서는 안됩니다 공연, 이는 컴퓨팅 능력이 계속해서 성장함에 따라 통합성을 위해 종종 희생됩니다.
9. 마스터 데이터 - 비즈니스 문제를 해결하기 전에 현지화, 추출, 표준화가 필요한 사항입니다. 마스터 데이터는 작지만 문제는 큽니다! 의미론의 형제들이 말하듯 세상의 모든 문제의 50%는 같은 것을 다른 이름으로 부르기 때문이고, 나머지 50%는 다른 것을 같은 이름으로 부르기 때문입니다.
10. 어떤 캡슐화 스토리지 수준에서는 솔루션의 개방성을 제한하고 SILO화로 이어집니다. 당신이 큰 벤더라면 좋고, 그렇지 않으면 그저 그렇습니다. (물론 여기서 우리는 블록 수준에 관한 것이 아니라 이미 3년이 된 AWS S6에 관한 것이 아니라 파일에 관한 것입니다.).
11. 관계형 모델링 데이터는 더 이상 우리의 친구가 아닙니다. RDF와 키-값 – 멋지네요! 우리는 2000개의 테이블 모델이 있는 관계형 데이터베이스가 15개의 테이블로 마법처럼 변환되는 것을 목격했으며 사용자 중 누구도 아무것도 잃지 않았습니다.
12. 인터넷은 존재하기 때문에 작동한다 URL 통일된 주소 지정 방법으로 사용됩니다. URL의 중요성 또는 오히려 URI 기업의 정보 자원은 과대평가하기 어렵습니다.
13. 텍스트 마이닝과 NLP가 널리 사용됩니다.. 인터넷에는. 하지만 기업 부문에서도 비정형 기업 데이터에서 정형 데이터를 추출하면 큰 성공을 거둘 수 있습니다.
14. 시너지 정형 데이터와 비정형 데이터에서 추출된 정보 사이, 즉 파일 – 분석 클론다이크.
15. 데이터를 추출할 때 권리와 저작권.
16. 데이터 추출 회사는해커 부서, 좋은 의미에서. Yellow Pages 크롤러 봇 보호 시스템과의 힘든 전투에서 영감을 받았습니다.
17. 데이터 작업에 앞서, "보다" 전체적으로. 설명하기가 어렵습니다. 표 형식이 떠오른다. 일부의 경우 그래픽 표현이지만 모든 그래프는 이미 해석입니다. 어떤 식으로든... "보세요"!
18. 프론트엔드에서 사용자 "신뢰" 문제가 반복됩니다. 커넥터/데이터 생성 프로세스에 대한 신뢰, 데이터에 대한 신뢰, 내린 결정을 신뢰하라.

출처 : habr.com