Nhiều tác giả nước ngoài đồng ý rằng kỷ nguyên Dữ liệu lớn đã kết thúc. Và trong trường hợp này, thuật ngữ Dữ liệu lớn dùng để chỉ các công nghệ dựa trên Hadoop. Nhiều tác giả thậm chí có thể tự tin kể tên ngày Big Data rời khỏi thế giới này và ngày này là ngày 05.06.2019/XNUMX/XNUMX.
Điều gì đã xảy ra vào ngày quan trọng này?
Vào ngày này, MAPR hứa sẽ tạm dừng công việc nếu không tìm được nguồn vốn để hoạt động tiếp. MAPR sau đó đã được HP mua lại vào tháng 2019 năm 43. Nhưng quay trở lại tháng 4,1, người ta không thể không ghi nhận bi kịch thời kỳ này đối với thị trường Big Data. Tháng này chứng kiến sự sụt giảm giá cổ phiếu của CLOUDERA, một công ty hàng đầu trên thị trường, công ty đã sáp nhập với HORTOWORKS vốn kinh doanh thua lỗ vào tháng 1,4 cùng năm. Sự sụp đổ khá đáng kể và lên tới XNUMX%; cuối cùng, vốn hóa của CLOUDERA giảm từ XNUMX xuống XNUMX tỷ đô la.
Không thể không nói rằng tin đồn về bong bóng trong lĩnh vực công nghệ dựa trên Hadoop đã lan truyền từ tháng 2014 năm XNUMX, nhưng nó đã dũng cảm giữ vững trong gần XNUMX năm nữa. Những tin đồn này dựa trên việc Google, công ty nơi khởi nguồn của công nghệ Hadoop, từ chối phát minh của nó. Nhưng công nghệ này đã bén rễ trong quá trình các công ty chuyển đổi sang các công cụ xử lý đám mây và sự phát triển nhanh chóng của trí tuệ nhân tạo. Vì vậy, nhìn lại, chúng ta có thể tự tin nói rằng cái chết đã được dự đoán trước.
Như vậy, thời đại của Big Data đã kết thúc, nhưng trong quá trình làm việc trên Big Data, các công ty đã nhận ra hết các sắc thái khi làm việc trên đó, những lợi ích mà Big Data có thể mang lại cho doanh nghiệp, đồng thời cũng học được cách sử dụng nhân tạo. thông minh để trích xuất giá trị từ dữ liệu thô.
Câu hỏi càng thú vị hơn là điều gì sẽ thay thế công nghệ này và công nghệ phân tích sẽ phát triển hơn nữa như thế nào.
Phân tích tăng cường
Trong các sự kiện được mô tả, các công ty hoạt động trong lĩnh vực phân tích dữ liệu đã không ngồi yên. Có thể đánh giá điều gì dựa trên thông tin về các giao dịch diễn ra trong năm 2019. Năm nay, giao dịch lớn nhất trên thị trường đã được thực hiện - việc Salesforce mua lại nền tảng phân tích Tableau với giá 15,7 tỷ USD. Một thỏa thuận nhỏ hơn đã xảy ra giữa Google và Looker. Và tất nhiên, không thể không ghi nhận việc Qlik mua lại nền tảng dữ liệu lớn Attunity.
Các nhà lãnh đạo thị trường BI và các chuyên gia của Gartner đang công bố một sự thay đổi lớn trong cách tiếp cận phân tích dữ liệu; sự thay đổi này sẽ phá hủy hoàn toàn thị trường BI và dẫn đến việc thay thế BI bằng AI. Trong bối cảnh này, cần lưu ý rằng AI viết tắt không phải là “Trí tuệ nhân tạo” mà là “Trí tuệ tăng cường”. Chúng ta hãy xem xét kỹ hơn những gì đằng sau dòng chữ "Phân tích tăng cường".
Phân tích tăng cường, giống như thực tế tăng cường, dựa trên một số định đề chung:
- khả năng giao tiếp bằng NLP (Xử lý ngôn ngữ tự nhiên), tức là bằng ngôn ngữ của con người;
- việc sử dụng trí tuệ nhân tạo, điều này có nghĩa là dữ liệu sẽ được xử lý trước bởi trí tuệ máy;
- và tất nhiên, các đề xuất dành cho người dùng hệ thống được tạo ra bởi trí tuệ nhân tạo.
Theo các nhà sản xuất nền tảng phân tích, việc sử dụng chúng sẽ dành cho những người dùng không có kỹ năng đặc biệt, chẳng hạn như kiến thức về SQL hoặc ngôn ngữ kịch bản tương tự, những người không được đào tạo về thống kê hoặc toán học, những người không có kiến thức về các ngôn ngữ phổ biến. chuyên xử lý dữ liệu và các thư viện tương ứng. Những người như vậy, được gọi là "Nhà khoa học dữ liệu công dân", chỉ cần có trình độ kinh doanh xuất sắc. Nhiệm vụ của họ là nắm bắt những hiểu biết sâu sắc về kinh doanh từ các mẹo và dự báo mà trí tuệ nhân tạo sẽ cung cấp cho họ và họ có thể tinh chỉnh các dự đoán của mình bằng cách sử dụng NLP.
Mô tả quá trình người dùng làm việc với các hệ thống thuộc lớp này, người ta có thể hình dung ra hình ảnh sau đây. Một người đến làm việc và khởi chạy ứng dụng tương ứng, ngoài bộ báo cáo và bảng điều khiển thông thường có thể được phân tích bằng các phương pháp tiêu chuẩn (sắp xếp, nhóm, thực hiện các phép tính số học), sẽ thấy một số mẹo và đề xuất nhất định, chẳng hạn như: “Trong để đạt được KPI, số lượng bán ra, bạn nên áp dụng chiết khấu cho các sản phẩm thuộc danh mục “Làm vườn”. Ngoài ra, một người có thể liên hệ với người đưa tin của công ty: Skype, Slack, v.v. Có thể đặt câu hỏi cho robot bằng văn bản hoặc giọng nói: “Hãy cho tôi năm khách hàng có lợi nhất”. Nhận được câu trả lời phù hợp, anh phải đưa ra quyết định đúng đắn nhất dựa trên kinh nghiệm kinh doanh của mình và mang lại lợi nhuận cho công ty.
Nếu bạn lùi lại một bước và xem xét thành phần thông tin đang được phân tích thì ở giai đoạn này, các sản phẩm phân tích tăng cường có thể giúp cuộc sống của mọi người dễ dàng hơn. Lý tưởng nhất là giả định rằng người dùng sẽ chỉ cần trỏ sản phẩm phân tích đến các nguồn thông tin mong muốn và chính chương trình sẽ đảm nhiệm việc tạo mô hình dữ liệu, liên kết các bảng và các tác vụ tương tự.
Tất cả những điều này trước hết phải đảm bảo “dân chủ hóa” dữ liệu, tức là. Bất kỳ người nào cũng có thể phân tích toàn bộ mảng thông tin có sẵn của công ty. Quá trình ra quyết định phải được hỗ trợ bởi các phương pháp phân tích thống kê. Thời gian truy cập dữ liệu phải ở mức tối thiểu nên không cần phải viết tập lệnh và truy vấn SQL. Và tất nhiên, bạn có thể tiết kiệm tiền khi thuê các chuyên gia Khoa học dữ liệu được trả lương cao.
Về mặt giả thuyết, công nghệ mang lại triển vọng rất tươi sáng cho doanh nghiệp.
Cái gì đang thay thế Dữ liệu lớn?
Nhưng trên thực tế, tôi đã bắt đầu bài viết của mình bằng Dữ liệu lớn. Và tôi không thể phát triển chủ đề này nếu không có một chuyến tham quan ngắn gọn về các công cụ BI hiện đại, nền tảng của công cụ này thường là Dữ liệu lớn. Số phận của dữ liệu lớn hiện đã được xác định rõ ràng và đó là công nghệ đám mây. Tôi tập trung vào các giao dịch được thực hiện với các nhà cung cấp BI để chứng minh rằng hiện nay mọi hệ thống phân tích đều có bộ lưu trữ đám mây phía sau và các dịch vụ đám mây đều có BI làm giao diện người dùng.
Không quên những trụ cột như vậy trong lĩnh vực cơ sở dữ liệu như ORACLE và Microsoft, cần lưu ý hướng phát triển kinh doanh đã chọn của họ và đây chính là đám mây. Tất cả các dịch vụ được cung cấp đều có thể được tìm thấy trên đám mây, nhưng một số dịch vụ đám mây không còn khả dụng tại chỗ nữa. Họ đã thực hiện công việc quan trọng trong việc sử dụng các mô hình học máy, tạo các thư viện có sẵn cho người dùng và định cấu hình các giao diện để dễ dàng làm việc với các mô hình, từ việc chọn chúng đến đặt thời gian bắt đầu.
Một lợi thế quan trọng khác của việc sử dụng dịch vụ đám mây, được các nhà sản xuất nêu lên, là sự sẵn có của bộ dữ liệu gần như không giới hạn về bất kỳ chủ đề nào cho các mô hình đào tạo.
Tuy nhiên, câu hỏi đặt ra là: công nghệ đám mây sẽ bén rễ ở nước ta đến mức nào?
Nguồn: www.habr.com