上週我參加了葉卡捷琳堡的 DUMP IT 會議（https://dump-ekb.ru/），我想告訴大家後端和 DevOps 部分討論了什麼，以及區域性 IT 會議是否值得關注。
《邪惡火星人》中的 Nikolay Sverchkov 關於無伺服器
到底有什麼？
會議共有 8 個部分：後端、前端、行動、測試和 QA、DevOps、設計、科學和管理。
順便說一句，最大的大廳位於科學和管理））每個可容納約 350 人。 後端和前端也小不了多少。 DevOps 房間最小，但很活躍。
我聽了 DevOps 和 Backend 部分的報告，並與演講者進行了一些交談。 我想在會議上討論所涵蓋的主題並回顧這些部分。
SKB-Kontur、DataArt、Evil Martians、葉卡捷琳堡網路工作室 Flag、Miro (RealTimeBoard) 的代表在 DevOps 和後端部分發表了講話。 主題涵蓋 CI/CD、使用佇列服務、日誌記錄；無伺服器主題以及在 Go 中使用 PostgreSQL。
還有 Avito、Tinkoff、Yandex、Jetstyle、Megafon、Ak Bars Bank 的報道，但我沒有時間親自參加（報告的視頻記錄和幻燈片尚未提供，他們承諾在 2 週內發布）在dump-ekb.ru 上）。
開發營運部分
令人驚訝的是，該部分在最小的大廳舉行，大約有50個座位。 人們甚至站在過道裡:)我會告訴你我設法聽到的報告。
重達 PB 的彈性材料
本節以 Vladimir Lil (SKB-Kontur) 的關於 Kontur 中的 Elasticsearch 的報告開始。 它們有一個相當大且已加載的 Elastic（約 800 TB 數據，考慮到冗餘，約 1.3 PB）。 所有 Kontur 服務的 Elasticsearch 都是單一的，由 2 個叢集（7 台和 9 台伺服器）組成，而且非常重要，以至於 Kontur 擁有專門的 Elasticsearch 工程師（實際上是 Vladimir 本人）。
Vladimir 也分享了他對 Elasticsearch 的好處及其帶來的問題的想法。
好處：
- 所有日誌都集中在一處，輕鬆訪問
- 儲存日誌一年並輕鬆分析
- 處理日誌的速度很快
- 開箱即用的酷炫數據視覺化
問題：
- 訊息代理人是必須具備的（對於 Kontur 來說，它的角色是由 Kafka 扮演的）
- 使用 Elasticsearch Curator 的功能（定期從 Curator 中的常規任務建立高負載）
- 沒有內建授權（僅適用於單獨的、相當大的資金，或作為不同程度的生產準備程度的開源插件）
關於 Open Distro for Elasticsearch 只有正面評價 :) 同樣的授權問題已在那裡解決。
PB 從哪裡來？他們的節點由具有 12*8 Tb SATA + 2*2 Tb SSD 的伺服器組成。 SATA上的冷存儲，SSD僅用於熱緩存（熱存儲）。
7+9 台伺服器，(7 + 9) * 12 * 8 = 1536 Tb。
部分空間被保留，留作冗餘等。
大約 90 個應用程式的日誌發送到 Elasticsearch，包括 Kontur、Elba 等的所有報告服務。
Serverless開發特點
接下來是來自 DataArt 的 Ruslan Serkin 關於 Serverless 的報告。
Ruslan 談到了無伺服器方法的開發一般是什麼，以及它的特點是什麼。
無伺服器是一種開發方法，開發人員不以任何方式接觸基礎架構。 範例 - AWS Lambda Serverless、Kubeless.io（Kubernetes 內的無伺服器）、Google Cloud Functions。
理想的無伺服器應用程式只是一個透過特殊 API 網關向無伺服器提供者發送請求的函數。 一個理想的微服務，同時AWS Lambda也支援大量現代程式語言。 對於雲端供應商來說，維護和部署基礎架構的成本為零，支援小型應用程式也將非常便宜（AWS Lambda - 0.2 美元/1 萬個簡單請求）。
這樣的系統的可擴展性幾乎是理想的——雲端供應商自己處理這個問題，Kubeless 在 Kubernetes 叢集內自動擴展。
也有缺點：
- 開發大型應用程式變得越來越困難
- 對應用程式進行分析有困難（您只能使用日誌，但不能進行通常意義上的分析）
- 無版本控制
說實話，我幾年前就聽說過Serverless，但這些年來我一直不清楚如何正確使用它。 在Ruslan的報告之後，理解出現了，在後端部分的Nikolai Sverchkov（邪惡火星人）的報告之後，它得到了鞏固。 我去參加會議並沒有白費:)
CI 是為窮人準備的，或者是否值得為網路工作室編寫自己的 CI？
來自葉卡捷琳堡的 Flag 網路工作室負責人 Mikhail Radionov 談到了自己編寫的 CI/CD。
他的工作室已經從「手動 CI/CD」（透過 SSH 登入伺服器，執行 git pull，每天重複 100 次）轉向 Jenkins 和一個名為 Pullkins 的自寫工具，該工具允許您監控程式碼並執行發布。
詹金斯為什麼不工作？ 預設情況下它沒有提供足夠的靈活性，並且很難自訂。
「Flag」是在 Laravel（PHP 框架）中開發的。 在開發 CI/CD 伺服器時，Mikhail 和他的同事使用了 Laravel 的內建機制，稱為 Telescope 和 Envoy。 結果是 PHP 中的伺服器（請注意）處理傳入的 Webhook 請求，可以建立前端和後端，部署到不同的伺服器，並向 Slack 報告。
然後，為了能夠執行藍色/綠色部署並在 dev-stage-prod 環境中進行統一設置，他們切換到了 Docker。 優點保持不變，增加了同質化環境和無縫部署的可能性，並且增加了學習 Docker 才能正確使用它的需要。
我們如何將伺服器版本回溯次數減少 99%
DevOps 部分的最後一份報告來自 Miro.com（以前稱為 RealTimeBoard）的首席 DevOps 工程師 Viktor Eremchenko。
RealTimeBoard 是 Miro 團隊的旗艦產品，基於單一 Java 應用程式。 在不停機的情況下收集、測試和部署它是一項艱鉅的任務。 在這種情況下，部署這樣一個版本的程式碼非常重要，這樣就不必回滾它（它是一個沉重的整體）。
在建立一個允許您執行此操作的系統的過程中，Miro 經歷了一條包括研究架構、使用的工具（Atlassian Bamboo、Ansible 等）以及研究團隊結構（他們現在有一個專門的DevOps 團隊+ 許多來自不同背景的開發人員的獨立Scrum 團隊）。
事實證明，這條路是艱難而充滿荊棘的，維克多分享了累積的痛苦和樂觀，但並沒有就此結束。
贏得一本提問的書
後端部分
我設法參加了 2 份報告——來自 Nikolay Sverchkov（Evil Martians），也是關於無伺服器的，以及來自 Grigory Koshelev（Kontur 公司）關於遙測的報告。
面向凡人的無伺服器
如果說 Ruslan Sirkin 談論了什麼是 Serverless，Nikolay 則展示了使用 Serverless 的簡單應用程序，並談論了影響 AWS Lambda 中應用程式的成本和速度的細節。
一個有趣的細節：最低付費元素是 128 Mb 記憶體和 100 ms CPU，成本為 0,000000208 美元。 此外，每月 1 萬個此類請求是免費的。
Nikolai 的一些函數經常超出 100 毫秒的限制（主要應用程式是用 Ruby 編寫的），因此用 Go 重寫它們可以節省大量時間。
Vostok Hercules — 讓遙測再次偉大！
Grigory Koshelev（Kontur 公司）後端部分關於遙測的最新報告。 遙測意味著日誌、指標、應用程式追蹤。
為此，Contour 使用發佈在 Github 上的自行編寫的工具。 報告中的工具 - 赫拉克勒斯， ，用於傳遞遙測數據。
Vladimir Lila 在 DevOps 部分的報告討論了在 Elasticsearch 中儲存和處理日誌，但仍然存在從數千個裝置和應用程式傳遞日誌的任務，而 Vostok Hercules 等工具可以解決這些問題。
這個電路遵循了許多人都知道的路徑 - 從 RabbitMQ 到 Apache Kafka，但並非一切都那麼簡單））他們必須將 Zookeeper、Cassandra 和 Graphite 添加到電路中。 我不會完全透露這份報告的資訊（不是我的個人資料），如果您有興趣，可以等待會議網站上的幻燈片和影片。
與其他會議相比如何？
我無法將其與莫斯科和聖彼得堡的會議進行比較，我可以將其與烏拉爾的其他活動以及薩馬拉的 404fest 進行比較。
DAMP分8個分區舉行，這是烏拉爾會議的紀錄。 非常大的科學和管理部分，這也是不尋常的。 葉卡捷琳堡的受眾相當有結構——該市有大型的 Yandex、Kontur、Tinkoff 開發部門，這在報告中留下了印記。
另一個有趣的點是，許多公司同時在會議上有 3-4 位發言人（Kontur、Evil Martians、Tinkoff 就是這種情況）。 其中很多是贊助商，但報導與其他報導相當，這些不是廣告報導。
去還是不去？ 如果您住在烏拉爾地區或附近，您就有機會並對這些主題感興趣 - 是的，當然。 如果你打算長途旅行，我會看看往年的報道主題和影片報道 並做出了決定。
一般來說，地區會議的另一個優點是，報告後很容易與演講者溝通；只是申請這種溝通的人較少。
感謝轉儲和葉卡捷琳堡！ ）
來源： www.habr.com