🥇 মাইক্রোসার্ভিসেস স্থাপন শেখা। পর্ব ১। স্প্রিং বুট এবং ডকার

আরে হাবর।

এই নিবন্ধে, আমি মাইক্রোসার্ভিসে পরীক্ষা করার জন্য একটি শেখার পরিবেশ তৈরিতে আমার অভিজ্ঞতা সম্পর্কে কথা বলতে চাই। যখন আমি প্রতিটি নতুন টুল শিখেছি, আমি সবসময় এটি শুধুমাত্র স্থানীয় মেশিনে নয়, আরও বাস্তবসম্মত পরিস্থিতিতেও চেষ্টা করতে চেয়েছিলাম। অতএব, আমি একটি সরলীকৃত মাইক্রোসার্ভিস অ্যাপ্লিকেশন তৈরি করার সিদ্ধান্ত নিয়েছি, যা পরে সমস্ত ধরণের আকর্ষণীয় প্রযুক্তির সাথে "আচ্ছন্ন" হতে পারে। প্রকল্পের জন্য প্রধান প্রয়োজনীয়তা হল বাস্তব সিস্টেমের সর্বাধিক কার্যকরী নৈকট্য।

প্রাথমিকভাবে, আমি প্রকল্পের নির্মাণকে কয়েকটি ধাপে ভেঙে দিয়েছি:

দুটি পরিষেবা তৈরি করুন - 'ব্যাকেন্ড' (ব্যাকএন্ড) এবং 'গেটওয়ে' (গেটওয়ে), সেগুলিকে ডকার ইমেজে প্যাক করুন এবং একসাথে কাজ করার জন্য সেট আপ করুন
কীওয়ার্ড: জাভা 11, স্প্রিং বুট, ডকার, ইমেজ অপ্টিমাইজেশান
Google Kubernetes ইঞ্জিনে Kubernetes কনফিগারেশন এবং সিস্টেম স্থাপনার উন্নয়ন
কীওয়ার্ড: কুবারনেটস, জিকেই, রিসোর্স ম্যানেজমেন্ট, অটোস্কেলিং, সিক্রেটস
আরও ভালো ক্লাস্টার ব্যবস্থাপনার জন্য Helm 3 দিয়ে একটি চার্ট তৈরি করা
ট্যাগ: হেলম 3, চার্ট স্থাপনা
ক্লাস্টারে কোডের স্বয়ংক্রিয় বিতরণের জন্য জেনকিন্স এবং পাইপলাইন সেট আপ করা হচ্ছে
কীওয়ার্ড: জেনকিন্স কনফিগারেশন, প্লাগইন, আলাদা কনফিগারেশন রিপোজিটরি

আমি প্রতিটি ধাপে একটি পৃথক নিবন্ধ উৎসর্গ করার পরিকল্পনা করছি।

নিবন্ধগুলির এই সিরিজের ফোকাস কীভাবে মাইক্রোসার্ভিসগুলি লিখতে হয় তা নয়, তবে কীভাবে সেগুলিকে একক সিস্টেমে কাজ করা যায়। যদিও এই সমস্ত জিনিসগুলি সাধারণত বিকাশকারীর দায়িত্বের বাইরে থাকে, তবে আমি মনে করি এটি তাদের সাথে পরিচিত হওয়া এখনও কার্যকর হবে কমপক্ষে 20% (যা, আপনি জানেন, ফলাফলের 80% দেয়)। কিছু নিঃশর্ত গুরুত্বপূর্ণ বিষয়, যেমন নিরাপত্তা, এই প্রকল্প থেকে বাদ দেওয়া হবে, যেহেতু লেখক এই সিস্টেম সম্পর্কে খুব কমই বোঝেন শুধুমাত্র ব্যক্তিগত ব্যবহারের জন্য তৈরি করা হয়েছে৷ আমি কোন মতামত এবং গঠনমূলক সমালোচনা স্বাগত জানাই.

মাইক্রো সার্ভিস তৈরি করা

স্প্রিং বুট ব্যবহার করে পরিষেবাগুলি জাভা 11 এ লেখা হয়েছিল। ইন্টারসার্ভিস মিথস্ক্রিয়া REST ব্যবহার করে সংগঠিত হয়। প্রকল্পটিতে ন্যূনতম সংখ্যক পরীক্ষা অন্তর্ভুক্ত থাকবে (যাতে পরে জেনকিন্সে পরীক্ষা করার মতো কিছু আছে)। পরিষেবাগুলির জন্য উত্স কোড GitHub এ উপলব্ধ: ব্যাকএন্ড и প্রবেশপথ.

প্রতিটি পরিষেবার স্থিতি পরীক্ষা করতে সক্ষম হওয়ার জন্য, তাদের নির্ভরতাগুলিতে একটি স্প্রিং অ্যাকচুয়েটর যুক্ত করা হয়েছে। এটি একটি /অ্যাকচুয়েটর/স্বাস্থ্য এন্ডপয়েন্ট তৈরি করবে এবং পরিষেবাটি ট্রাফিক গ্রহণের জন্য প্রস্তুত হলে একটি 200 স্ট্যাটাস প্রদান করবে, অথবা যদি কোন সমস্যা হয় 504। এই ক্ষেত্রে, এটি একটি বরং কাল্পনিক চেক, যেহেতু পরিষেবাগুলি খুব সহজ, এবং কিছু বলপ্রয়োগের ক্ষেত্রে, সেগুলি আংশিকভাবে চালু থাকার চেয়ে সম্পূর্ণরূপে অনুপলব্ধ হওয়ার সম্ভাবনা বেশি। কিন্তু বাস্তব সিস্টেমে, ব্যবহারকারীরা এটি নিয়ে লড়াই শুরু করার আগে Actuator একটি সমস্যা নির্ণয় করতে সাহায্য করতে পারে। উদাহরণস্বরূপ, যদি ডাটাবেস অ্যাক্সেস করতে সমস্যা হয়, আমরা স্বয়ংক্রিয়ভাবে একটি ভাঙা পরিষেবার দৃষ্টান্তের সাথে প্রক্রিয়াকরণের অনুরোধগুলি বন্ধ করে এর প্রতিক্রিয়া জানাতে পারি।

ব্যাক এন্ড সার্ভিস

ব্যাকএন্ড পরিষেবা কেবল গণনা করবে এবং গৃহীত অনুরোধের সংখ্যা ফেরত দেবে।

কন্ট্রোলার কোড:

@RestController
public class RequestsCounterController {

    private final AtomicLong counter = new AtomicLong();

    @GetMapping("/requests")
    public Long getRequestsCount() {
        return counter.incrementAndGet();
    }
}

নিয়ন্ত্রক পরীক্ষা:

@WebMvcTest(RequestsCounterController.class)
public class RequestsCounterControllerTests {

    @Autowired
    private MockMvc mockMvc;

    @Test
    public void firstRequest_one() throws Exception {
        mockMvc.perform(get("/requests"))
            .andExpect(status().isOk())
            .andExpect(MockMvcResultMatchers.content().string("1"));
    }
}

সার্ভিস গেটওয়ে

গেটওয়ে অনুরোধটি ব্যাকএন্ড পরিষেবাতে ফরোয়ার্ড করবে, এটি নিম্নলিখিত তথ্যের সাথে পরিপূরক করে:

গেটওয়ে আইডি। এটি প্রয়োজন যাতে সার্ভার প্রতিক্রিয়া দ্বারা গেটওয়ের একটি উদাহরণকে অন্যটি থেকে আলাদা করা সম্ভব হয়
কিছু "গোপন" যা একটি অত্যন্ত গুরুত্বপূর্ণ পাসওয়ার্ডের ভূমিকা পালন করবে (একটি গুরুত্বপূর্ণ কুকির এনক্রিপশন কী সংখ্যা)

application.properties-এ কনফিগারেশন:

backend.url=http://localhost:8081
instance.id=${random.int}
secret="default-secret"

ব্যাকএন্ড অ্যাডাপ্টার:

@Service
public class BackendAdapter {

    private static final String REQUESTS_ENDPOINT = "/requests";

    private final RestTemplate restTemplate;

    @Value("${backend.url}")
    private String backendUrl;

    public BackendAdapter(RestTemplateBuilder builder) {
        restTemplate = builder.build();
    }

    public String getRequests() {
        ResponseEntity<String> response = restTemplate.getForEntity(
backendUrl + REQUESTS_ENDPOINT, String.class);
        return response.getBody();
    }
}

নিয়ন্ত্রক:

@RestController
@RequiredArgsConstructor
public class EndpointController {

    private final BackendAdapter backendAdapter;

    @Value("${instance.id}")
    private int instanceId;

    @Value("${secret}")
    private String secret;

    @GetMapping("/")
    public String getRequestsCount() {
        return String.format("Number of requests %s (gateway %d, secret %s)", backendAdapter.getRequests(), instanceId, secret);
    }
}

শুরু করা:

আমরা ব্যাকএন্ড শুরু করি:

./mvnw package -DskipTests
java -Dserver.port=8081 -jar target/microservices-backend-1.0.0.jar

গেটওয়ে শুরু হচ্ছে:

./mvnw package -DskipTests
java -jar target/microservices-gateway-1.0.0.jar

চেক করুন:

$ curl http://localhost:8080/
Number of requests 1 (gateway 38560358, secret "default-secret")

সবকিছু কাজ করছে। একজন মনোযোগী পাঠক লক্ষ্য করবেন যে গেটওয়েকে বাইপাস করে সরাসরি ব্যাকএন্ড অ্যাক্সেস করতে আমাদের বাধা দেয় না (http://localhost:8081/requests) এটি ঠিক করার জন্য, পরিষেবাগুলিকে অবশ্যই একটি নেটওয়ার্কে একত্রিত করতে হবে এবং শুধুমাত্র গেটওয়েটি বাইরে "স্টিক আউট" হওয়া উচিত।
এছাড়াও, উভয় পরিষেবা একটি ফাইল সিস্টেম ভাগ করে, স্ট্রিম উত্পাদন করে এবং এক মুহূর্তে একে অপরের সাথে হস্তক্ষেপ শুরু করতে পারে। আমাদের মাইক্রোসার্ভিসগুলোকে বিচ্ছিন্ন করা ভালো হবে। এটি বিভিন্ন মেশিনে অ্যাপ্লিকেশন বিতরণ করে (অনেক অর্থ, কঠিন), ভার্চুয়াল মেশিন ব্যবহার করে (সম্পদ নিবিড়, দীর্ঘ স্টার্টআপ) বা কন্টেইনারাইজেশন ব্যবহার করে অর্জন করা যেতে পারে। প্রত্যাশিত হিসাবে, আমরা তৃতীয় বিকল্প নির্বাচন করুন এবং ডকশ্রমিক ধারককরণের জন্য একটি হাতিয়ার হিসাবে।

ডকশ্রমিক

সংক্ষেপে, ডকার বিচ্ছিন্ন পাত্র তৈরি করে, প্রতি অ্যাপ্লিকেশনে একটি। ডকার ব্যবহার করার জন্য, আপনাকে একটি ডকারফাইল লিখতে হবে - অ্যাপ্লিকেশন তৈরি এবং চালানোর জন্য নির্দেশাবলী। এর পরে, আপনি ছবিটি তৈরি করতে পারেন, এটি ইমেজ রেজিস্ট্রিতে আপলোড করতে পারেন (নং। ডকারহাব) এবং একটি কমান্ডে যেকোনো ডকারাইজড পরিবেশে আপনার মাইক্রোসার্ভিস স্থাপন করুন।

Dockerfile

একটি ইমেজের অন্যতম গুরুত্বপূর্ণ বৈশিষ্ট্য হলো এর আকার। একটি কম্প্যাক্ট ইমেজ রিমোট রিপোজিটরি থেকে দ্রুত ডাউনলোড হয়, কম জায়গা নেয় এবং আপনার সার্ভিসও দ্রুত চালু হয়। যেকোনো ইমেজ একটি বেস ইমেজের উপর ভিত্তি করে তৈরি হয়, এবং সবচেয়ে সংক্ষিপ্ত বিকল্পটি বেছে নেওয়ার পরামর্শ দেওয়া হয়। একটি ভালো বিকল্প হলো আলপাইন, যা একটি পূর্ণাঙ্গ ফিচারযুক্ত ডিস্ট্রিবিউশন। Linux ন্যূনতম সংখ্যক প্যাকেজ সহ।

শুরু করার জন্য, আসুন একটি ডকারফাইল "কপালে" লেখার চেষ্টা করি (আমি এখনই বলব যে এটি একটি খারাপ উপায়, এটি করবেন না):

FROM adoptopenjdk/openjdk11:jdk-11.0.5_10-alpine
ADD . /src
WORKDIR /src
RUN ./mvnw package -DskipTests
EXPOSE 8080
ENTRYPOINT ["java","-jar","target/microservices-gateway-1.0.0.jar"]

এখানে আমরা আমাদের প্রকল্প তৈরি করতে ইতিমধ্যে ইনস্টল করা JDK সহ একটি আলপাইন ভিত্তিক বেস ইমেজ ব্যবহার করছি। ADD কমান্ডের সাহায্যে, আমরা চিত্রটিতে বর্তমান src ডিরেক্টরি যোগ করি, এটিকে কাজ (ওয়ার্কডির) হিসাবে চিহ্নিত করি এবং বিল্ড শুরু করি। EXPOSE 8080 কমান্ড ডকারকে সংকেত দেয় যে কন্টেইনারে থাকা অ্যাপ্লিকেশনটি তার পোর্ট 8080 ব্যবহার করবে (এটি অ্যাপ্লিকেশনটিকে বাইরে থেকে অ্যাক্সেসযোগ্য করে তুলবে না, তবে অ্যাপ্লিকেশনটিকে অ্যাক্সেস করার অনুমতি দেবে, উদাহরণস্বরূপ, একই ডকার নেটওয়ার্কের অন্য কন্টেইনার থেকে )

ইমেজগুলিতে পরিষেবাগুলি প্যাকেজ করতে, আপনাকে প্রতিটি প্রকল্পের রুট থেকে কমান্ড চালাতে হবে:

docker image build . -t msvc-backend:1.0.0

ফলাফল হল একটি 456 MB চিত্র (যার ভিত্তি JDK চিত্রটি 340 MB দখল করেছে)৷ এবং সব সত্ত্বেও যে আমাদের প্রকল্পের ক্লাস একটি আঙুলের উপর গণনা করা যেতে পারে. আমাদের ছবির আকার কমাতে:

আমরা বহু-পদক্ষেপ সমাবেশ ব্যবহার করি। প্রথম ধাপে আমরা প্রকল্পটি তৈরি করব, দ্বিতীয় ধাপে আমরা JRE ইনস্টল করব এবং তৃতীয় ধাপে আমরা এটিকে একটি নতুন পরিষ্কার আলপাইন ছবিতে কপি করব। মোট, শুধুমাত্র প্রয়োজনীয় উপাদানগুলি চূড়ান্ত চিত্রে থাকবে।
জাভা মডুলারাইজেশন ব্যবহার করা যাক। Java 9 দিয়ে শুরু করে, আপনি আপনার প্রয়োজনীয় মডিউলগুলি থেকে একটি JRE তৈরি করতে jlink টুল ব্যবহার করতে পারেন

অনুসন্ধিৎসুদের জন্য, এখানে চিত্র হ্রাস পদ্ধতির উপর একটি ভাল নিবন্ধ রয়েছে। https://habr.com/ru/company/ruvds/blog/485650/.

চূড়ান্ত ডকারফাইল:

FROM adoptopenjdk/openjdk11:jdk-11.0.5_10-alpine as builder
ADD . /src
WORKDIR /src
RUN ./mvnw package -DskipTests

FROM alpine:3.10.3 as packager
RUN apk --no-cache add openjdk11-jdk openjdk11-jmods
ENV JAVA_MINIMAL="/opt/java-minimal"
RUN /usr/lib/jvm/java-11-openjdk/bin/jlink 
    --verbose 
    --add-modules 
        java.base,java.sql,java.naming,java.desktop,java.management,java.security.jgss,java.instrument 
    --compress 2 --strip-debug --no-header-files --no-man-pages 
    --release-info="add:IMPLEMENTOR=radistao:IMPLEMENTOR_VERSION=radistao_JRE" 
    --output "$JAVA_MINIMAL"

FROM alpine:3.10.3
LABEL maintainer="Anton Shelenkov anshelen@yandex.ru"
ENV JAVA_HOME=/opt/java-minimal
ENV PATH="$PATH:$JAVA_HOME/bin"
COPY --from=packager "$JAVA_HOME" "$JAVA_HOME"
COPY --from=builder /src/target/microservices-backend-*.jar app.jar
EXPOSE 8080
ENTRYPOINT ["java","-jar","/app.jar"]

আমরা চিত্রটি পুনরায় তৈরি করি, এবং ফলস্বরূপ, এটি 6 এমবি পরিমাণে 77 গুণ ওজন হারিয়েছে। খারাপ না. এর পরে, রেডিমেড ছবিগুলি ইমেজ রেজিস্ট্রিতে আপলোড করা যেতে পারে যাতে আপনার ছবিগুলি ইন্টারনেট থেকে ডাউনলোডের জন্য উপলব্ধ থাকে।

ডকারে সহ-চলমান পরিষেবা

শুরুতে, আমাদের পরিষেবাগুলি একই নেটওয়ার্কে থাকা আবশ্যক৷ ডকারে বিভিন্ন ধরণের নেটওয়ার্ক রয়েছে এবং আমরা তাদের মধ্যে সবচেয়ে আদিম ব্যবহার করি - ব্রিজ, যা আপনাকে একই হোস্টে চলমান কন্টেইনারগুলিকে নেটওয়ার্ক করতে দেয়। নিম্নলিখিত কমান্ড দিয়ে একটি নেটওয়ার্ক তৈরি করুন:

docker network create msvc-network

এর পরে, মাইক্রোসার্ভিসেস-ব্যাকেন্ড:1.0.0 চিত্রের সাথে 'ব্যাকেন্ড' নামের ব্যাকএন্ড কন্টেইনারটি শুরু করুন:

docker run -dit --name backend --network msvc-net microservices-backend:1.0.0

এটা লক্ষণীয় যে ব্রিজ নেটওয়ার্ক কন্টেইনারগুলির জন্য তাদের নাম অনুসারে বক্স পরিষেবা আবিষ্কারের বাইরে সরবরাহ করে। অর্থাৎ, ব্যাকএন্ড পরিষেবাটি ডকার নেটওয়ার্কের ভিতরে পাওয়া যাবে http://backend:8080.

গেটওয়ে শুরু হচ্ছে:

docker run -dit -p 80:8080 --env secret=my-real-secret --env BACKEND_URL=http://backend:8080/ --name gateway --network msvc-net microservices-gateway:1.0.0

এই কমান্ডে, আমরা ইঙ্গিত করি যে আমরা আমাদের হোস্টের পোর্ট 80 কে কন্টেইনারের পোর্ট 8080 এ ফরোয়ার্ড করছি। আমরা পরিবেশের ভেরিয়েবল সেট করতে env বিকল্পগুলি ব্যবহার করি যা স্বয়ংক্রিয়ভাবে বসন্ত দ্বারা পড়া হবে এবং application.properties থেকে বৈশিষ্ট্যগুলিকে ওভাররাইড করবে৷

শুরু করার পরে, আমরা কল http://localhost/ এবং নিশ্চিত করুন যে সবকিছু কাজ করে, আগের ক্ষেত্রে হিসাবে।

উপসংহার

ফলস্বরূপ, আমরা দুটি সাধারণ মাইক্রোসার্ভিস তৈরি করেছি, সেগুলিকে ডকার পাত্রে প্যাকেজ করেছি এবং একই মেশিনে একসাথে চালু করেছি। ফলস্বরূপ সিস্টেমের অবশ্য বেশ কিছু অসুবিধা রয়েছে:

দুর্বল দোষ সহনশীলতা - সবকিছু আমাদের জন্য একটি সার্ভারে কাজ করে
দুর্বল মাপযোগ্যতা - যখন লোড বৃদ্ধি পায়, তখন অতিরিক্ত পরিষেবা দৃষ্টান্তগুলি স্বয়ংক্রিয়ভাবে স্থাপন করা এবং তাদের মধ্যে লোডের ভারসাম্য বজায় রাখা ভাল হবে
লঞ্চের জটিলতা - আমাদের কমপক্ষে 3টি কমান্ড প্রবেশ করতে হবে এবং নির্দিষ্ট পরামিতি সহ (এটি শুধুমাত্র 2টি পরিষেবার জন্য)

উপরের সমস্যাগুলি সমাধান করার জন্য, ডকার সোয়ার্ম, নোম্যাড, কুবারনেটস বা ওপেনশিফটের মতো বেশ কয়েকটি সমাধান রয়েছে। যদি পুরো সিস্টেমটি জাভাতে লেখা থাকে, আপনি স্প্রিং ক্লাউডের দিকে তাকাতে পারেন (ভাল নিবন্ধ).

В পরবর্তী অংশ আমি কিভাবে Kubernetes সেট আপ করেছি এবং Google Kubernetes ইঞ্জিনে প্রকল্পটি স্থাপন করেছি সে সম্পর্কে আমি কথা বলব।

উত্স: www.habr.com