Pisali API — pokidali XML (dva)

Prvi API MojegSklada pojavljuje se prije 10 godina. Sve to vrijeme radimo na postojećim verzijama API-ja i razvijamo nove. A nekoliko verzija API-ja je već stiglo do svog kraja.

U ovom članku bit će mnogo toga: kako je API napravljen, zašto je potreban oblaku, što korisnicima donosi, na koje prepreke smo naišli i što planiramo dalje.

Zovem se Oleg Aleksejev oalexeev, ja sam tehnički direktor i suosnivač MojegSklada.

Zašto napraviti API za uslugu

Naši klijenti, a to su desetine tisuća poduzetnika, aktivno koriste oblačna rješenja: bankarstvo, internetske prodavnice, praćenje proizvoda, CRM. Kada se povežu s jednim — teško je stati. A sada peti, osmi, deseti servis olakšava posao poduzetniku, ali korisnici ručno prenose podatke između tih oblaka. Posao postaje noćna mora.

Očigledno rešenje je dati korisnicima mogućnost da prenose podatke između oblaka. Na primjer, uvoziti i izvoziti podatke kao datoteke koje se zatim mogu učitati u potrebnu uslugu. Datoteke obično prolaze kroz promjenu formata za svaku uslugu. Ovo je manje-više jednostavan ručni posao, ali s rastom broja ovih usluga postaje sve teže izvršavati.

Zato je sljedeći korak — API. S njim oblačna usluga dobija na benefitima povezivanja više usluga na jednom mestu. Pojava takve ekosisteme privlači nove klijente dodatnim mogućnostima. Proizvod s novom funkcionalnošću postaje isplativiji i korisniji.

Ako se kreiraju vlastiti softverski interfejsi, to privlači vanjske prodavače u obliku programera koji saznaju za vaš proizvod zahvaljujući API-ju. Oni počinju graditi rešenja na osnovu ponuđenog API-ja i zarađuju novac automatizacijom zadataka svojih klijenata.

Sistem računovodstva MojeSkalade temelji se na jednostavnim procesima. Najvažnija stvar je rad s primarnim dokumentima, mogućnost primanja i isporuke robe, te generisanje izveštaja za poslovanje na osnovu tih dokumenata. Takođe, postoji razmena podataka, na primer, sa cloud knjigovodstvom, kao i njihovo preuzimanje iz bankovnih sistema ili maloprodajnih tačaka. Pored toga, radimo s internet prodavnicama: dobijamo informacije o proizvodima i šaljemo podatke o zalihama.

Pisali API — pokidali XML (dva)

Prvi API MojeSkalade

Tokom 10 godina rada MojeSkalade s API-jem, razvili smo razne integracije koje omogućavaju razmenu podataka, saradnju s bankama, plaćanje i korišćenje spoljnih telefonskih usluga.

U prvoj godini omogućili smo izvoz svih podataka u XML formatu. Tada su korisnicima mnogo više odgovarali offline podaci nego podaci u oblaku, pa smo im to omogućili. Izvoz se pokretao ručnim eksportovanjem iz interfejsa. U to vreme, API to još ne možemo nazvati.

Tada smo počeli saradnju s kompanijom Rusagro — oni su već koristili "zrelu" ERP za planiranje proizvodnje i prodaje, dok su automatski učitavali vagone u fabrikama u MojeSkalade. Tako smo dobili prve početke pravog API-ja: razmena između naše usluge i ERP-a dešavala se slanjem velikog fajla sa podacima za sve vrste dokumenata.

To je bila dobra opcija za serijsku razmenu podataka, ali zajedno s dokumentima morali smo slati njihove zavisnosti: informacije o proizvodima, partnerima i skladištima. Takvu gomilu nije teško generisati prilikom izvoza, ali je prilično teško obraditi prilikom uvoza, jer u jednom paketu dolaze svi podaci: i o novim dokumentima, i o već postojećim.

Prvi XML API nije živeo dugo — posle dve godine počeli smo njegovu rekonstrukciju. Čak na samom početku rada napravili smo nekoliko grešaka prilikom konstrukcije programskog interfejsa.

Pisali API — pokidali XML (dva)
Kako je rađen XML API: ilustracija od jednog od naših arhitekata. Usput, očekujte njegove članke.

Evo naših glavnih grešaka:

  1. JAXB markup was done directly on entity beans. To communicate with the database, we use Hibernate, and JAXB markup was also done on these beans. This error surfaced almost immediately: any update to the data structure required urgent notification of all API users or the construction of workarounds to ensure compatibility with the previous data structure.
  2. The API emerged as an addition, and initially, we did not define what part of the product it constituted. We also didn’t consider whether the API was important, or if we needed to maintain backward compatibility for its early clients. At one point, the number of API users was about 5% of the total small number, and they were ignored. The universal filtering we implemented at that time led to us being used as a backend. This filtering was not GraphQL at all, but something similar — it operated through a myriad of query string parameters. With such a powerful tool, users found it hard to resist, and requests were routed to us directly from their online store UIs. This situation became an unpleasant surprise because providing such a service should require different pricing and a fundamentally different understanding of the API as a product.
  3. Because the API developed not as a core product, the API documentation was produced and published on a residual basis — through reverse engineering. This approach seems quite simple and convenient but contradicts contract work. This is when there is a component with a predetermined operation scheme. The developer implements it according to this scheme and task, the component undergoes testing, and the client receives a product that matches the analyst's design. On the other hand, reverse engineering throws a product onto the market that is just there: with workarounds, strange solutions, and bicycles instead of the necessary functionality.
  4. Sav savjez svih zahteva koji su dolazili putem API-a mogao se analizirati samo kao log Nginx-a ili aplikacionog servera. To nije omogućilo razlikovanje tematskih oblasti, osim da se razdvoje po korisnicima i pretplatnicima. Ako nije moguće regulisati registraciju aplikacije ili klijenata, analiza situacije postaje nemoguća. Ovaj problem na najmanje je uticao na razvoj API-a, više se odnosio na razumevanje njegove potražnje i funkcionalnosti.

Pokušaj broj dva: REST API

2010. godine pokušali smo izgraditi sistem razmene sa online knjigovodstvom — BukSoft. Nije uspelo. Međutim, tokom integracije pojavio se potpuno funkcionalan API: REST servis razmene, gde su izostavljene slobode poput poziva na operacije u formi RPC poziva. Sva komunikacija sa API-jem svedena je na standardni REST režim: u URL-u zahteva nalazila se naziv entiteta, dok je operacija koja se izvršavala definisana HTTP metodom. Dodali smo filtriranje prema trenutku ažuriranja entiteta, a korisnicima je omogućeno da izgrade replikaciju sa svojim sistemima.

U istoj godini pojavio se API za isporuku skladišnih i proizvodnih zaliha. Korisnicima su putem API-a postali dostupni najdragoceniji delovi sistema — razmena prvobitnih dokumenata i obračunski podaci o zalihama i troškovima proizvoda.

U decembru 2015. godine RetailCRM je objavio prvu treću biblioteku za pristup našem API-ju. Počela je aktivno da se koristi, dok je popularnost usluge u celini rasla, a opterećenje na API je raslo brže od opterećenja na web interfejsu. Jednom je rast postao skok opterećenja.

Pisali API — pokidali XML (dva)

Pisali API — pokidali XML (dva)

I ovaj skok, na koji pokazuje strelica levo, u potpunosti je zaprepastio server koji opslužuje naš API. Nedelju dana smo istraživali šta zapravo generiše ovo opterećenje. Ispostavilo se da su to oni isti zahtevi, koji su se prenosili na naš API od klijentovih frontova. Sve su to generisala oko 50 klijenata. Tada smo shvatili jednu od svojih grešaka - potpunu odsutnost limita.

Na kraju smo uveli limit na broj istovremenih zahtjeva. Sa jedne korisničke račune sada je moguće istovremeno otvoriti najviše dva zahtjeva. To je dovoljno za rad u režimu replikacije za razmjenu podataka u paketnom režimu. A oni koji su željeli koristiti nas kao backend, od sada su morali više odgovarati tarifama, jer su u svojim programskim sredstvima uveli rad s više računa.

Stavljamo stvari u red

Već od 2014. godine potražnja za postojećim API-em postala je važan dio poslovanja, a sam API generirao je najveći obim podataka u razmjeni podataka s klijentima. Godine 2015. pokrenuli smo projekt za dovođenje API-a u red. Izabrali smo JSON kao format umjesto XML-a i počeli smo ga graditi na osnovu karakteristika koje smo otkrili tokom implementacije prethodne verzije:

  1. Mogućnost upravljanja verzijama. Verzijsko upravljanje omogućava razvoj nove verzije bez utjecaja na postojeću aplikaciju i bez ometanja rada korisnika.
  2. Mogućnost da korisnik vidi metapodatke u samom odgovoru koji dobiva.
  3. Mogućnost razmjene velikih dokumenata. Ako obrađujemo dokument s brojem stavki većim od 4-5 tisuća, to postaje problem za server: dugačka transakcija, dug http zahtjev. Izgradili smo poseban mehanizam koji omogućava ažuriranje dokumenta u dijelovima i upravljanje pojedinačnim stavkama ovog dokumenta, šaljući ih na server.
  4. Alati za replikaciju — postojali su i u prethodnoj verziji.
  5. Limiti opterećenja — kao naslijeđe prepreka na koje smo naišli u prethodnoj verziji. Uveli smo limite na broj zahtjeva u određenom vremenskom periodu, broj paralelnih zahtjeva i zahtjeva s jedne IP adrese.

Od tog trenutka izdali smo dvije manje verzije API-a i pokrenuli nekoliko specijaliziranih API-a, ali u cjelini pristup je ostao nepromijenjen. Ažurirani format razmjene i nova arhitektura omogućili su brže ispravljanje nedostataka u API-u.

API MojeSkladište danas

Danas API MojeSkladište rješava mnoge zadatke:

  • razmjena podataka s internetskim trgovinama, računovodstvenim sustavima, bankama;
  • pribavljanje obračunskih podataka, izvještaja;
  • korištenje kao backend za klijentske aplikacije — naše mobilne aplikacije i desktop kasa rade preko API-a.
  • slanje obaveštenja o promenama podataka u MomSkladištu — webhooks;
  • telefonija;
  • sistemi lojalnosti.

Na osnovu API-a naš generalni direktor Askar Rahimberdiev rhino za četiri sata napisao telegram-bota koji povlači preko API-a zalihe: github.com/arahimberdiev/com-lognex-telegram-moysklad-stock

Sada su to samo suhe brojke.

Evo naše statistike o starom REST API-u:

  • 400 kompanija;
  • 600 korisnika;
  • 2 miliona zahteva dnevno;
  • 200 GB/dan izlaznog saobraćaja.

A ovo je do čega smo došli sa svim API-jima MomSkladišta:

  • više od 70 integracija (neke od njih možete pogledati ovde www.moysklad.ru/integratsii);
  • 8500 kompanija;
  • 12 000 korisnika;
  • 46 miliona zahteva dnevno;
  • 2 TB/dan izlaznog saobraćaja.

What’s next

Planovi za razvoj API-ja su u aktivnoj raspravi. Trudimo se da uzmemo u obzir iskustvo korisnika koje nam dostavljaju. Ne uspevamo uvek i ne možemo sve odmah, ali nova verzija API-ja sa pogodnijim metapodacima i jednostavnijom strukturom, OAuth za autentifikaciju, i API za ugrađene aplikacije je na vidiku.

Pratite vesti na posebnom sajtu za programere integracija sa MomSkladištem: dev.moysklad.ru.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster