Hej Habr!
Naša tvrtka se u svom radu vrlo često bavi različitim alatima za statičku analizu koda (SAST). Izvan kutije svi rade prosječno. Naravno, sve ovisi o projektu i tehnologijama koje se u njemu koriste, kao io tome koliko su te tehnologije obuhvaćene pravilima analize. Po mom mišljenju, jedan od najvažnijih kriterija pri odabiru SAST alata je mogućnost njegove prilagodbe specifičnostima vaše aplikacije, odnosno pisanje i promjena pravila analize ili, kako se češće nazivaju, prilagođenih upita.
Najčešće koristimo Checkmarx - vrlo zanimljiv i moćan analizator koda. U ovom ću članku govoriti o svom iskustvu pisanja pravila analize za to.
pregled sadržaja
Ulazak
Za početak, želio bih preporučiti jedan od rijetkih članaka na ruskom o značajkama pisanja upita za Checkmarx. Objavljeno je na Habréu krajem 2019. pod naslovom: .
Detaljno ispituje kako napisati prve upite u CxQL (Checkmarx Query Language) za neku testnu aplikaciju i prikazuje osnovne principe rada pravila analize.
Neću ponavljati ono što je u njemu opisano, iako će neka raskrižja i dalje biti prisutna. U svom ću članku pokušati sastaviti svojevrsnu „zbirku recepata“, popis rješenja za specifične probleme s kojima sam se susreo tijekom rada s Checkmarxom. Morao sam razbijati glavu oko mnogih od tih problema. Ponekad nije bilo dovoljno informacija u dokumentaciji, a ponekad je čak bilo teško razumjeti kako učiniti ono što se traži. Nadam se da moje iskustvo i neprospavane noći neće biti uzaludni, a ova “zbirka recepata prilagođenih upita” će vam uštedjeti nekoliko sati ili nekoliko živčanih stanica. Dakle, počnimo!
Opće informacije o pravilima
Prvo, pogledajmo nekoliko osnovnih koncepata i proces rada s pravilima, kako bismo bolje razumjeli što će se sljedeće dogoditi. I zato što dokumentacija ne govori ništa o tome ili je vrlo raširena u strukturi, što nije baš zgodno.
-
Pravila se primjenjuju tijekom skeniranja ovisno o unaprijed odabranim postavkama na početku (skup aktivnih pravila). Možete stvoriti neograničen broj unaprijed postavljenih postavki, a točno kako ih strukturirati ovisi o specifičnostima vašeg procesa. Možete ih grupirati po jeziku ili odabrati unaprijed postavljene postavke za svaki projekt. Broj aktivnih pravila utječe na brzinu i točnost skeniranja.
Postavljanje unaprijed postavljenih postavki u Checkmarx sučelju -
Pravila se uređuju u posebnom alatu pod nazivom CxAuditor. Ovo je desktop aplikacija koja se povezuje s poslužiteljem koji pokreće Checkmarx. Ovaj alat ima dva načina rada: uređivanje pravila i analiza rezultata već obavljenog skeniranja.
CxAudit sučelje -
Pravila u Checkmarxu podijeljena su po jeziku, odnosno svaki jezik ima svoj skup upita. Postoje i neka opća pravila koja vrijede bez obzira na jezik, to su takozvani osnovni upiti. Osnovni upiti većinom uključuju traženje informacija koje koriste druga pravila.
Podjela pravila po jeziku -
Pravila su "izvršna" i "neizvršna" (izvršena i neizvršena). Nije baš točan naziv, po mom mišljenju, ali tako je. Suština je da će rezultat izvršavanja "izvršnih" pravila biti prikazan u rezultatima skeniranja u korisničkom sučelju, a "neizvršna" pravila potrebna su samo za korištenje njihovih rezultata u drugim zahtjevima (u biti, samo funkcija).
Određivanje vrste pravila prilikom izrade -
Možete kreirati nova pravila ili dopuniti/prepisati postojeća. Kako biste prepisali pravilo, morate ga pronaći u stablu, desnom tipkom miša kliknuti i s padajućeg izbornika odabrati "Nadjačaj". Ovdje je važno upamtiti da nova pravila nisu inicijalno uključena u unaprijed postavljene postavke i nisu aktivna. Kako biste ih počeli koristiti, morate ih aktivirati u izborniku "Preset Manager" na instrumentu. Prepisana pravila zadržavaju svoje postavke, odnosno ako je pravilo bilo aktivno, takvo će i ostati i odmah se primjenjuje.
Primjer novog pravila u sučelju Preset Manager -
Tijekom izvršenja gradi se “stablo” zahtjeva, ovisno o čemu. Prvo se izvršavaju pravila koja prikupljaju podatke, a zatim oni koji ih koriste. Rezultat izvršenja je predmemoriran, pa ako je moguće koristiti rezultate postojećeg pravila, onda je bolje to učiniti, to će smanjiti vrijeme skeniranja.
-
Pravila se mogu primijeniti na različitim razinama:
-
Za cijeli sustav - koristit će se za svako skeniranje bilo kojeg projekta
-
Na razini tima (Tim) - koristit će se samo za skeniranje projekata u odabranom timu.
-
Na razini projekta – Primijenit će se u konkretnom projektu
Određivanje razine na kojoj će se pravilo primijeniti
“Rječnik” za početnike
I počet ću s nekoliko stvari koje su mi izazvale pitanja, a također ću pokazati niz tehnika koje će značajno pojednostaviti život.
Operacije s listama
- вычитание одного из другого (list2 - list1)
* пересечение списков (list1 * list2)
+ сложение списков (list1 + list2)
& (логическое И) - объединяет списки по совпадению (list1 & list2), аналогично пересечению (list1 * list2)
| (логическое ИЛИ) - объединяет списки по широкому поиску (list1 | list2)
Со списками не работает: ^ && || % / Sve pronađene stvari
Unutar skeniranog jezika možete dobiti popis apsolutno svih elemenata koje je Checkmarx identificirao (stringovi, funkcije, klase, metode itd.). Ovo je neki prostor objekata kroz koji se može pristupiti All. Odnosno, tražiti objekt s određenim imenom searchMe, možete pretraživati, na primjer, po imenu po svim pronađenim objektima:
// Такой запрос выдаст все элементы
result = All;
// Такой запрос выдаст все элементы, в имени которых присутствует “searchMe“
result = All.FindByName("searchMe");No, ako trebate pretraživati na drugom jeziku koji iz nekog razloga nije uključen u skeniranje (na primjer, groovy u Android projektu), možete proširiti naš objektni prostor kroz varijablu:
result = AllMembers.All.FindByName("searchMe");Funkcije za analizu toka
Ove se funkcije koriste u mnogim pravilima, a evo male varalice o tome što one znače:
// Какие данные second влияют на first.
// Другими словами - ТО (second) что влияет на МЕНЯ (first).
result = first.DataInfluencedBy(second);
// Какие данные first влияют на second.
// Другими словами - Я (first) влияю на ТО (second).
result = first.DataInfluencingOn(second);Dohvaćanje naziva/puta datoteke
Postoji nekoliko atributa koji se mogu dobiti iz rezultata upita (naziv datoteke u kojoj je unos pronađen, niz itd.), ali dokumentacija ne kaže kako ih dobiti i koristiti. Dakle, da biste to učinili, morate pristupiti svojstvu LinePragma i objekti koji su nam potrebni nalazit će se unutar njega:
// Для примера найдем все методы
CxList methods = Find_Methods();
// В методах найдем по имени метод scope
CxList scope = methods.FindByName("scope");
// Таким образом можо получить путь к файлу
string current_filename = scope.GetFirstGraph().LinePragma.FileName;
// А вот таким - строку, где нашлось срабатывание
int current_line = scope.GetFirstGraph().LinePragma.Line;
// Эти параметры можно использовать по разному
// Например получить все объекты в файле
CxList inFile = All.FindByFileName(current_filename);
// Или найти что происходит в конкретной строке
CxList inLine = inFile.FindByPosition(current_line);Vrijedno je imati na umu da FileName zapravo sadrži put do datoteke, budući da smo koristili metodu GetFirstGraph.
Rezultat izvršenja
Postoji posebna varijabla unutar CxQL result, koji vraća rezultat izvršavanja vašeg napisanog pravila. Odmah se inicijalizira iu njega možete upisati međurezultate, mijenjajući ih i dorađujući dok radite. Ali, ako ne postoji dodjela ovoj varijabli ili funkciji unutar pravila return— rezultat izvršenja će uvijek biti nula.
Sljedeći upit neće nam vratiti ništa kao rezultat izvršenja i uvijek će biti prazan:
// Находим элементы foo
CxList libraries = All.FindByName("foo");No, dodijelivši rezultat izvršenja magičnoj varijabli result, vidjet ćemo što nam ovaj poziv vraća:
// Находим элементы foo
CxList libraries = All.FindByName("foo");
// Выводим, как результат выполнения правила
result = libraries
// Или еще короче
result = All.FindByName("foo");Korištenje rezultata drugih pravila
Pravila u Checkmarxu mogu se nazvati analognim funkcijama u uobičajenom programskom jeziku. Kada pišete pravilo, dobro možete koristiti rezultate drugih upita. Na primjer, nema potrebe tražiti sve pozive metoda u kodu svaki put, samo pozovite željeno pravilo:
// Получаем результат выполнения другого правила
CxList methods = Find_Methods();
// Ищем внутри метод foo.
// Второй параметр false означает, что ищем без чувствительности к регистру
result = methods.FindByShortName("foo", false);Ovaj pristup vam omogućuje da skratite kod i značajno smanjite vrijeme izvršenja pravila.
Rješenje problema
Sječa drva
Kada radite s alatom, ponekad nije moguće odmah napisati željeni upit i morate eksperimentirati, isprobavajući različite opcije. Za takav slučaj, alat osigurava bilježenje, koje se zove na sljedeći način:
// Находим что-то
CxList toLog = All.FindByShortName("log");
// Формируем строку и отправляем в лог
cxLog.WriteDebugMessage (“number of DOM elements =” + All.Count);Ali vrijedi zapamtiti da ova metoda prihvaća samo kao unos niz, tako da neće biti moguće prikazati potpuni popis pronađenih elemenata kao rezultat prve operacije. Druga opcija, koja se koristi za otklanjanje pogrešaka, je dodijeliti čarobnoj varijabli s vremena na vrijeme result rezultat upita i vidite što će se dogoditi. Ovaj pristup nije baš zgodan; morate biti sigurni da nema nadjačavanja ili operacija s ovim u kodu nakon result ili jednostavno komentirajte kod ispod. Ili možete, poput mene, zaboraviti ukloniti nekoliko takvih poziva iz gotovog pravila i pitati se zašto ništa ne radi.
Prikladniji način je pozvati metodu return sa traženim parametrom. U ovom slučaju, izvršenje pravila će završiti i moći ćemo vidjeti što se dogodilo kao rezultat onoga što smo napisali:
// Находим что-то
CxList toLog = All.FindByShortName("log");
// Выводим результат выполнения
return toLog
//Все, что написано дальше не будет выполнено
result = All.DataInfluencedBy(toLog)Problem s prijavom
Postoje situacije kada ne možete pristupiti alatu CxAudit (koji se koristi za pisanje pravila). Za to može postojati mnogo razloga, uključujući padove, iznenadna ažuriranja sustava Windows, BSOD i druge nepredviđene situacije koje su izvan naše kontrole. U tom slučaju ponekad postoji nedovršena sesija u bazi podataka, što vas onemogućuje da se ponovno prijavite. Da biste to popravili, morate pokrenuti nekoliko upita:
Za Checkmarx prije 8.6:
// Проверяем, что есть залогиненые пользователи, выполнив запрос в БД
SELECT COUNT(*) FROM [CxDB].[dbo].LoggedinUser WHERE [ClientType] = 6;
// Если что-то есть, а на самом деле даже если и нет, попробовать выполнить запрос
DELETE FROM [CxDB].[dbo].LoggedinUser WHERE [ClientType] = 6;
Za Checkmarx nakon 8.6:
// Проверяем, что есть залогиненые пользователи, выполнив запрос в БД
SELECT COUNT(*) FROM LoggedinUser WHERE (ClientType = 'Audit');
// Если что-то есть, а на самом деле даже если и нет, попробовать выполнить запрос
DELETE FROM [CxDB].[dbo].LoggedinUser WHERE (ClientType = 'Audit');Pravila pisanja
Sada dolazimo do najzanimljivijeg dijela. Kada počnete pisati pravila u CxQL-u, ono što vam često nedostaje nije toliko dokumentacija koliko neki živi primjeri rješavanja određenih problema i opisivanje procesa funkcioniranja upita općenito.
Pokušat ću malo olakšati život onima koji počinju zaranjati u jezik upita i dati nekoliko primjera korištenja prilagođenih upita za rješavanje određenih problema. Neki od njih su prilično općeniti i mogu se koristiti u vašoj tvrtki praktički bez promjena, drugi su specifičniji, ali se također mogu koristiti mijenjanjem koda kako bi odgovarali specifičnostima vaših aplikacija.
Dakle, ovo su problemi s kojima se najčešće susrećemo:
cilj: Postoji nekoliko tokova u rezultatima izvršavanja pravila i jedan od njih je ugniježđenje drugog, morate napustiti jedan od njih.
rješenje: Doista, Checkmarx ponekad prikazuje nekoliko protoka podataka koji se mogu preklapati i biti skraćena verzija drugih. Za takve slučajeve postoji posebna metoda ReduceFlow. Ovisno o parametru, odabrat će najkraći ili najdulji protok:
// Оставить только длинные Flow
result = result.ReduceFlow(CxList.ReduceFlowType.ReduceSmallFlow);
// Оставить только короткие Flow
result = result.ReduceFlow(CxList.ReduceFlowType.ReduceBigFlow);cilj: Proširite popis osjetljivih podataka na koje alat reagira
rješenje: Checkmarx ima osnovna pravila, čije rezultate koriste mnogi drugi upiti. Dodavanjem nekih od ovih pravila podacima specifičnim za vašu aplikaciju, možete odmah poboljšati rezultate skeniranja. Ispod je primjer pravila za početak:
Opći popis_kršenja_privatnosti
Dodajmo nekoliko varijabli koje se koriste u našoj aplikaciji za pohranu osjetljivih informacija:
// Получаем результат выполнения базового правила
result = base.General_privacy_violation_list();
// Ищем элементы, которые попадают под простые регулярные выражения. Можно дополнить характерными для вас паттернами.
CxList personalList = All.FindByShortNames(new List<string> {
"*securityToken*", "*sessionId*"}, false);
// Добавляем к конечному результату
result.Add(personalList);cilj: Proširite popis varijabli s lozinkama
rješenje: Preporučio bih da odmah obratite pozornost na osnovno pravilo za definiranje lozinki u kodu i da mu dodate popis imena varijabli koje se obično koriste u vašoj tvrtki.
Popis_kršenja_privatnosti_lozinki
CxList allStrings = All.FindByType("String");
allStrings.Add(All.FindByType(typeof(StringLiteral)));
allStrings.Add(Find_UnknownReference());
allStrings.Add(All.FindByType(typeof (Declarator)));
allStrings.Add(All.FindByType(typeof (MemberAccess)));
allStrings.Add(All.FindByType(typeof(EnumMemberDecl)));
allStrings.Add(Find_Methods().FindByShortName("get*"));
// Дополняем дефолтный список переменных
List < string > pswdIncludeList = new List<string>{"*password*", "*psw", "psw*", "pwd*", "*pwd", "*authKey*", "pass*", "cipher*", "*cipher", "pass", "adgangskode", "benutzerkennwort", "chiffre", "clave", "codewort", "contrasena", "contrasenya", "geheimcode", "geslo", "heslo", "jelszo", "kennwort", "losenord", "losung", "losungswort", "lozinka", "modpas", "motdepasse", "parol", "parola", "parole", "pasahitza", "pasfhocal", "passe", "passord", "passwort", "pasvorto", "paswoord", "salasana", "schluessel", "schluesselwort", "senha", "sifre", "wachtwoord", "wagwoord", "watchword", "zugangswort", "PAROLACHIAVE", "PAROLA CHIAVE", "PAROLECHIAVI", "PAROLE CHIAVI", "paroladordine", "verschluesselt", "sisma",
"pincode",
"pin"};
List < string > pswdExcludeList = new List<string>{"*pass", "*passable*", "*passage*", "*passenger*", "*passer*", "*passing*", "*passion*", "*passive*", "*passover*", "*passport*", "*passed*", "*compass*", "*bypass*", "pass-through", "passthru", "passthrough", "passbytes", "passcount", "passratio"};
CxList tempResult = allStrings.FindByShortNames(pswdIncludeList, false);
CxList toRemove = tempResult.FindByShortNames(pswdExcludeList, false);
tempResult -= toRemove;
tempResult.Add(allStrings.FindByShortName("pass", false));
foreach (CxList r in tempResult)
{
CSharpGraph g = r.data.GetByIndex(0) as CSharpGraph;
if(g != null && g.ShortName != null && g.ShortName.Length < 50)
{
result.Add(r);
}
}cilj: Dodajte korištene okvire koje Checkmarx ne podržava
rješenje: Svi upiti u Checkmarxu podijeljeni su po jeziku, tako da morate dodati pravila za svaki jezik. U nastavku su neki primjeri takvih pravila.
Ako se koriste biblioteke koje nadopunjuju ili zamjenjuju standardnu funkcionalnost, mogu se jednostavno dodati osnovnom pravilu. Tada će svi koji ga koriste odmah saznati za nove uvode. Kao primjer, biblioteke za prijavu u Android su Timber i Loggi. U osnovnom paketu ne postoje pravila za identifikaciju nesistemskih poziva, tako da ako lozinka ili identifikator sesije uđu u zapisnik, nećemo znati za to. Pokušajmo dodati definicije takvih metoda Checkmarxovim pravilima.
Primjer testnog koda koji koristi biblioteku Timber za bilježenje:
package com.death.timberdemo;
import android.support.v7.app.AppCompatActivity;
import android.os.Bundle;
import timber.log.Timber;
public class MainActivity extends AppCompatActivity {
private static final String TAG = MainActivity.class.getSimpleName();
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
Timber.e("Error Message");
Timber.d("Debug Message");
Timber.tag("Some Different tag").e("And error message");
}
}I ovdje je primjer zahtjeva za Checkmarx, koji će vam omogućiti da dodate definiciju pozivanja Timber metoda kao izlazne točke za podatke iz aplikacije:
FindAndroidOutputs
// Получаем результат выполнения базового правила
result = base.Find_Android_Outputs();
// Дополняем вызовами, которые приходят из библиотеки Timber
CxList timber = All.FindByExactMemberAccess("Timber.*") +
All.FindByShortName("Timber").GetMembersOfTarget();
// Добавляем к конечному результату
result.Add(timber);Također možete dodati susjednom pravilu, ali ovo se izravno odnosi na prijavu u Android:
Pronađite AndroidLog_Outputs
// Получаем результат выполнения базового правила
result = base.Find_Android_Log_Outputs();
// Дополняем вызовами, которые приходят из библиотеки Timber
result.Add(
All.FindByExactMemberAccess("Timber.*") +
All.FindByShortName("Timber").GetMembersOfTarget()
);Također, ako Android aplikacije koriste za asinkroni rad, dobro je dodatno obavijestiti Checkmarx o tome dodavanjem metode za dobivanje podataka iz zadatka getInputData:
FindAndroidRead
// Получаем результат выполнения базового правила
result = base.Find_Android_Read();
// Дополняем вызовом функции getInputData, которая используется в WorkManager
CxList getInputData = All.FindByShortName("getInputData");
// Добавляем к конечному результату
result.Add(getInputData.GetMembersOfTarget());cilj: Traženje osjetljivih podataka u plist-u za iOS projekte
rješenje: iOS često koristi posebne datoteke s nastavkom .plist za pohranu raznih varijabli i vrijednosti. Ne preporuča se pohranjivanje lozinki, tokena, ključeva i drugih osjetljivih podataka u te datoteke, budući da se mogu izvući s uređaja bez ikakvih problema.
Plist datoteke imaju značajke koje nisu očite golim okom, ali su važne za Checkmarx. Napišimo pravilo koje će tražiti podatke koji su nam potrebni i reći nam ako se negdje spominju lozinke ili tokeni.
Primjer takve datoteke koja sadrži token za komunikaciju s pozadinskom uslugom:
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
<key>DeviceDictionary</key>
<dict>
<key>phone</key>
<string>iPhone 6s</string>
</dict>
<key>privatekey</key>
<string>MIICXAIBAAKBgQCqGKukO1De7zhZj6+</string>
</dict>
</plist>I pravilo za Checkmarx, koje ima nekoliko nijansi koje treba uzeti u obzir prilikom pisanja:
// Используем результат выполнения правила по поиску файлов plist, чтобы уменьшить время работы правила и
CxList plist = Find_Plist_Elements();
// Инициализируем новую переменную
CxList dictionarySettings = All.NewCxList();
// Теперь добавим поиск всех интересующих нас значений. В дальнейшем можно расширять этот список.
// Для поиска значений, как ни странно, используется FindByMemberAccess - поиск обращений к методам. Второй параметр внутри функции, false, означает, что поиск нечувствителен к регистру
dictionarySettings.Add(plist.FindByMemberAccess("privatekey", false));
dictionarySettings.Add(plist.FindByMemberAccess("privatetoken", false));
// Для корректного поиска из-за особенностей структуры plist - нужно искать по типу "If statement"
CxList ifStatements = plist.FindByType(typeof(IfStmt));
// Добавляем в результат, перед этим получив родительский узел - для правильного отображения
result = dictionarySettings.FindByFathers(ifStatements);cilj: Pronalaženje informacija u XML-u
rješenje: Checkmarx ima vrlo praktične funkcije za rad s XML-om i traženje vrijednosti, oznaka, atributa i više. No, nažalost, došlo je do greške u dokumentaciji zbog koje niti jedan primjer ne radi. Unatoč činjenici da je ovaj nedostatak otklonjen u posljednjoj verziji dokumentacije, budite oprezni ako koristite starije verzije dokumenata.
Evo netočnog primjera iz dokumentacije:
// Код работать не будет
result = All.FindXmlAttributesByNameAndValue("*.app", 8, “id”, "error- section", false, true);Kao rezultat pokušaja izvršenja, dobit ćemo pogrešku koja All ne postoji takva metoda... I to je istina, jer postoji poseban, odvojen objektni prostor za korištenje funkcija za rad s XML-om - cxXPath. Ovako izgleda ispravan upit za pronalaženje postavke u Androidu koja dopušta upotrebu HTTP prometa:
// Правильный вариант с использованием cxXPath
result = cxXPath.FindXmlAttributesByNameAndValue("*.xml", 8, "cleartextTrafficPermitted", "true", false, true);Pogledajmo to malo detaljnije, budući da je sintaksa za sve funkcije slična, nakon što ste smislili jednu, samo trebate odabrati onu koja vam je potrebna. Dakle, sekvencijalno prema parametrima:
-
"*.xml"— maska datoteka za pretraživanje -
8— ID jezika za koji se pravilo primjenjuje -
"cleartextTrafficPermitted"— naziv atributa u xml -
"true"— vrijednost ovog atributa -
false— korištenje regularnog izraza prilikom pretraživanja -
true— znači da će se pretraživanje izvršiti bez obzira na velika i mala slova, tj. neosjetljivo na velika i mala slova
Kao primjer koristili smo pravilo koje identificira netočne, sa sigurnosne točke gledišta, postavke mrežne veze u Androidu koje dopuštaju komunikaciju s poslužiteljem putem HTTP protokola. Primjer postavke koja sadrži atribut cleartextTrafficPermitted s vrijednošću true:
<network-security-config>
<domain-config>
<domain includeSubdomains="true">example.com</domain>
<trust-anchors>
<certificates src="@raw/my_ca"/>
</trust-anchors>
<domain-config cleartextTrafficPermitted="true">
<domain includeSubdomains="true">secure.example.com</domain>
</domain-config>
</domain-config>
</network-security-config>cilj: Ograničite rezultate prema nazivu/putu datoteke
rješenje: U jednom od velikih projekata vezanih uz razvoj mobilne aplikacije za Android, naišli smo na lažne rezultate pravila koje određuje postavku maskiranja. Činjenica je da pravilo izvan okvira pretražuje datoteku build.gradle postavka odgovorna za primjenu pravila maskiranja za izdanje verzije aplikacije.
Ali u velikim projektima ponekad postoje podređene datoteke build.gradle, koji se odnose na knjižnice uključene u projekt. Posebnost je da čak i ako ove datoteke ne ukazuju na potrebu za maskiranjem, postavke nadređene datoteke sklopa će se primijeniti tijekom kompilacije.
Dakle, zadatak je odrezati okidače u podređenim datotekama koje pripadaju bibliotekama. Mogu se prepoznati po prisutnosti linije apply 'com.android.library'.
Primjer koda iz datoteke build.gradle, koji određuje potrebu za maskiranjem:
apply plugin: 'com.android.application'
android {
compileSdkVersion 24
buildToolsVersion "24.0.2"
defaultConfig {
...
}
buildTypes {
release {
minifyEnabled true
...
}
}
}
dependencies {
...
}Primjer datoteke build.gradle za knjižnicu uključenu u projekt koja nema ovu postavku:
apply plugin: 'android-library'
dependencies {
compile 'com.android.support:support-v4:18.0.+'
}
android {
compileSdkVersion 14
buildToolsVersion '17.0.0'
...
}I pravilo za Checkmarx:
ProGuardObfuscationNotInUse
// Поиск метода release среди всех методов в Gradle файлах
CxList releaseMethod = Find_Gradle_Method("release");
// Все объекты из файлов build.gradle
CxList gradleBuildObjects = Find_Gradle_Build_Objects();
// Поиск того, что находится внутри метода "release" среди всех объектов из файлов build.gradle
CxList methodInvokesUnderRelease = gradleBuildObjects.FindByType(typeof(MethodInvokeExpr)).GetByAncs(releaseMethod);
// Ищем внутри gradle-файлов строку "com.android.library" - это значит, что данный файл относится к библиотеке и его необходимо исключить из правила
CxList android_library = gradleBuildObjects.FindByName("com.android.library");
// Инициализация пустого массива
List<string> libraries_path = new List<string> {};
// Проходим через все найденные "дочерние" файлы
foreach(CxList library in android_library)
{
// Получаем путь к каждому файлу
string file_name_library = library.GetFirstGraph().LinePragma.FileName;
// Добавляем его в наш массив
libraries_path.Add(file_name_library);
}
// Ищем все вызовы включения обфускации в релизных настройках
CxList minifyEnabled = methodInvokesUnderRelease.FindByShortName("minifyEnabled");
// Получаем параметры этих вызовов
CxList minifyValue = gradleBuildObjects.GetParameters(minifyEnabled, 0);
// Ищем среди них включенные
CxList minifyValueTrue = minifyValue.FindByShortName("true");
// Немного магии, если не нашли стандартным способом :D
if (minifyValueTrue.Count == 0) {
minifyValue = minifyValue.FindByAbstractValue(abstractValue => abstractValue is TrueAbstractValue);
} else {
// А если всё-таки нашли, то предыдущий результат и оставляем
minifyValue = minifyValueTrue;
}
// Если не нашлось таких методов
if (minifyValue.Count == 0)
{
// Для более корректного отображения места срабатывания в файле ищем или buildTypes или android
CxList tempResult = All.NewCxList();
CxList buildTypes = Find_Gradle_Method("buildTypes");
if (buildTypes.Count > 0) {
tempResult = buildTypes;
} else {
tempResult = Find_Gradle_Method("android");
}
// Для каждого из найденных мест срабатывания проходим и определяем, дочерний или основной файлы сборки
foreach(CxList res in tempResult)
{
// Определяем, в каком файле был найден buildType или android методы
string file_name_result = res.GetFirstGraph().LinePragma.FileName;
// Если такого файла нет в нашем списке "дочерних" файлов - значит это основной файл и его можно добавить в результат
if (libraries_path.Contains(file_name_result) == false){
result.Add(res);
}
}
}Ovaj pristup može biti prilično univerzalan i koristan ne samo za Android aplikacije, već i za druge slučajeve kada trebate utvrditi pripada li rezultat određenoj datoteci.
cilj: Dodajte podršku za biblioteku treće strane ako sintaksa nije u potpunosti podržana
rješenje: Broj različitih okvira koji se koriste u procesu pisanja koda jednostavno je nevjerojatan. Naravno, Checkmarx ne zna uvijek za njihovo postojanje, a naš je zadatak naučiti ga da shvati da određene metode pripadaju upravo ovom okviru. Ponekad je to komplicirano činjenicom da okviri koriste nazive funkcija koji su vrlo česti i nemoguće je jednoznačno odrediti odnos određenog poziva prema određenoj biblioteci.
Poteškoća je u tome što sintaksa takvih biblioteka nije uvijek ispravno prepoznata i morate eksperimentirati kako biste izbjegli dobivanje velikog broja lažno pozitivnih rezultata. Postoji nekoliko opcija za poboljšanje točnosti skeniranja i rješavanje problema:
-
Prva opcija, sigurno znamo da se biblioteka koristi u određenom projektu i može primijeniti pravilo na razini tima. Ali ako se tim odluči za drugačiji pristup ili koristi nekoliko biblioteka u kojima se nazivi funkcija preklapaju, možemo dobiti ne baš ugodnu sliku brojnih lažno pozitivnih rezultata
-
Druga opcija je traženje datoteka u kojima je biblioteka jasno uvezena. Ovim pristupom možemo biti sigurni da se u ovoj datoteci koristi točno ona biblioteka koja nam je potrebna.
-
I treća opcija je korištenje dva gore navedena pristupa zajedno.
Kao primjer, pogledajmo knjižnicu poznatu u uskim krugovima za programski jezik Scala, odnosno funkcionalnost . Općenito, da biste proslijedili parametre SQL upitu, morate koristiti operator $, koji zamjenjuje podatke u prethodno oblikovani SQL upit. To jest, zapravo, to je izravni analog Prepared Statement-a u Javi. Ali, ako trebate dinamički konstruirati SQL upit, na primjer, ako trebate proslijediti nazive tablica, možete koristiti operator #$, koji će izravno zamijeniti podatke u upitu (gotovo kao ulančavanje nizova).
Primjer koda:
// В общем случае - значения, контролируемые пользователем
val table = "coffees"
sql"select * from #$table where name = $name".as[Coffee].headOptionCheckmarx još ne zna kako otkriti upotrebu spajanja literalnih vrijednosti i preskače operatore #$, pa ga pokušajmo naučiti da identificira potencijalne SQL injekcije i istakne prava mjesta u kodu:
// Находим все импорты
CxList imports = All.FindByType(typeof(Import));
// Ищем по имени, есть ли в импортах slick
CxList slick = imports.FindByShortName("slick");
// Некоторый флаг, определяющий, что импорт библиотеки в коде присутствует
// Для более точного определения - можно применить подход с именем файла
bool not_empty_list = false;
foreach (CxList r in slick)
{
// Если встретили импорт, считаем, что slick используется
not_empty_list = true;
}
if (not_empty_list) {
// Ищем вызовы, в которые передается SQL-строка
CxList sql = All.FindByShortName("sql");
sql.Add(All.FindByShortName("sqlu"));
// Определяем данные, которые попадают в эти вызовы
CxList data_sql = All.DataInfluencingOn(sql);
// Так как синтакис не поддерживается, можно применить подход с регулярными выражениями
// RegExp стоит использовать крайне осторожно и не применять его на большом количестве данных, так как это может сильно повлиять на производительность
CxList find_possible_inj = data_sql.FindByRegex(@"#$", true, true, true);
// Избавляемся от лишних срабатываний, если они есть и выводим в результат
result = find_possible_inj.FindByType(typeof(BinaryExpr));
}cilj: Potražite korištene ranjive funkcije u bibliotekama otvorenog koda
rješenje: Mnoge tvrtke koriste alate za nadgledanje otvorenog koda (OSA praksa) za otkrivanje upotrebe ranjivih verzija biblioteka u razvijenim aplikacijama. Ponekad nije moguće ažurirati takvu biblioteku na sigurnu verziju. U nekim slučajevima postoje funkcionalna ograničenja, u drugima uopće ne postoji sigurna verzija. U ovom slučaju, kombinacija SAST i OSA praksi pomoći će utvrditi da se funkcije koje dovode do iskorištavanja ranjivosti ne koriste u kodu.
Ali ponekad, posebno kada se uzme u obzir JavaScript, ovo možda nije potpuno trivijalan zadatak. Ispod je rješenje, koje možda nije idealno, ali ipak funkcionira, koristeći primjer ranjivosti u komponenti lodash u metodama template и *set.
Primjeri testiranja potencijalno ranjivog koda u JS datoteci:
/**
* Template example
*/
'use strict';
var _ = require("./node_modules/lodash.js");
// Use the "interpolate" delimiter to create a compiled template.
var compiled = _.template('hello <%= js %>!');
console.log(compiled({ 'js': 'lodash' }));
// => 'hello lodash!'
// Use the internal `print` function in "evaluate" delimiters.
var compiled = _.template('<% print("hello " + js); %>!');
console.log(compiled({ 'js': 'lodash' }));
// => 'hello lodash!'A kada se povezujete izravno u html:
<!DOCTYPE html>
<html>
<head>
<title>Lodash Tutorial</title>
<script src="./node_modules/lodash.js"></script>
<script type="text/javascript">
// Lodash chunking array
nums = [1, 2, 3, 4, 5, 6, 7, 8, 9];
let c1 = _.template('<% print("hello " + js); %>!');
console.log(c1);
let c2 = _.template('<% print("hello " + js); %>!');
console.log(c2);
</script>
</head>
<body></body>
</html>Tražimo sve naše ranjive metode, koje su navedene u ranjivostima:
// Ищем все строки: в которых встречается строка lodash (предполагаем, что это объявление импорта библиотеки
CxList lodash_strings = Find_String_Literal().FindByShortName("*lodash*");
// Ищем все данные: которые взаимодействуют с этими строками
CxList data_on_lodash = All.InfluencedBy(lodash_strings);
// Задаем список уязвимых методов
List<string> vulnerable_methods = new List<string> {"template", "*set"};
// Ищем все наши уязвимые методы, которые перечисленны в уязвимостях и отфильтровываем их только там, где они вызывались
CxList vulnerableMethods = All.FindByShortNames(vulnerable_methods).FindByType(typeof(MethodInvokeExpr));
//Находим все данные: которые взаимодействуют с данными методами
CxList vulnFlow = All.InfluencedBy(vulnerableMethods);
// Если есть пересечение по этим данным - кладем в результат
result = vulnFlow * data_on_lodash;
// Формируем список путей по которым мы уже прошли, чтобы фильтровать в дальнейшем дубли
List<string> lodash_result_path = new List<string> {};
foreach(CxList lodash_result in result)
{
// Очередной раз получаем пути к файлам
string file_name = lodash_result.GetFirstGraph().LinePragma.FileName;
lodash_result_path.Add(file_name);
}
// Дальше идет часть относящаяся к html файлам, так как в них мы не можем проследить откуда именно идет вызов
// Формируем массив путей файлов, чтобы быть уверенными, что срабатывания уязвимых методов были именно в тех файлах, в которых объявлен lodash
List<string> lodash_path = new List<string> {};
foreach(CxList string_lodash in lodash_strings)
{
string file_name = string_lodash.GetFirstGraph().LinePragma.FileName;
lodash_path.Add(file_name);
}
// Перебираем все уязвимые методы и убеждаемся, что они вызваны в тех же файлах, что и объявление/включение lodash
foreach(CxList method in vulnerableMethods)
{
string file_name_method = method.GetFirstGraph().LinePragma.FileName;
if (lodash_path.Contains(file_name_method) == true && lodash_result_path.Contains(file_name_method) == false){
result.Add(method);
}
}
// Убираем все UknownReferences и оставляем самый "длинный" из путей, если такие встречаются
result = result.ReduceFlow(CxList.ReduceFlowType.ReduceSmallFlow) - result.FindByType(typeof(UnknownReference));cilj: Traženje certifikata ugrađenih u aplikaciju
rješenje: Nije neuobičajeno da aplikacije, osobito mobilne, koriste certifikate ili ključeve za pristup različitim poslužiteljima ili provjeru SSL-Pinninga. Iz sigurnosne perspektive, pohranjivanje takvih stvari u kodu nije najbolja praksa. Pokušajmo napisati pravilo koje će tražiti slične datoteke u repozitoriju:
// Найдем все сертификаты по маске файла
CxList find_certs = All.FindByShortNames(new List<string> {"*.der", "*.cer", "*.pem", "*.key"}, false);
// Проверим, где в приложении они используются
CxList data_used_certs = All.DataInfluencedBy(find_certs);
// И для мобильных приложений - можем поискать методы, где вызывается чтение сертификатов
// Для других платформ и приложений могут быть различные методы
CxList methods = All.FindByMemberAccess("*.getAssets");
// Пересечение множеств даст нам результат по использованию локальных сертификатов в приложении
result = methods * data_used_certs;cilj: Pronalaženje ugroženih tokena u aplikaciji
rješenje: Često je potrebno opozvati ugrožene tokene ili druge važne informacije koje se nalaze u kodu. Naravno, njihovo pohranjivanje unutar izvornog koda nije dobra ideja, ali situacije se razlikuju. Zahvaljujući CxQL upitima, pronalaženje ovakvih stvari prilično je jednostavno:
// Получаем все строки, которые содержатся в коде
CxList strings = base.Find_Strings();
// Ищем среди всех строк нужное нам значение. В примере токен в виде строки "qwerty12345"
result = strings.FindByShortName("qwerty12345");Zaključak
Nadam se da će ovaj članak biti koristan onima koji počinju svoje upoznavanje s alatom Checkmarx. Možda će i oni koji već dugo pišu svoja pravila pronaći nešto korisno u ovom vodiču.
Nažalost, trenutno postoji nedostatak resursa gdje bi se mogle prikupiti nove ideje tijekom razvoja pravila za Checkmarx. Zato smo stvorili , gdje ćemo objavljivati svoje radove kako bi svi koji koriste CxQL mogli pronaći nešto korisno u njemu, a također imali priliku podijeliti svoj rad sa zajednicom. Repozitorij je u procesu popunjavanja i strukturiranja sadržaja, stoga su suradnici dobrodošli!
Hvala vam!
Izvor: www.habr.com