Како написати правила за Цхецкмаркс а да не полудите

Хеј Хабр!

У свом раду наша компанија се врло често бави разним алатима за анализу статичког кода (САСТ). Изван кутије сви раде просечно. Наравно, све зависи од пројекта и технологија које се у њему користе, као и од тога колико су те технологије покривене правилима анализе. По мом мишљењу, један од најважнијих критеријума при одабиру САСТ алата је могућност да га прилагодите специфичностима ваших апликација, односно пишете и мењате правила анализе или, како их чешће зову, прилагођени упити.

Најчешће користимо Цхецкмарк - веома занимљив и моћан анализатор кода. У овом чланку ћу говорити о свом искуству писања правила анализе за то.

Преглед садржаја

• Улазак

• Опште информације о правилима

• "Речник" за почетнике

  • Операције са листама

  • Сви пронађени предмети

  • Функције за анализу протока

  • Добијање имена/путања датотеке

  • Резултат извршења

  • Користећи резултате других правила

• Решавање проблема

  • Логгинг

  • Проблем са пријавом

• Правила писања

• Закључак

Улазак

За почетак, желео бих да препоручим један од ретких чланака на руском о карактеристикама писања упита за Цхецкмарк. Објављено је на Хабреу крајем 2019. године под насловом: "Здраво, Чекмаркс!" Како написати Цхецкмарк САСТ упит и пронаћи сјајне рањивости.

Он детаљно испитује како написати прве упите у ЦкКЛ-у (Цхецкмарк Куери Лангуаге) за неку тестну апликацију и показује основне принципе како правила анализе функционишу.

Нећу понављати оно што је у њему описано, иако ће неке раскрснице ипак бити присутне. У свом чланку покушаћу да саставим неку врсту „збирке рецепата“, списак решења специфичних проблема са којима сам се сусрео током рада са Цхецкмарк-ом. Морао сам да се разбијем због многих од ових проблема. Понекад није било довољно информација у документацији, а понекад је било чак и тешко разумети како да се уради оно што се тражи. Надам се да моје искуство и непроспаване ноћи неће бити узалудни, а ова „колекција рецепата прилагођених упита“ ће вам уштедети неколико сати или пар нервних ћелија. Дакле, почнимо!

Опште информације о правилима

Прво, погледајмо неколико основних концепата и процес рада са правилима, да бисмо боље разумели шта ће се следеће десити. И зато што документација не говори ништа о томе или је веома раширена у структури, што није баш згодно.

1. Правила се примењују током скенирања у зависности од унапред одабране поставке на почетку (скуп активних правила). Можете креирати неограничен број унапред подешених вредности, а како тачно да их структурирате зависи од специфичности вашег процеса. Можете их груписати по језику или одабрати унапред подешене поставке за сваки пројекат. Број активних правила утиче на брзину и тачност скенирања.

   Подешавање унапред подешеног у Цхецкмарк интерфејсу

2. Правила се уређују у посебном алату који се зове ЦкАудитор. Ово је десктоп апликација која се повезује са сервером на коме ради Цхецкмарк. Овај алат има два начина рада: уређивање правила и анализа резултата већ обављеног скенирања.

   ЦкАудит интерфејс

3. Правила у Цхецкмарк-у су подељена по језику, односно сваки језик има свој скуп упита. Постоје и нека општа правила која важе без обзира на језик, то су такозвани основни упити. Углавном, основни упити укључују тражење информација које користе друга правила.

   Подела правила по језику

4. Правила су „извршна” и „неизвршна” (извршена и неизвршена). По мом мишљењу није баш тачан назив, али то је оно што јесте. Суштина је да ће резултат извршавања „Извршних“ правила бити приказан у резултатима скенирања у корисничком интерфејсу, а „Нон-Екецутабле“ правила су потребна само да би користили своје резултате у другим захтевима (у суштини, само функција).

   Одређивање типа правила приликом креирања

5. Можете креирати нова правила или допунити/преписати постојећа. Да бисте поново написали правило, потребно је да га пронађете у стаблу, кликнете десним тастером миша и изаберете „Оверриде“ из падајућег менија. Овде је важно запамтити да нова правила нису иницијално укључена у унапред подешена подешавања и нису активна. Да бисте почели да их користите потребно је да их активирате у менију „Пресет Манагер“ у инструменту. Преписана правила задржавају своја подешавања, односно ако је правило било активно, остаће тако и одмах ће се применити.

   Пример новог правила у интерфејсу Пресет Манагер

6. Током извршавања гради се „дрво“ захтева, што зависи од чега. Прво се извршавају правила која прикупљају информације, а други они који их користе. Резултат извршења је кеширан, тако да ако је могуће користити резултате постојећег правила, онда је боље то учинити, то ће смањити време скенирања.

7. Правила се могу применити на различитим нивоима:

• За цео систем - користиће се за било које скенирање било ког пројекта

• На нивоу тима (Тим) - користиће се само за скенирање пројеката у изабраном тиму.

• На нивоу пројекта - Биће примењено у конкретном пројекту

  Одређивање нивоа на којем ће се правило примењивати

"Речник" за почетнике

И почећу са неколико ствари које су ми изазвале питања, а показаћу и бројне технике које ће значајно поједноставити живот.

Операције са листама

- вычитание одного из другого (list2 - list1)
* пересечение списков (list1 * list2)
+ сложение списков (list1 + list2)

& (логическое И) - объединяет списки по совпадению (list1 & list2), аналогично пересечению (list1 * list2)
| (логическое ИЛИ) - объединяет списки по широкому поиску (list1 | list2)

Со списками не работает:  ^  &&  ||  %  / 

Сви пронађени предмети

Унутар скенираног језика можете добити листу апсолутно свих елемената које је Цхецкмарк идентификовао (стрингови, функције, класе, методе итд.). Ово је неки простор објеката кроз који се може приступити All. То јест, да тражите објекат са одређеним именом searchMe, можете претраживати, на пример, по имену свих пронађених објеката:

// Такой запрос выдаст все элементы
result = All;

// Такой запрос выдаст все элементы, в имени которых присутствует “searchMe“
result = All.FindByName("searchMe");

Али, ако треба да претражујете на другом језику који из неког разлога није укључен у скенирање (на пример, гроови у Андроид пројекту), можете проширити простор нашег објекта кроз променљиву:

result = AllMembers.All.FindByName("searchMe");

Функције за анализу протока

Ове функције се користе у многим правилима, а ево мале варалице шта оне значе:

// Какие данные second влияют на first.
// Другими словами - ТО (second) что влияет на  МЕНЯ (first).
result = first.DataInfluencedBy(second);

// Какие данные first влияют на second.
// Другими словами - Я (first) влияю на ТО (second).
result = first.DataInfluencingOn(second);

Добијање имена/путања датотеке

Постоји неколико атрибута који се могу добити из резултата упита (име датотеке у којој је унос пронађен, стринг, итд.), али у документацији не пише како да их добијете и користите. Дакле, да бисте то урадили, морате да приступите својству ЛинеПрагма и објекти који су нам потребни биће смештени унутар њега:

// Для примера найдем все методы
CxList methods = Find_Methods();

// В методах найдем по имени метод scope
CxList scope = methods.FindByName("scope");

// Таким образом можо получить путь к файлу
string current_filename = scope.GetFirstGraph().LinePragma.FileName;

// А вот таким - строку, где нашлось срабатывание
int current_line = scope.GetFirstGraph().LinePragma.Line;

// Эти параметры можно использовать по разному
// Например получить все объекты в файле
CxList inFile = All.FindByFileName(current_filename);

// Или найти что происходит в конкретной строке
CxList inLine = inFile.FindByPosition(current_line);

Вреди то имати на уму FileName садржи заправо путању до датотеке, пошто смо користили метод GetFirstGraph.

Резултат извршења

Постоји посебна променљива унутар ЦкКЛ-а result, који враћа резултат извршавања вашег писаног правила. Одмах се иницијализује и у њега можете уписати међурезултате, мењајући их и усавршавајући их док радите. Али, ако не постоји додела овој променљивој или функцији унутар правила return— резултат извршења ће увек бити нула.

Следећи упит нам неће вратити ништа као резултат извршења и увек ће бити празан:

// Находим элементы foo
CxList libraries = All.FindByName("foo");

Али, након што смо резултат извршења доделили магичној променљивој резултату, видећемо шта нам овај позив враћа:

// Находим элементы foo
CxList libraries = All.FindByName("foo");

// Выводим, как результат выполнения правила
result = libraries

// Или еще короче
result = All.FindByName("foo");

Користећи резултате других правила

Правила у Цхецкмарк-у се могу назвати аналогно функцијама у редовном програмском језику. Када пишете правило, можете користити резултате других упита. На пример, нема потребе да тражите све позиве метода у коду сваки пут, само позовите жељено правило:

// Получаем результат выполнения другого правила
CxList methods = Find_Methods();

// Ищем внутри метод foo. 
// Второй параметр false означает, что ищем без чувствительности к регистру
result = methods.FindByShortName("foo", false);

Овај приступ вам омогућава да скратите код и значајно смањите време извршавања правила.

Решавање проблема

Логгинг

Када радите са алатом, понекад није могуће одмах написати жељени упит и морате експериментисати, испробавајући различите опције. За такав случај, алатка обезбеђује евидентирање, које се зове на следећи начин:

// Находим что-то
CxList toLog = All.FindByShortName("log");

// Формируем строку и отправляем в лог
cxLog.WriteDebugMessage (“number of DOM elements =” + All.Count);

Али вреди запамтити да овај метод прихвата само као улаз низ, тако да неће бити могуће приказати комплетну листу пронађених елемената као резултат прве операције. Друга опција, која се користи за отклањање грешака, је да се с времена на време додели магичној променљивој result резултат упита и видите шта се дешава. Овај приступ није баш згодан; морате бити сигурни да нема замењивања или операција са овим у коду након result или једноставно коментаришите код испод. Или можете, као ја, да заборавите да уклоните неколико таквих позива из готовог правила и запитате се зашто ништа не функционише.

Погоднији начин је позивање методе return са траженим параметром. У овом случају, извршење правила ће се завршити и моћи ћемо да видимо шта се десило као резултат онога што смо написали:

// Находим что-то
CxList toLog = All.FindByShortName("log");

// Выводим результат выполнения
return toLog

//Все, что написано дальше не будет выполнено
result = All.DataInfluencedBy(toLog)

Проблем са пријавом

Постоје ситуације када не можете да приступите алатки ЦкАудит (која се користи за писање правила). За то може бити много разлога, укључујући рушења, изненадна ажурирања Виндовс-а, БСОД и друге непредвиђене ситуације које су ван наше контроле. У овом случају, понекад постоји недовршена сесија у бази података, што вас спречава да се поново пријавите. Да бисте то поправили, потребно је да покренете неколико упита:

За Цхецкмаркс пре 8.6:

// Проверяем, что есть залогиненые пользователи, выполнив запрос в БД
SELECT COUNT(*) FROM [CxDB].[dbo].LoggedinUser WHERE [ClientType] = 6;
 
// Если что-то есть, а на самом деле даже если и нет, попробовать выполнить запрос
DELETE FROM [CxDB].[dbo].LoggedinUser WHERE [ClientType] = 6;

За Цхецкмаркс после 8.6:

// Проверяем, что есть залогиненые пользователи, выполнив запрос в БД
SELECT COUNT(*) FROM LoggedinUser WHERE (ClientType = 'Audit');
 
// Если что-то есть, а на самом деле даже если и нет, попробовать выполнить запрос
DELETE FROM [CxDB].[dbo].LoggedinUser WHERE (ClientType = 'Audit');

Правила писања

Сада долазимо до најинтересантнијег дела. Када почнете да пишете правила у ЦкКЛ-у, оно што вам често недостаје није толико документација колико неки живи примери решавања одређених проблема и описивање процеса како упити уопште функционишу.

Покушаћу да мало олакшам живот онима који почињу да зарањају у језик упита и даћу неколико примера коришћења прилагођених упита за решавање одређених проблема. Неки од њих су прилично општи и могу се користити у вашој компанији практично без промена, други су конкретнији, али се могу користити и променом кода како би одговарали специфичностима ваших апликација.

Дакле, ево проблема са којима смо се најчешће сусрели:

Задатак: Постоји неколико токова у резултатима извршавања правила и један од њих је угнежђење другог, морате напустити један од њих.

rešenje: Заиста, понекад Цхецкмарк приказује неколико токова података који се могу преклапати и бити скраћена верзија других. За такве случајеве постоји посебан метод РедуцеФлов. У зависности од параметра, бираће најкраћи или најдужи проток:

// Оставить только длинные Flow
result = result.ReduceFlow(CxList.ReduceFlowType.ReduceSmallFlow);

// Оставить только короткие Flow
result = result.ReduceFlow(CxList.ReduceFlowType.ReduceBigFlow);

Задатак: Проширите листу осетљивих података на које алат реагује

rešenje: Цхецкмаркс има основна правила, чије резултате користе многи други упити. Допуном неких од ових правила подацима специфичним за вашу апликацију, можете одмах побољшати резултате скенирања. Испод је пример правила за почетак:

Генерал_приваци_виолатион_лист

Хајде да додамо неколико променљивих које се користе у нашој апликацији за складиштење осетљивих информација:

// Получаем результат выполнения базового правила
result = base.General_privacy_violation_list();

// Ищем элементы, которые попадают под простые регулярные выражения. Можно дополнить характерными для вас паттернами.
CxList personalList = All.FindByShortNames(new List<string> {
	"*securityToken*", "*sessionId*"}, false);

// Добавляем к конечному результату
result.Add(personalList);

Задатак: Проширите листу променљивих са лозинкама

rešenje: Препоручио бих вам да одмах обратите пажњу на основно правило за дефинисање лозинки у коду и да му додате листу назива променљивих који се обично користе у вашој компанији.

Пассворд_приваци_виолатион_лист

CxList allStrings = All.FindByType("String"); 
allStrings.Add(All.FindByType(typeof(StringLiteral))); 
allStrings.Add(Find_UnknownReference());
allStrings.Add(All.FindByType(typeof (Declarator)));
allStrings.Add(All.FindByType(typeof (MemberAccess)));
allStrings.Add(All.FindByType(typeof(EnumMemberDecl))); 
allStrings.Add(Find_Methods().FindByShortName("get*"));

// Дополняем дефолтный список переменных
List < string > pswdIncludeList = new List<string>{"*password*", "*psw", "psw*", "pwd*", "*pwd", "*authKey*", "pass*", "cipher*", "*cipher", "pass", "adgangskode", "benutzerkennwort", "chiffre", "clave", "codewort", "contrasena", "contrasenya", "geheimcode", "geslo", "heslo", "jelszo", "kennwort", "losenord", "losung", "losungswort", "lozinka", "modpas", "motdepasse", "parol", "parola", "parole", "pasahitza", "pasfhocal", "passe", "passord", "passwort", "pasvorto", "paswoord", "salasana", "schluessel", "schluesselwort", "senha", "sifre", "wachtwoord", "wagwoord", "watchword", "zugangswort", "PAROLACHIAVE", "PAROLA CHIAVE", "PAROLECHIAVI", "PAROLE CHIAVI", "paroladordine", "verschluesselt", "sisma",
                "pincode",
								"pin"};
								
List < string > pswdExcludeList = new List<string>{"*pass", "*passable*", "*passage*", "*passenger*", "*passer*", "*passing*", "*passion*", "*passive*", "*passover*", "*passport*", "*passed*", "*compass*", "*bypass*", "pass-through", "passthru", "passthrough", "passbytes", "passcount", "passratio"};

CxList tempResult = allStrings.FindByShortNames(pswdIncludeList, false);
CxList toRemove = tempResult.FindByShortNames(pswdExcludeList, false);
tempResult -= toRemove;
tempResult.Add(allStrings.FindByShortName("pass", false));

foreach (CxList r in tempResult)
{
	CSharpGraph g = r.data.GetByIndex(0) as CSharpGraph;
	if(g != null && g.ShortName != null && g.ShortName.Length < 50)
	{
		result.Add(r);
	}
}

Задатак: Додајте коришћене оквире које Цхецкмаркк не подржава

rešenje: Сви упити у Цхецкмарк-у су подељени по језику, тако да морате да додате правила за сваки језик. Испод су неки примери таквих правила.

Ако се користе библиотеке које допуњују или замењују стандардну функционалност, оне се лако могу додати основном правилу. Тада ће сви који га користе одмах сазнати за нове уводе. На пример, библиотеке за пријављивање у Андроид су Тимбер и Логги. У основном пакету не постоје правила за идентификацију несистемских позива, тако да ако лозинка или идентификатор сесије уђу у евиденцију, нећемо знати за то. Покушајмо да додамо дефиниције таквих метода у Цхецкмаркс правила.

Тестни пример кода који користи библиотеку Тимбер за евидентирање:

package com.death.timberdemo;

import android.support.v7.app.AppCompatActivity;
import android.os.Bundle;

import timber.log.Timber;

public class MainActivity extends AppCompatActivity {
    private static final String TAG = MainActivity.class.getSimpleName();

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        Timber.e("Error Message");
        Timber.d("Debug Message");

        Timber.tag("Some Different tag").e("And error message");
    }
}

А ево примера захтева за Цхецкмарк, који ће вам омогућити да додате дефиницију позивања Тимбер метода као излазне тачке за податке из апликације:

ФиндАндроидОутпутс

// Получаем результат выполнения базового правила
result = base.Find_Android_Outputs();

// Дополняем вызовами, которые приходят из библиотеки Timber
CxList timber = All.FindByExactMemberAccess("Timber.*") +
    All.FindByShortName("Timber").GetMembersOfTarget();

// Добавляем к конечному результату
result.Add(timber);

Можете додати и суседно правило, али ово се односи директно на пријављивање на Андроид:

ФиндАндроидЛог_Оутпутс

// Получаем результат выполнения базового правила
result = base.Find_Android_Log_Outputs();

// Дополняем вызовами, которые приходят из библиотеки Timber
result.Add(
  All.FindByExactMemberAccess("Timber.*") +
  All.FindByShortName("Timber").GetMembersOfTarget()
);

Такође, ако Андроид апликације користе ВоркМанагер за асинхрони рад, добра је идеја да о томе додатно обавестите Цхецкмарк додавањем методе за добијање података из задатка getInputData:

ФиндАндроидРеад

// Получаем результат выполнения базового правила
result = base.Find_Android_Read();

// Дополняем вызовом функции getInputData, которая используется в WorkManager
CxList getInputData = All.FindByShortName("getInputData");

// Добавляем к конечному результату
result.Add(getInputData.GetMembersOfTarget());

Задатак: Тражење осетљивих података у плист за иОС пројекте

rešenje: иОС често користи посебне датотеке са екстензијом .плист за складиштење различитих променљивих и вредности. Чување лозинки, токена, кључева и других осетљивих података у овим датотекама се не препоручује, јер се могу без проблема извући са уређаја.

Плист датотеке имају карактеристике које нису очигледне голим оком, али су важне за Цхецкмарк. Хајде да напишемо правило које ће тражити податке који су нам потребни и рећи нам да ли се негде помињу лозинке или токени.

Пример такве датотеке, која садржи токен за комуникацију са позадинском услугом:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
	<key>DeviceDictionary</key>
	<dict>
		<key>phone</key>
		<string>iPhone 6s</string>
	</dict>
	<key>privatekey</key>
	<string>MIICXAIBAAKBgQCqGKukO1De7zhZj6+</string>
</dict>
</plist>

И правило за Цхецкмарк, које има неколико нијанси које треба узети у обзир приликом писања:

// Используем результат выполнения правила по поиску файлов plist, чтобы уменьшить время работы правила и 
CxList plist = Find_Plist_Elements();

// Инициализируем новую переменную
CxList dictionarySettings = All.NewCxList();

// Теперь добавим поиск всех интересующих нас значений. В дальнейшем можно расширять этот список.
// Для поиска значений, как ни странно, используется FindByMemberAccess - поиск обращений к методам. Второй параметр внутри функции, false, означает, что поиск нечувствителен к регистру
dictionarySettings.Add(plist.FindByMemberAccess("privatekey", false));
dictionarySettings.Add(plist.FindByMemberAccess("privatetoken", false));

// Для корректного поиска из-за особенностей структуры plist - нужно искать по типу "If statement"
CxList ifStatements = plist.FindByType(typeof(IfStmt));

// Добавляем в результат, перед этим получив родительский узел - для правильного отображения
result = dictionarySettings.FindByFathers(ifStatements);

Задатак: Проналажење информација у КСМЛ-у

rešenje: Цхецкмарк има веома згодне функције за рад са КСМЛ-ом и тражење вредности, ознака, атрибута и још много тога. Али, нажалост, дошло је до грешке у документацији због које ни један пример не функционише. Упркос чињеници да је овај недостатак елиминисан у најновијој верзији документације, будите опрезни ако користите раније верзије докумената.

Ево нетачног примера из документације:

// Код работать не будет
result = All.FindXmlAttributesByNameAndValue("*.app", 8, “id”, "error- section", false, true);

Као резултат покушаја извршења, добићемо грешку која All не постоји такав метод... И то је тачно, пошто постоји посебан, одвојен простор за објекте за коришћење функција за рад са КСМЛ-ом - cxXPath. Овако изгледа исправан упит за проналажење подешавања у Андроид-у које дозвољава коришћење ХТТП саобраћаја:

// Правильный вариант с использованием cxXPath
result = cxXPath.FindXmlAttributesByNameAndValue("*.xml", 8, "cleartextTrafficPermitted", "true", false, true);

Хајде да то погледамо мало детаљније, пошто је синтакса за све функције слична, након што сте схватили једну, онда само треба да изаберете ону која вам је потребна. Дакле, узастопно према параметрима:

• "*.xml"— маска датотека које треба претраживати

• 8 — ид језика за који се примењује правило

• "cleartextTrafficPermitted"— име атрибута у кмл

• "true" — вредност овог атрибута

• false — употреба регуларног израза при претраживању

• true — значи да ће претрага бити обављена занемарујући велика и мала слова, то јест, без обзира на велика и мала слова

Као пример, користили смо правило које идентификује нетачна, са безбедносне тачке гледишта, подешавања мрежне везе у Андроид-у која омогућавају комуникацију са сервером преко ХТТП протокола. Пример поставке која садржи атрибут cleartextTrafficPermitted са значењем true:

<network-security-config>
    <domain-config>
        <domain includeSubdomains="true">example.com</domain>
        <trust-anchors>
            <certificates src="@raw/my_ca"/>
        </trust-anchors>
        <domain-config cleartextTrafficPermitted="true">
            <domain includeSubdomains="true">secure.example.com</domain>
        </domain-config>
    </domain-config>
</network-security-config>

Задатак: Ограничите резултате према имену/путању датотеке

rešenje: У једном од великих пројеката везаних за развој мобилне апликације за Андроид, наишли смо на лажне позитиве правила које одређује поставку замагљивања. Чињеница је да правило ван оквира тражи у датотеци build.gradle поставка одговорна за примену правила замагљивања за верзију апликације за издавање.

Али у великим пројектима понекад постоје подређене датотеке build.gradle, који се односе на библиотеке укључене у пројекат. Посебност је у томе што чак и ако ове датотеке не указују на потребу за замагљивањем, подешавања родитељске датотеке склопа ће бити примењена током компилације.

Дакле, задатак је да се одсеку окидачи у подређеним датотекама које припадају библиотекама. Могу се идентификовати по присуству линије apply 'com.android.library'.

Пример кода из датотеке build.gradle, што одређује потребу за замагљивањем:

apply plugin: 'com.android.application'

android {
    compileSdkVersion 24
    buildToolsVersion "24.0.2"
    defaultConfig {
        ...
    }

    buildTypes {
        release {
            minifyEnabled true
            ...
        }
    }
}

dependencies {
  ...
}

Пример датотеке build.gradle за библиотеку укључену у пројекат која нема ово подешавање:

apply plugin: 'android-library'

dependencies {
  compile 'com.android.support:support-v4:18.0.+'
}

android {
  compileSdkVersion 14
  buildToolsVersion '17.0.0'
  ...
}

И правило за Цхецкмарк:

ПроГуардОбфусцатионНотИнУсе

// Поиск метода release среди всех методов в Gradle файлах
CxList releaseMethod = Find_Gradle_Method("release");

// Все объекты из файлов build.gradle
CxList gradleBuildObjects = Find_Gradle_Build_Objects();

// Поиск того, что находится внутри метода "release" среди всех объектов из файлов build.gradle
CxList methodInvokesUnderRelease = gradleBuildObjects.FindByType(typeof(MethodInvokeExpr)).GetByAncs(releaseMethod);

// Ищем внутри gradle-файлов строку "com.android.library" - это значит, что данный файл относится к библиотеке и его необходимо исключить из правила
CxList android_library = gradleBuildObjects.FindByName("com.android.library");

// Инициализация пустого массива
List<string> libraries_path = new List<string> {};

// Проходим через все найденные "дочерние" файлы
foreach(CxList library in android_library)
{
    // Получаем путь к каждому файлу
	string file_name_library = library.GetFirstGraph().LinePragma.FileName;
    
    // Добавляем его в наш массив
	libraries_path.Add(file_name_library);
}

// Ищем все вызовы включения обфускации в релизных настройках
CxList minifyEnabled = methodInvokesUnderRelease.FindByShortName("minifyEnabled");

// Получаем параметры этих вызовов
CxList minifyValue = gradleBuildObjects.GetParameters(minifyEnabled, 0);

// Ищем среди них включенные
CxList minifyValueTrue = minifyValue.FindByShortName("true");

// Немного магии, если не нашли стандартным способом :D
if (minifyValueTrue.Count == 0) {
	minifyValue = minifyValue.FindByAbstractValue(abstractValue => abstractValue is TrueAbstractValue);
} else {
    // А если всё-таки нашли, то предыдущий результат и оставляем
	minifyValue = minifyValueTrue;	
}

// Если не нашлось таких методов
if (minifyValue.Count == 0)
{
    // Для более корректного отображения места срабатывания в файле ищем или buildTypes или android
	CxList tempResult = All.NewCxList();
	CxList buildTypes = Find_Gradle_Method("buildTypes");
	if (buildTypes.Count > 0) {
		tempResult = buildTypes;
	} else {
		tempResult = Find_Gradle_Method("android");
	}
	
	// Для каждого из найденных мест срабатывания проходим и определяем, дочерний или основной файлы сборки
	foreach(CxList res in tempResult)
	{
        // Определяем, в каком файле был найден buildType или android методы
		string file_name_result = res.GetFirstGraph().LinePragma.FileName;
        
        // Если такого файла нет в нашем списке "дочерних" файлов - значит это основной файл и его можно добавить в результат
		if (libraries_path.Contains(file_name_result) == false){
			result.Add(res);
		}
	}
}

Овај приступ може бити прилично универзалан и користан не само за Андроид апликације, већ и за друге случајеве када треба да утврдите да ли резултат припада одређеној датотеци.

Задатак: Додајте подршку за библиотеку треће стране ако синтакса није у потпуности подржана

rešenje: Број различитих оквира који се користе у процесу писања кода је једноставно ван граница. Наравно, Цхецкмаркс не зна увек за њихово постојање, а наш задатак је да га научимо да схвати да одређене методе припадају управо овом оквиру. Понекад је ово компликовано чињеницом да оквири користе имена функција која су врло честа и немогуће је недвосмислено одредити однос одређеног позива према одређеној библиотеци.

Потешкоћа је у томе што синтакса таквих библиотека није увек исправно препозната и морате експериментисати да бисте избегли велики број лажних позитивних резултата. Постоји неколико опција за побољшање тачности скенирања и решавање проблема:

• Прва опција, поуздано знамо да се библиотека користи у одређеном пројекту и може применити правило на нивоу тима. Али ако тим одлучи да заузме другачији приступ или користи неколико библиотека у којима се имена функција преклапају, можемо добити не баш пријатну слику бројних лажних позитивних резултата

• Друга опција је тражење датотека у којима је библиотека јасно увезена. Овим приступом можемо бити сигурни да се библиотека која нам је потребна тачно користи у овој датотеци.

• И трећа опција је да се два горња приступа користе заједно.

Као пример, погледајмо библиотеку добро познату у уским круговима гладак за програмски језик Сцала, наиме, функционалност Спајање литералних вредности. Генерално, да бисте проследили параметре СКЛ упиту, морате користити оператор $, који замењује податке у претходно формирани СКЛ упит. То је, у ствари, директан аналог Препаред Статемент-а у Јави. Али, ако треба да динамички конструишете СКЛ упит, на пример, ако треба да проследите имена табела, можете користити оператор #$, који ће директно заменити податке у упиту (скоро као конкатенација стрингова).

Primer koda:

// В общем случае - значения, контролируемые пользователем
val table = "coffees"
sql"select * from #$table where name = $name".as[Coffee].headOption

Цхецкмарк још увек не зна како да открије употребу литералних вредности спајања и прескаче операторе #$, па покушајмо да га научимо да идентификује потенцијалне СКЛ ињекције и истакне права места у коду:

// Находим все импорты
CxList imports = All.FindByType(typeof(Import));

// Ищем по имени, есть ли в импортах slick
CxList slick = imports.FindByShortName("slick");

// Некоторый флаг, определяющий, что импорт библиотеки в коде присутствует
// Для более точного определения - можно применить подход с именем файла
bool not_empty_list = false;
foreach (CxList r in slick)
{
    // Если встретили импорт, считаем, что slick используется
	not_empty_list = true;
}

if (not_empty_list) {
    // Ищем вызовы, в которые передается SQL-строка
	CxList sql = All.FindByShortName("sql");
	sql.Add(All.FindByShortName("sqlu"));
	
	// Определяем данные, которые попадают в эти вызовы
	CxList data_sql = All.DataInfluencingOn(sql);
	
	// Так как синтакис не поддерживается, можно применить подход с регулярными выражениями
	// RegExp стоит использовать крайне осторожно и не применять его на большом количестве данных, так как это может сильно повлиять на производительность
	CxList find_possible_inj = data_sql.FindByRegex(@"#$", true, true, true);

    // Избавляемся от лишних срабатываний, если они есть и выводим в результат
	result = find_possible_inj.FindByType(typeof(BinaryExpr));
}

Задатак: Потражите коришћене рањиве функције у библиотекама отвореног кода

rešenje: Многе компаније користе алате за праћење отвореног кода (ОСА пракса) да открију употребу рањивих верзија библиотека у развијеним апликацијама. Понекад није могуће ажурирати такву библиотеку на безбедну верзију. У неким случајевима постоје функционална ограничења, у другима уопште не постоји сигурна верзија. У овом случају, комбинација САСТ и ОСА пракси ће помоћи да се утврди да се функције које доводе до искоришћавања рањивости не користе у коду.

Али понекад, посебно када се разматра ЈаваСцрипт, ово можда није сасвим тривијалан задатак. Испод је решење, можда не идеално, али ипак функционално, користећи пример рањивости у компоненти lodash у методама template и *set.

Примери тестирања потенцијално рањивог кода у ЈС датотеци:

/**
 * Template example
 */

'use strict';
var _ = require("./node_modules/lodash.js");


// Use the "interpolate" delimiter to create a compiled template.
var compiled = _.template('hello <%= js %>!');
console.log(compiled({ 'js': 'lodash' }));
// => 'hello lodash!'

// Use the internal `print` function in "evaluate" delimiters.

var compiled = _.template('<% print("hello " + js); %>!');
console.log(compiled({ 'js': 'lodash' }));
// => 'hello lodash!'

И када се повезујете директно у хтмл-у:

<!DOCTYPE html>
<html>
<head>
    <title>Lodash Tutorial</title>
    <script src="./node_modules/lodash.js"></script>
    <script type="text/javascript">
  // Lodash chunking array
        nums = [1, 2, 3, 4, 5, 6, 7, 8, 9];

        let c1 = _.template('<% print("hello " + js); %>!');
        console.log(c1);

        let c2 = _.template('<% print("hello " + js); %>!');
        console.log(c2);
    </script>
</head>
<body></body>
</html>

Тражимо све наше рањиве методе, које су наведене у рањивости:

// Ищем все строки: в которых встречается строка lodash (предполагаем, что это объявление импорта библиотеки
CxList lodash_strings = Find_String_Literal().FindByShortName("*lodash*");

// Ищем все данные: которые взаимодействуют с этими строками
CxList data_on_lodash = All.InfluencedBy(lodash_strings);


// Задаем список уязвимых методов
List<string> vulnerable_methods = new List<string> {"template", "*set"};

// Ищем все наши уязвимые методы, которые перечисленны в уязвимостях и отфильтровываем их только там, где они вызывались
CxList vulnerableMethods = All.FindByShortNames(vulnerable_methods).FindByType(typeof(MethodInvokeExpr));

//Находим все данные: которые взаимодействуют с данными методами
CxList vulnFlow = All.InfluencedBy(vulnerableMethods);

// Если есть пересечение по этим данным - кладем в результат
result = vulnFlow * data_on_lodash;

// Формируем список путей по которым мы уже прошли, чтобы фильтровать в дальнейшем дубли
List<string> lodash_result_path = new List<string> {};

foreach(CxList lodash_result in result)
{
    // Очередной раз получаем пути к файлам
	string file_name = lodash_result.GetFirstGraph().LinePragma.FileName;
	lodash_result_path.Add(file_name);
}

// Дальше идет часть относящаяся к html файлам, так как в них мы не можем проследить откуда именно идет вызов
// Формируем массив путей файлов, чтобы быть уверенными, что срабатывания уязвимых методов были именно в тех файлах, в которых объявлен lodash
List<string> lodash_path = new List<string> {};
foreach(CxList string_lodash in lodash_strings)
{
	string file_name = string_lodash.GetFirstGraph().LinePragma.FileName;
	lodash_path.Add(file_name);
}

// Перебираем все уязвимые методы и убеждаемся, что они вызваны в тех же файлах, что и объявление/включение lodash
foreach(CxList method in vulnerableMethods)
{
	string file_name_method = method.GetFirstGraph().LinePragma.FileName;
	if (lodash_path.Contains(file_name_method) == true && lodash_result_path.Contains(file_name_method) == false){
		result.Add(method);
	}
}

// Убираем все UknownReferences и оставляем самый "длинный" из путей, если такие встречаются
result = result.ReduceFlow(CxList.ReduceFlowType.ReduceSmallFlow) - result.FindByType(typeof(UnknownReference));

Задатак: Тражење сертификата уграђених у апликацију

rešenje: Није неуобичајено да апликације, посебно мобилне, користе сертификате или кључеве за приступ различитим серверима или верификацију ССЛ-пининга. Из безбедносне перспективе, чување таквих ствари у коду није најбоља пракса. Хајде да покушамо да напишемо правило које ће тражити сличне датотеке у спремишту:

// Найдем все сертификаты по маске файла
CxList find_certs = All.FindByShortNames(new List<string> {"*.der", "*.cer", "*.pem", "*.key"}, false);

// Проверим, где в приложении они используются
CxList data_used_certs = All.DataInfluencedBy(find_certs);

// И для мобильных приложений - можем поискать методы, где вызывается чтение сертификатов
// Для других платформ и приложений могут быть различные методы
CxList methods = All.FindByMemberAccess("*.getAssets");

// Пересечение множеств даст нам результат по использованию локальных сертификатов в приложении
result = methods * data_used_certs;

Задатак: Проналажење компромитованих токена у апликацији

rešenje: Често је потребно опозвати компромитоване токене или друге важне информације које су присутне у коду. Наравно, њихово складиштење у изворном коду није добра идеја, али ситуације се разликују. Захваљујући ЦкКЛ упитима, проналажење оваквих ствари је прилично лако:

// Получаем все строки, которые содержатся в коде
CxList strings = base.Find_Strings();

// Ищем среди всех строк нужное нам значение. В примере токен в виде строки "qwerty12345"
result = strings.FindByShortName("qwerty12345");

Закључак

Надам се да ће овај чланак бити користан онима који почињу своје упознавање са алатом Цхецкмарк. Можда ће и они који већ дуго пишу своја правила пронаћи нешто корисно у овом водичу.

Нажалост, тренутно постоји недостатак ресурса где би се могле прикупити нове идеје током развоја правила за Цхецкмарк. Зато смо и створили спремиште на Гитхуб-у, где ћемо објавити наше радове како би сви који користе ЦкКЛ могли да пронађу нешто корисно у њему, а такође имају прилику да поделе свој рад са заједницом. Репозиторијум је у процесу попуњавања и структурирања садржаја, тако да су сарадници добродошли!

Спасибо за внимание!

Извор: ввв.хабр.цом