שָׁלוֹם.

אחרי שסיימתי לכתוב עוד תסריט בבש, הבנתי שהכל צריך להיות אחרת לגמרי, אבל הכל עבד. אני רוצה להראות לך אילו גסויות וקביים כתבתי כדי לפתור את הבעיה, אבל עדיין אין לי עגלה של ידע. במילים אחרות, קריקטורה של תכנות.

משימה

משהו נחוץ כדי:

• הציג חרוזים רבים למילה, למעט ריבועים
• חצה את החרוזים הרבים של שתי מילים

בשביל מה? ובכן, זהו - וזהו.
מי לא יודע, חריזה מרובעת (בשפה הרווחת - ריבוע) היא שתי מילים ששתי האותיות האחרונות שלהן בכתיב חופפות, מה ש(לעיתים קרובות, זה הדבר היחיד) הופך אותן לחריזה. לדוגמה, ורדים הם כפור; צמיג - מכונית. השימוש בריבועים בגרסה מודרנית אינו מאושר במיוחד על ידי אנשים, בשל הפרימיטיביות שלהם.

החלטה

נראה לי שהפתרון הפשוט ביותר הוא לכתוב תסריט ב-Bash שמשתמש במחולל חריזה שכבר קיים - HOST, שבוחר אותם בעיקר לפי עיצורים, ולא לפי איות. איזה סוג של מארח? כי אם תציינו את השם האמיתי של האתר, יגידו שמדובר בפרסומת. למה לא להמשיך להשתמש בו? ראשית, למרות היתרון שלו בבחירת חרוזים על סמך עיצורים, הוא עדיין מייצר לעתים קרובות ריבועים. שנית, אתה עדיין צריך לחשוב עם המוח שלך, להקדיש זמן למעבר בין כרטיסיות, ולשנן מילים חוזרות ונשנות ברשימות כדי למצוא חריזה לשתי מילים.

מקבל חרוזים חזקים

מה אני יודע? אני יודע על השירות wget, אשר מוריד את הדף בכתובת ה-URL שצוינה. אוקיי, בוא נבצע את הבקשה - נקבל דף HTML בקובץ בשם עם מילה מתחרזת. לדוגמה, בואו נחפש את המילה "כאן":

wget https://HOST/rifma/здесь

אבל אני צריך רק רשימה של מילים, איך אני יכול להיפטר מכל השאר? אנחנו מסתכלים ורואים שרשימת המילים מעוצבת, מוזרה ככל שתהיה, בצורת רשימה, והמילים נמצאות בתגיות . ובכן, יש לנו כלי עזר נהדר. צמא - בואו נרשום את זה כך:

cat $word | grep '<li>' | sed -e "s%<li>%%" | sed -e "s%</li>%%" | sed -e "s/ //g" | sed -e "/^$/d" 1> $word

ראשית, מתוך קובץ ה-word, בחר את השורות המכילות את התג - אנחנו מקבלים חבורה של תגים ריקים ושורות עם מילים. אנחנו מסירים את התג עצמו ואת התג הסוגר שלו - כאן משתמשים בסמלי אחוזים במקום לוכסנים כי בתג עצמו יש כבר חתך, למה? צמא לא מבין אותך קצת והכל בסדר עם ריבית. אנחנו מסירים את כל הרווחים מהקובץ, מסירים שורות ריקות. וואלה - רשימה מוכנה של מילים.

על מנת להסיר מילים שמתחרזות באמצעות האותיות האחרונות, בחר את שתי האותיות האחרונות מהמילה המקורית ונקה את הרשימה:

squad=${word:((${#word}-2)):2}
cat $word | sed -e "/.$squad$/d" 1> $word

אנחנו מסתכלים, אנחנו מנסים - הכל עובד... אז איפה הרשימה של המילה "משחק"? ולמילה "אני הולך"? הקובץ ריק! וכל זה בגלל שהמילים האלה הן פעלים, ואנו יודעים מה הן עושות למי שמתחרז עם פעלים. חריזת פעלים גרועה אפילו מחריזה מרובעת, כי בשפה הרוסית יש הכי הרבה פעלים, ולכולם אותם סיומות, ולכן הם לא היו בקובץ הסופי לאחר בדיקת הסיומות.

עם זאת, אנחנו לא ממהרים. לכל מילה יש לא רק חרוזים, אלא גם אסוננסים, שלפעמים נשמעים הרבה יותר טוב מחריזה - לכן הם אסוננסים (אסוננס צרפתי, מלטינית assono - I sound in tune).

אנחנו מקבלים אסוננסים

כאן מתחיל הכיף: אסוננסים מופיעים בכתובת URL נפרדת, ובאותו עמוד, על ידי ביצוע סקריפט, שליחת בקשת HTTP וקבלת תגובה. איך אני יכול להגיד wget״אתה לוחץ על הכפתור? אבל אין מצב. למרבה הצער.

שמתי לב שכתובת ה-URL בשורה איכשהו משתנה, העתקתי את מה שהיה שם לאחר המעבר לאסון והדבקתי אותו בלשונית חדשה בדפדפן - נפתחו חרוזים חזקים. לא ש.

בעיקרו של דבר, חשבתי, זה לא אמור לשנות לשרת אם הסקריפט ששולח לו את הבקשה מבוצע, או אם האדם מקליד אותו ביד. כך? מי יודע, בוא נלך לבדוק את זה.

לאן לשלוח? מה לשלוח? בקשת HTTP ל-IP של השרת, יש משהו כמו GET... ואז יש משהו HTTP/1.1... אנחנו צריכים לראות מה הדפדפן שולח ולאן. להתקין Wireshark, תסתכל על התנועה:

0040 37 5d a3 84 27 e7 fb 13 6d 93 ed cd 56 04 9d 82 7]£.'çû.m.íÍV...
0050 32 7c fb 67 46 71 dd 36 4d 42 3d f3 62 1b e0 ad 2|ûgFqÝ6MB=ób.à.
0060 ef 87 be 05 6a f9 e1 01 41 fc 25 5b c0 77 d3 94 ï.¾.jùá.Aü%[ÀwÓ.

אממ... מה? אה כן, יש לנו HTTPS. מה לעשות? להפעיל מתקפת MITM על עצמך? באופן אידיאלי, הקורבן עצמה תעזור לנו.

באופן כללי, לאחר שהחלטתי לגלוש בדפדפן, מצאתי סוף סוף את הבקשה עצמה ואת הנמען. ללכת:

דיאלוג עם המסוף

telnet IP PORT
Trying IP...
Connected to IP.
Escape character is '^]'.
GET /rifma/%D0%BC%D0%B0%D1%82%D1%8C?mode=block&type=asn HTTP/1.1
Host: HOST
Accept-Language: en-US,en;q=0.5
X-Requested-With: XMLHttpRequest
Connection: close

HTTP/1.1 400 Bad Request
Server: nginx/1.8.0
Date: Sun, 03 Nov 2019 20:06:59 GMT
Content-Type: text/html; charset=utf-8
Content-Length: 270
Connection: close

<html>
<head><title>400 The plain HTTP request was sent to HTTPS port</title></head>
<body bgcolor="white">
<center><h1>400 Bad Request</h1></center>
<center>The plain HTTP request was sent to HTTPS port</center>
<hr><center>nginx/1.8.0</center>
</body>
</html>
Connection closed by foreign host.

היי. חחחח. אכן, זה מה שציפיתי כששלחתי בקשת HTTP חשופה ליציאת HTTPS. האם עלינו להצפין עכשיו? כל הרעש הזה עם מפתחות RSA, ואז עם SHA256. למה, יש OpenSSL לדברים כאלה. ובכן, אנחנו כבר יודעים מה לעשות, פשוט נסיר קודם את השדות Referer ו-Cookie - אני חושב שהם לא ישפיעו הרבה על העניין:

דיאלוג עם המסוף

openssl s_client -connect IP:PORT
{Всякие ключи, сертификаты}
GET /rifma/%D0%B7%D0%B4%D0%B5%D1%81%D1%8C?mode=block&type=asn HTTP/1.1
Host: HOST
User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:70.0) Gecko/20100101 Firefox/70.0
Accept: text/javascript,text/html,application/xml,text/xml,*/*
Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3
Accept-Encoding: gzip, deflate, br
X-Requested-With: XMLHttpRequest
Connection: keep-alive

HTTP/1.1 200 OK
Content-Type: text/html;charset=utf-8
Transfer-Encoding: chunked
Connection: keep-alive
Vary: Accept-Encoding
Status: 200 OK
Date: Sun, 03 Nov 2019 20:34:33 GMT
Set-Cookie: COOKIE
X-Powered-By: Phusion Passenger 5.0.16
Server: nginx/1.8.0 + Phusion Passenger 5.0.16
Expires: Thu, 01 Jan 1970 00:00:01 GMT
Cache-Control: no-cache
Strict-Transport-Security: max-age=31536000
Content-Security-Policy: block-all-mixed-content
Content-Encoding: gzip

מה זה, מקללת בשרת? טוב, לפחות הם ענו לי 200 בסדר, מה שאומר שעוגיות והמפנה לא משפיעים על כלום. הדחיסה היא gzip, אך בעת העתקה, תווי ASCII מועתקים. בדיוק, אתה יכול להסיר את הקו קבל-קידוד. הכל בסדר - אנחנו מקבלים מסמך HTML, עכשיו עם אסוננסים. אבל הנה שתי שאלות: איך להריץ את OpenSSL ולהעביר אליו נתונים באמצעות סקריפט? ואיך לקרוא את הפלט אם לאחר קבלת התגובה נישאר, כביכול, ב"מעטפת" של OpenSSL? אם אתה יכול להמציא משהו עם השני, אבל עם הראשון...

טוב שיש האברשם קראתי על השירות לצפות, הממכן את תהליך האינטראקציה עם תוכניות המצפות לאינטראקציה אנושית. להחזיק צוות זה אפילו יותר אטרקטיבי צפייה אוטומטית, יוצרת לצפות סקריפט המבוסס על הפעולות שלך. ובכן, אנחנו משיקים את זה, עושים את כל זה והנה התסריט המוגמר. רק הוא מאוד ענק, והכל בגלל OpenSSL מציג אישורים, מפתחות ו לצפות מחכה לתפוקה של כל זה. האם אנחנו צריכים את זה? לא. אנו מסירים את כל ההנחיה הראשונה, ומשאירים רק את מעבר השורה האחרון 'r'. אנחנו גם מסירים את השדות User-Agent ו-Accept מהבקשה שלנו - הם לא משפיעים על שום דבר. אז, בוא נתחיל. הסקריפט הופעל, אבל איפה מסמך ה-HTML היקר? לצפות אכל את זה. כדי לגרום לו לירוק את זה, אתה צריך לשים:

set results $expect_out(buffer)

לפני סוף הסקריפט - כך ייכתב הפלט של קובץ ההפעלה לצפותהפקודה ומוצגת על המסך. לסיכום, משהו כזה:

מצפה לתסריט

#!/usr/bin/expect -f

set timeout -1
spawn openssl s_client -connect IP:PORT
match_max 100000
expect -exact "
---r
"
send -- "GET /rifma/%d0%b7%d0%b4%d0%b5%d1%81%d1%8c?mode=block&type=asn HTTP/1.1rHost: HOSTrAccept-Language: en-US,en;q=0.5rX-Requested-With: XMLHttpRequestrConnection: close"
expect -exact "GET /rifma/%d0%b7%d0%b4%d0%b5%d1%81%d1%8c?mode=block&type=asn HTTP/1.1r
Host: HOSTr
Accept-Language: en-US,en;q=0.5r
X-Requested-With: XMLHttpRequestr
Connection: close"
send -- "r"
set results $expect_out(buffer)
expect -exact "r
"
send -- "r"
expect eof

אבל זה לא הכל! כפי שניתן לראות, בכל הדוגמאות כתובת ה-URL של הבקשה הייתה סטטית, אך ה-URL היא זו שאחראית לאיזו מילה תקושר לאסוננסים. וכך יוצא שכל הזמן נחפש את המילה "%d0%b7%d0%b4%d0%b5%d1%81%d1%8c" ב-ASCII או "כאן" ב-UTF-8. מה לעשות? כמובן, פשוט צור סקריפט חדש בכל פעם, חברים! לא עוד צפייה אוטומטית'אה, ועם העזרה הד, כי בחדש שלנו, שום דבר לא משתנה מלבד המילה. ותחי הבעיה החדשה: איך נוכל לתרגם בצורה חכמה מילה מקירילית לפורמט כתובת URL? גם למסוף אין שום דבר מיוחד. ובכן, זה בסדר, אנחנו יכולים לעשות את זה, נכון? פחית:

תראה מה אני יכול לעשות!

function furl {
furl=$(echo "$word" | sed 's:А:%d0%90:g;s:Б:%d0%91:g;s:В:%d0%92:g;s:Г:%d0%93:g;s:Д:%d0%94:g;s:Е:%d0%95:g;s:Ж:%d0%96:g;s:З:%d0%97:g;s:И:%d0%98:g;s:Й:%d0%99:g;s:К:%d0%9a:g;s:Л:%d0%9b:g;s:М:%d0%9c:g;s:Н:%d0%9d:g;s:О:%d0%9e:g;s:П:%d0%9f:g;s:Р:%d0%a0:g;s:С:%d0%a1:g;s:Т:%d0%a2:g;s:У:%d0%a3:g;s:Ф:%d0%a4:g;s:Х:%d0%a5:g;s:Ц:%d0%a6:g;s:Ч:%d0%a7:g;s:Ш:%d0%a8:g;s:Щ:%d0%a9:g;s:Ъ:%d0%aa:g;s:Ы:%d0%ab:g;s:Ь:%d0%ac:g;s:Э:%d0%ad:g;s:Ю:%d0%ae:g;s:Я:%d0%af:g;s:а:%d0%b0:g;s:б:%d0%b1:g;s:в:%d0%b2:g;s:г:%d0%b3:g;s:д:%d0%b4:g;s:е:%d0%b5:g;s:ж:%d0%b6:g;s:з:%d0%b7:g;s:и:%d0%b8:g;s:й:%d0%b9:g;s:к:%d0%ba:g;s:л:%d0%bb:g;s:м:%d0%bc:g;s:н:%d0%bd:g;s:о:%d0%be:g;s:п:%d0%bf:g;s:р:%d1%80:g;s:с:%d1%81:g;s:т:%d1%82:g;s:у:%d1%83:g;s:ф:%d1%84:g;s:х:%d1%85:g;s:ц:%d1%86:g;s:ч:%d1%87:g;s:ш:%d1%88:g;s:щ:%d1%89:g;s:ъ:%d1%8a:g;s:ы:%d1%8b:g;s:ь:%d1%8c:g;s:э:%d1%8d:g;s:ю:%d1%8e:g;s:я:%d1%8f:g;s:ё:%d1%91:g;s:Ё:%d0%81:g')}

בסך הכל יש לנו סקריפט שממיר מילה לטקסט ASCII, ויוצר סקריפט נוסף שמבקש דף אתר עם אסוננסים מהשרת דרך OpenSSL. ואז אנחנו מפנים את הפלט של הסקריפט האחרון לקובץ, ובדרך המיושנת, מעבירים אותו דרכו "מסננים" ריבועים נוספים וכתוב אותם לקובץ.

צומת של רבים. שורה תחתונה

למעשה, זה בדיוק מה שגורם לפחות בעיות. אנו מבצעים את ההליכים לעיל עבור שתי מילים, ולאחר מכן משתי הרשימות אנו משווים כל מילה עם כל מילה ואם נמצאה התאמה, אנו מוציאים אותה. עכשיו יש לנו סקריפט שלוקח שתי מילים כקלט ומציג רשימה של מילים שמתחרזות עם שתיהן, ואפילו תוך התחשבות באסוננסים, וכל זה מבלי לעבור ידנית בין ארבע טאבים ולזכור מילים "בעין" - הכל נאסף, בחשבון עבור ונמחק אוטומטית. נִפלָא.

מטרת הפרסום הזה הייתה להראות שאם אדם צריך משהו, הוא יעשה זאת בכל מקרה. מאוד לא יעיל, עקום, מצמרר, אבל זה יעבוד.

מקור: www.habr.com