जितके सोपे काम, तितक्या वेळा मी चुका करतो

हे क्षुल्लक काम एका शुक्रवारी दुपारी झाले आणि त्यासाठी २-३ मिनिटे वेळ लागला असावा. सर्वसाधारणपणे, नेहमीप्रमाणे.

एका सहकाऱ्याने मला त्याच्या सर्व्हरवर स्क्रिप्ट ठीक करण्यास सांगितले. मी ते केले, त्याच्याकडे दिले आणि अनवधानाने खाली पडलो: "वेळ 5 मिनिटे जलद आहे." सर्व्हरला सिंक्रोनाइझेशन स्वतःच हाताळू द्या. अर्धा तास, एक तास गेला, आणि तो अजूनही फुगवला आणि शांतपणे शाप दिला.

“मूर्ख! — मला वाटले, सर्व्हर कन्सोलवर स्विच करत आहे — ठीक आहे, मी आणखी काही मिनिटे विश्रांती घेईन.”

बघूया ntp, rdate, sdwdate स्थापित नाही timesyncd अक्षम आणि चालू नाही.

# timedatectl
      Local time: Sun 2019-08-25 20:44:39 +03
  Universal time: Sun 2019-08-25 17:44:39 UTC
        RTC time: Sun 2019-08-25 17:39:52
       Time zone: Europe/Minsk (+03, +0300)
     NTP enabled: no
NTP synchronized: no
 RTC in local TZ: no
      DST active: n/a

येथे मी ताबडतोब लक्षात घेईन की हार्डवेअर वेळ योग्य आहे: पुढे नेव्हिगेट करणे सोपे होईल.

इथूनच चुकांची मालिका सुरू झाली.

पहिली चूक. आत्मविश्वास

क्लिक-क्लिक...

# systemctl enable systemd-timesyncd.service && systemctl start systemd-timesyncd.service && ntpdate 0.ru.pool.ntp.org && timedatectl set-ntp on && timedatectl
25 Aug 21:00:10 ntpdate[28114]: adjust time server 195.210.189.106 offset -249.015251 sec
      Local time: Sun 2019-08-25 21:00:10 +03
  Universal time: Sun 2019-08-25 18:00:10 UTC
        RTC time: Sun 2019-08-25 18:00:10
       Time zone: Europe/Minsk (+03, +0300)
     NTP enabled: yes
NTP synchronized: yes
 RTC in local TZ: no
      DST active: n/a

सर्व काही ठीक आहे, वेळ समक्रमित आहे, सिस्टम वेळ हार्डवेअरशी जुळतो. "हे घे," मी म्हणालो आणि माझ्या व्यवसायात परतलो.

“काय घेऊ? - सहकारी रागावला होता. "ही तीच वेळ आहे!"

जितके तुम्ही ठराविक समस्या सोडवाल तितके तुमची विचारसरणी अधिक धूसर होईल आणि तुम्हाला आता वाटत नाही की शंभरवी किंवा हजारवी परिस्थिती वेगळी असेल, परंतु यावेळी नाही.

# timedatectl
      Local time: Sun 2019-08-25 21:09:15 +03
  Universal time: Sun 2019-08-25 18:09:15 UTC
        RTC time: Sun 2019-08-25 18:05:04
       Time zone: Europe/Minsk (+03, +0300)
     NTP enabled: yes
NTP synchronized: no
 RTC in local TZ: no
      DST active: n/a

सिस्टम वेळ पुन्हा चुकीचा आहे.

चला पुन्हा प्रयत्न करूया:

# ntpdate 0.ru.pool.ntp.org && timedatectl && sleep 1 && timedatectl
25 Aug 21:07:37 ntpdate[30350]: step time server 89.175.20.7 offset -249.220828 sec
      Local time: Sun 2019-08-25 21:07:37 +03
  Universal time: Sun 2019-08-25 18:07:37 UTC
        RTC time: Sun 2019-08-25 18:07:37
       Time zone: Europe/Minsk (+03, +0300)
     NTP enabled: yes
NTP synchronized: yes
 RTC in local TZ: no
      DST active: n/a
      Local time: Sun 2019-08-25 21:11:46 +03
  Universal time: Sun 2019-08-25 18:11:46 UTC
        RTC time: Sun 2019-08-25 18:07:37
       Time zone: Europe/Minsk (+03, +0300)
     NTP enabled: yes
NTP synchronized: no
 RTC in local TZ: no
      DST active: n/a

चला ते वेगळ्या प्रकारे करूया:

# date -s "2019-08-25 21:10:30" && date && sleep 1 && timedatectl
Sun Aug 25 21:10:30 +03 2019
Sun Aug 25 21:10:30 +03 2019
      Local time: Sun 2019-08-25 21:14:36 +03
  Universal time: Sun 2019-08-25 18:14:36 UTC
        RTC time: Sun 2019-08-25 18:10:30
       Time zone: Europe/Minsk (+03, +0300)
     NTP enabled: yes
NTP synchronized: no
 RTC in local TZ: no
      DST active: n/a

आणि याप्रमाणे:

# hwclock --hctosys && timedatectl && sleep 1 && timedatectl
      Local time: Sun 2019-08-25 21:11:31 +03
  Universal time: Sun 2019-08-25 18:11:31 UTC
        RTC time: Sun 2019-08-25 18:11:31
       Time zone: Europe/Minsk (+03, +0300)
     NTP enabled: yes
NTP synchronized: yes
 RTC in local TZ: no
      DST active: n/a
      Local time: Sun 2019-08-25 21:15:36 +03
  Universal time: Sun 2019-08-25 18:15:36 UTC
        RTC time: Sun 2019-08-25 18:11:32
       Time zone: Europe/Minsk (+03, +0300)
     NTP enabled: yes
NTP synchronized: no
 RTC in local TZ: no
      DST active: n/a

स्प्लिट सेकंदासाठी वेळ सेट केली जाते आणि लगेच पुन्हा "घाई" सुरू होते.

त्याच वेळी, लॉगमध्ये, अशा मॅन्युअल बदलाच्या वेळी, आम्ही फक्त सिस्टम अहवाल पाहतो की वेळ क्रमशः योग्य/चुकीच्या दिशेने बदलली आहे आणि कधीकधी पुन्हा सिंक करत आहे systemd-timesyncd वरून.

Aug 25 21:18:51 wisi systemd[1]: Time has been changed
Aug 25 21:18:51 wisi systemd-timesyncd[29258]: System time changed. Resyncing.
Aug 25 21:18:51 wisi systemd[1187]: Time has been changed
Aug 25 21:18:51 wisi systemd[1]: Time has been changed
Aug 25 21:18:51 wisi systemd[1187]: Time has been changed

येथे

# ps afx | grep "[1]187"
 1187 ?        Ss     0:02 /lib/systemd/systemd --user

या टप्प्यावर, कारण शोधणे आधीच आवश्यक होते, परंतु 18 वर्षांच्या प्रशासनात, मेंदूने "वेळ" त्रुटींबद्दल आकडेवारी जमा केली आहे आणि सवयीनुसार, पुन्हा सिंक्रोनाइझेशनला दोष दिला आहे.
चला ते पूर्णपणे बंद करूया.

# timedatectl set-ntp off && systemctl stop systemd-timesyncd.service
# hwclock --hctosys && timedatectl && sleep 1 && timedatectl
      Local time: Sun 2019-08-25 21:25:40 +03
  Universal time: Sun 2019-08-25 18:25:40 UTC
        RTC time: Sun 2019-08-25 18:25:40
       Time zone: Europe/Minsk (+03, +0300)
     NTP enabled: no
NTP synchronized: no
 RTC in local TZ: no
      DST active: n/a
      Local time: Sun 2019-08-25 21:29:31 +03
  Universal time: Sun 2019-08-25 18:29:31 UTC
        RTC time: Sun 2019-08-25 18:25:41
       Time zone: Europe/Minsk (+03, +0300)
     NTP enabled: no
NTP synchronized: no
 RTC in local TZ: no
      DST active: n/a

आणि लॉग मध्ये

Aug 25 21:25:40 wisi systemd[1]: Time has been changed
Aug 25 21:25:40 wisi systemd[1187]: Time has been changed
Aug 25 21:29:30 wisi systemd[1]: Time has been changed
Aug 25 21:29:30 wisi systemd[1187]: Time has been changed

पुन्हा सिंक करत आहे गायब झाले आणि अन्यथा नोंदी मूळ आहेत.

निष्कर्ष तपासत आहे tcpdump सर्व इंटरफेसवर पोर्ट 123 वर. कोणत्याही विनंत्या नाहीत, परंतु वेळ अजूनही पळत आहे.

त्रुटी दोन. गर्दी

कामाचा आठवडा संपायला एक तास बाकी आहे आणि मला वीकेंडला क्षुल्लक न सुटलेल्या समस्येसह निघायचे नाही (कोडमधील वेळेकडे लक्ष देऊ नका, लेख पुढील दिवसांत लिहिला होता ).
आणि इथे पुन्हा, कारण शोधण्याऐवजी, मी निकालाचे स्पष्टीकरण देण्याचा प्रयत्न करू लागलो. मी "आविष्कार" म्हणतो कारण निकालाचे स्पष्टीकरण कितीही तर्कसंगत असले तरीही, समस्या सोडवण्याचा हा एक सदोष दृष्टीकोन आहे.

हा सर्व्हर एक स्ट्रीमिंग सर्व्हर आहे आणि DVB-S2 प्रवाहाला IP मध्ये रूपांतरित करतो. DVB-S स्ट्रीममध्ये टाइमस्टॅम्प असतात, त्यामुळे रिसीव्हर्स, मल्टीप्लेक्सर्स, स्क्रॅम्बलर आणि टेलिव्हिजन बहुतेक वेळा सिस्टम क्लॉक सिंक्रोनाइझ करण्यासाठी त्यांचा वापर करतात. DVB-S बोर्ड ड्रायव्हर्स कर्नलमध्ये तयार केले आहेत, त्यामुळे DVB-S2 प्रवाह काढला गेला आहे याची खात्री करण्याचा सर्वात जलद मार्ग म्हणजे “प्लेट्स” मधून येणाऱ्या केबल्स डिस्कनेक्ट करणे. सुदैवाने, सर्व्हर भिंतीच्या मागे आहे, म्हणून तसे व्हा.

अर्थात, जर लॉगमध्ये काय असावे ते समाविष्ट केले असते, तर हे घडले नसते, परंतु त्याबद्दल पुन्हा, लेखाच्या शेवटी.

ठीक आहे, आम्ही आधीच सर्व उपग्रह सिग्नल काढून टाकले असल्याने, आम्ही स्थलीय सिग्नल देखील काढून टाकू - त्याच वेळी आम्ही सर्व नेटवर्क केबल्स बाहेर काढतो. सर्व्हर बाहेरील जगापासून कापला जातो आणि पूर्णपणे स्वायत्तपणे कार्य करतो, परंतु सिस्टम घड्याळ अजूनही घाईत आहे.

कामाचा आठवडा संपला आहे, आणि तारीख/वेळ ही समस्या गंभीर नाही, त्यामुळे तुम्ही घरी जाऊ शकता, पण इथे मी एक नवीन चूक केली आहे.

त्रुटी तीन. सल्लागार

कधीही नाही! मंच आणि सामान्य विशेषीकृत (a la stackoverflow) साइट्सवर कधीही प्रश्न विचारू नका जर त्यांच्या उत्तरासाठी Google च्या पहिल्या पृष्ठाचा अभ्यास करणे आणि एक मनुष्य पृष्ठ वाचणे यापेक्षा जास्त आवश्यक आहे.

ते तुम्हाला Google वर परत पाठवतील, तोच माणूस वाचतील आणि फोरम/साइटचे नियम लोकप्रियपणे समजावून सांगतील, परंतु तुम्हाला उत्तर देणार नाहीत.

येथे काही वस्तुनिष्ठ घटक आहेत:

• तुमच्याशिवाय कोणीही समस्या जाणून घेऊ शकत नाही;
• तुमच्यासारख्याच परिस्थितीत कोणीही चाचण्या घेऊ शकत नाही

आणि व्यक्तिनिष्ठ:

• आपण समस्येचे निराकरण करण्यासाठी सर्व इनपुट देऊ शकत नाही, कारण आपण आधीच "योग्य" दिशा शोधून काढली आहे आणि त्यावर लक्ष केंद्रित करून समस्येचे सार मांडत आहात;
• फोरमॅन (मॉडरेटर, ओल्ड-टाइमर, प्रशासक) नेहमीच बरोबर असतो, जर फोरमन चुकीचा असेल तर... बरं, तुम्हाला माहिती आहे...

जर, टिप्पण्यांना प्रत्युत्तर देताना, तुम्ही सेन्सॉर केलेल्या शब्दसंग्रहाच्या मर्यादेत राहिलात, तर तुमच्याकडे मजबूत मज्जातंतू आहेत.

निर्णय

साध्या आणि गुंतागुंतीच्या कामांची विभागणी करण्याची गरज नाही.

आम्ही आमच्या अनुभवावर, आकडेवारीवर, सल्लागारांवर विसंबून राहणे थांबवतो आणि अंतिम परिणाम "स्पष्टीकरण" करू नये, परंतु सातत्याने कारण शोधू लागतो.

कोणीतरी वेळ सेट केल्यामुळे, संबंधित सिस्टम कॉल होणे आवश्यक आहे.

ज्याप्रमाणे सॉफ्टवेअर दस्तऐवजात सर्वोत्कृष्ट दस्तऐवज स्त्रोत असतात, त्याचप्रमाणे आमच्या बाबतीत, सिस्टम प्रशासनात सर्वोत्तम सहाय्यक ऑडिट आहे ऑडिट केले.

संशयाचा क्षणमी मनातून गेलो, पण लिनक्समध्येच वेळ सेट करता येईल याची पूर्ण खात्री नव्हती clock_settime и दिवसाची वेळ, म्हणून पहिल्या चाचणीसाठी मी सर्व "योग्य" कॉल निवडले:

# man syscalls | col | grep -F '(2)' | grep -vE '(:|;)' | grep -E '(time|date|clock)' | sed "s/(2).*//" | xargs -I SYSCALL echo "-S SYSCALL " | xargs echo
-S adjtimex -S clock_adjtime -S clock_getres -S clock_gettime -S clock_nanosleep -S clock_settime -S futimesat -S getitimer -S gettimeofday -S mq_timedreceive -S mq_timedsend -S rt_sigtimedwait -S s390_runtime_instr -S setitimer -S settimeofday -S stime -S time -S timer_create -S timer_delete -S timer_getoverrun -S timer_gettime -S timer_settime -S timerfd_create -S timerfd_gettime -S timerfd_settime -S times -S utime -S utimensat -S utimes

आणि टाकून देत आहे s390_runtime_instr, stime, timerfd_create, जे auditctl ते ओळखले नाही, सुरुवातीला फॉर्ममध्ये ऑडिट सुरू केले:

auditctl -a exit,always -S adjtimex -S clock_adjtime -S clock_getres -S clock_nanosleep -S clock_settime -S futimesat -S getitimer -S gettimeofday -S mq_timedreceive -S mq_timedsend -S rt_sigtimedwait -S semtimedop -S setitimer -S settimeofday -S time -S timer_create -S timer_delete -S timer_getoverrun -S timer_gettime -S timer_settime -S timerfd_gettime -S timerfd_settime -S times -S utime -S utimensat -S utimes

मला स्वारस्य असलेल्या लॉग स्थानांमध्ये इतर कोणतेही लॉग नाहीत याची खात्री केल्यानंतर syscalls या दोन व्यतिरिक्त, मी फक्त त्यांचा वापर केला.

सिस्टम कॉल ऑडिट चालवत आहे clock_settime и दिवसाची वेळ आणि तारीख बदलण्याचा प्रयत्न करा:

# auditctl -a exit,always -S clock_settime -S settimeofday && date -s "2019-08-22 12:10:00" && sleep 5 && auditctl -D

पाच-सेकंदाचा विलंब जोडला गेला आहे जेणेकरून आमचा “परजीवी” वेळ दुरुस्त करण्याची हमी देतो.

चला अहवाल पाहूया:

# aureport -s -i

Syscall Report
=======================================
# date time syscall pid comm auid event
=======================================
Warning - freq is non-zero and incremental flushing not selected.
1. 08/22/2019 12:10:00 settimeofday 3088 chkcache_proces root 479630
2. 08/26/2019 09:37:06 clock_settime 1538 date root 479629

येथे आम्ही आमच्या पाहू तारीख आणि आम्हाला अज्ञात chkcache_processes. हे वरील अहवालात संपले कारण बायनरीमधून रूपांतरित करताना ऑरपोर्टने आउटपुटची तारखेनुसार क्रमवारी लावली आणि घटना आम्ही सेट केलेल्या वेळी घडली तारीख -s "2019-08-22 12:10:00".
त्याला कोणी जन्म दिला?

# ausearch -sc settimeofday --comm "chkcache_proces"
----
time->Thu Aug 22 12:10:00 2019
type=PROCTITLE msg=audit(1566465000.000:479630): proctitle="/usr/local/bin/oscam"
type=SYSCALL msg=audit(1566465000.000:479630): arch=c000003e syscall=164 success=yes exit=0 a0=7fde0dfc6e60 a1=0 a2=136cf a3=713ba56 items=0 ppid=3081 pid=3088 auid=0 uid=0 gid=0 euid=0 suid=0 fsuid=0 egid=0 sgid=0 fsgid=0 tty=pts20 ses=68149 comm="chkcache_proces" exe="/usr/local/bin/oscam" key=(null)

/usr/local/bin/oscam - आमचा परजीवी सापडला आहे. त्याचे "दुर्भावनापूर्ण" वर्तन असूनही, सशर्त प्रवेश प्रणाली नाकारणे अशक्य आहे, परंतु तरीही मला जाणून घ्यायचे आहे oscam, WTF?

उत्तर पटकन सापडते स्रोत कोड:

#if defined(CLOCKFIX)
if (tv.tv_sec > lasttime.tv_sec || (tv.tv_sec == lasttime.tv_sec && tv.tv_usec >= lasttime.tv_usec)) // check for time issues!
{
  lasttime = tv; // register this valid time
}
  else
{
  tv = lasttime;
  settimeofday(&tv, NULL); // set time back to last known valid time
  //fprintf(stderr, "*** WARNING: BAD TIME AFFECTING WHOLE OSCAM ECM HANDLING, SYSTEMTIME SET TO LAST KNOWN VALID TIME **** n");
}

किती गोंडस दिसतेय इथे टिप्पणी केली ओळ चेतावणी...

स्त्रोत: www.habr.com