Matin SenPai

دفید اینجوری کار میکنه: (عدد هایی که میگم دیفالت هست و قابل تغییر) هر ده دقیقه میره ۱۵ پیام اخر کانال ها و اکانت های تویتر رو میگیره میاره و اینهارو به یک فرمت خاص توی رم نگه میداره (دیتابیس نداره چون فقط ۱۵ پیام اخر رو نگه میداره) به هر کانال و یا اکانت تویتر یک عدد اختصاص میده که بهش میگه چنل، این عدد [چنل نامبر یا ch] رو مثل شبکه تلوزیون رو در نظر بگیرید که مثلا میگفتیم شبکه ۴ رو کسی نمیبینه! یا شبکه سه فوتبال داره!، حالا اینجا مثلا شبکه ۳ تو کانفیگ اخبار، وحید انلاین داره! دیتای هر شبکه رو به چانک های کوچیک و رندم تبدیل میکنه که بهش میگیم بلاک و این بلاک ها بین ۲۰۰ بایت تا ۵۰۰ بایت هستند تا کمترین محدودیت دی ان اس رو داشته باشه حالا اینو تا اینجا نگه دارید یچیز دیگه توضیح بدم بعد برگردم سراغ این یک سری شبکه خاص وجود داره توی پروژه که کارشون متفاوت هست مثلا شبکه 0 کارش برگردوندن متادیتا هست که خیلی مهمه!، این شبکه چی بر میگردونه واقعا؟ - زمان فتچ بعدی کانال ها از تلگرام و تویتر - یوزرنیم کانال ها و اکانت های تویتر - شماره شبکشون - تعداد بلاک های دیتای که دارن - اخرین ایدی پست و زمان اخرین پست کانال یا اکانت تویتر - چکسام - و یک سری چیز که الان یادم نیست (از اونجایی که دیتا رو به صورت رندم به بلاک های کوچیک بین ۲۰۰ تا ۵۰۰ بایت تقصیم میکنیم هر ده دقیقه تعداد بلاک ها عوض میشه حتی اگر اون کانال پست جدیدی نداشته باشه) خب پس‌اولین کاری که کلاینت میکنه اینه که میره متا دیتا رو میگیره که لیست کانال هارو نمایش بده همینطور کلاینت هربار که میخواد یک کانال رو فتچ کنه اول متا دیتا رو فتچ میکنه تا تعداد بلاک های اون کانال و اینکه اصلا پست جدیدی هست یا نه رو بدونه، این متادیتا معمولا بین ۱ تا ۳ بلاک دیتا هست که میشه توی یک شبکه درست حسابی با ۱ تا ۳ کوئری دی ان اس بگیریش. (کلاینت متا دیتا رو واسه خودش تا ۳۰ ثانیه کش میکنه) حالا وقتی متا دیتا رو داشته باشی میتونی شروع کنی بصورت هم زمان بلاک های دیتای اون کانال تلگرامی و یا تویتری رو بگیری (معمولا کانال ها واسه ۱۵ تا پیام بین ۷ تا ۲۰ بلاک دیتا دارن)، و چون تا ده دقیقه این بلاک ها قراره ثابت باشن (کلاینت هم میدونه کِی اون ده دقیقه تموم میشه) میتونه هی تلاش مجدد کنه و حتی وقتی ریزالور خیلی کند هست هم در نهایت دیتا رو بگیره یچیز جالب اینه که چون کلاینت فقط واسه گرفتن دیتا نیازه شماره شبکه و شماره بلاک رو بفرسته کوئری ها خیلی کوچیک هست (البته چند بایت رندوم و اورهد انکریپشن و base32 بهش اضافه میشه که بزرگ تر میشه) کلاینت کلی شبکه معنی دار دیگه هم داره مثلا شبکه صفر متا دیتاهست شبکه 1 تا 10,000 واسه دیتای کانال ها و اکانت های تویتر هست شبکه 10,001 تا فکر‌کنم 50,000 واسه فایل ها هست. یک‌سری شبکه که عدد هاشو یادم نیست هم شامل این ها هست: - شبکه واسه گرفتن اخرین ورژن موجود کلاینت - شبکه واسه گرفتن ادرس ریپو گیتهاب که میشه ازش فایل هارو سریع تر از دی ان اس گرفت - شبکه واسه گرفتن نام نمایشی کانال ها (متا دیتا فقط یوزرنیم رو داره) - شبکه مخصوص اپلود پیام! اره دفید میتونه پیام هم بفرسته اگر سرور شخصی داشته باشی، ولی خیلی کنده! - شبکه مخصوص اینکه بگی میخوام پیام بفرستم! - و احتمالا چندتا شبکه دیگه که یادم نیست! یه سری جزئیات دیگه هم هست که من چندتاشو میگم: - سرور تلاش میکنه شماره شبکه و بلاک های دیتای فایل ها رو دیر به دیر تغییر بده، تا کلاینت فایل های بزرگ هم بتونه دانلود کنه حتی اگر زمان زیادی طول بکشه! - اگر چند کانال یک فایل تکراری رو بزارن کلاینت متوجه میشه و دوباره دانلود نمیکنه (با سایز فایل و چکسام) - دیفالت حجم فایل دفید برای رله گیتهاب ۱۵ مگابایت هست و برای دانلود از طریق دی ان اس ۱۰۰ کیلوبایت! - کلاینت قابلیت ارسال پکت تکراری به چند ریزلور هم زمان رو داره تا سریع تر دیتا رو بگیره - کلاینت قابلیت گرفتن هم زمان چند بلاک رو داره - کلاینت وقتی کل بلاک هارو بگیره یک هش که توی متا دیتا بوده رو با پیام ها چک میکنه تا مطمئن بشه دیتا ها ولید هست (این گاهی پیش میاد چون سرور هی داره بلاک های دیتا رو هر ده دقیقه عوض میکنه) - و کلی چیز دیگه که حتی خودمم یادم نیست ولی قبلا روشون کار‌ کردم اسکنر چطوری کار‌میکنه؟ اسکنر دفید میره اولین بلاک شبکه متادیتا (0) رو میگیره و ولیدیت میکنه تا مطمئن بشه ریزالور درست کار میکنه و چرتو پرت بر نمیگردونه! پروژه الان فقط از رکورد TXT استفاده میکنه..

184.24.77.42 2.23.168.213 2.23.168.174 2.23.168.7 184.24.77.32 184.24.77.5 184.24.77.7 184.24.77.16 184.24.77.36 184.24.77.21 2.23.169.111 2.23.169.105 184.24.77.11 184.24.77.29 185.200.232.49 185.200.232.50 185.200.232.42 185.200.232.41 23.48.23.186 23.48.23.133 23.48.23.195 23.48.23.178 104.78.170.186 96.17.222.31 23.41.37.129 23.2.13.227 23.222.126.108 2.20.255.113 2.17.251.98 23.2.13.152 95.101.23.27 2.21.239.21 23.211.49.252 88.221.168.5 104.103.90.156 23.79.20.249 88.221.132.162 23.59.235.208 23.60.69.118 23.46.188.71 104.122.212.92 23.219.1.4 23.57.43.195 184.51.252.135 2.22.6.68 23.217.11.56 95.100.69.108 23.40.63.69 96.16.122.74 104.109.250.232 92.123.104.7 104.110.191.57 104.83.5.82 92.122.166.168 104.83.5.65 104.121.0.17 104.66.70.133 92.122.166.146 23.73.2.161 92.122.73.138 92.122.166.141 96.16.122.55 104.81.108.51 23.72.248.214 104.126.37.185 104.83.5.201 104.83.5.216 92.123.104.67 104.83.5.203 96.17.207.151 88.221.168.138 96.17.207.149 104.81.108.10 23.73.2.148 92.122.166.175 172.237.127.6 104.81.104.13 96.17.207.137 92.123.112.7 96.16.122.75 96.16.122.70 92.122.166.182 104.109.128.153 104.96.143.134 23.73.2.141 104.83.5.202 23.67.136.200 23.67.136.202 23.65.119.52 92.122.166.236 92.122.166.234 92.122.166.237 104.110.138.190 173.222.200.5 184.51.252.36 184.51.252.38 104.83.5.208 96.16.122.146 96.17.206.214 92.122.166.197 104.94.100.73 104.83.15.66 88.221.213.81 172.239.57.117 104.117.76.40 184.51.252.4 96.17.207.30 96.16.122.83 96.16.122.150 23.73.207.11 96.16.122.77 96.17.207.155 92.123.189.82 96.16.122.82 96.16.122.66 96.7.218.219 96.16.122.137 184.51.252.157 92.123.189.41 184.86.251.12 96.16.122.154 184.51.252.152 96.17.207.12 23.79.48.162 151.101.0.223 151.101.128.223 151.101.192.223 151.101.64.223 65.109.34.234 142.54.178.211 2.23.168.47 2.23.168.96 2.23.168.144 2.23.169.207 2.23.170.80

184.86.103.210 96.16.248.183 92.122.16.5 96.16.249.60 96.16.249.9 23.12.156.115 23.216.77.16 23.62.61.53 23.39.148.245 23.210.73.133 23.44.201.136 23.205.46.167 184.30.150.142 23.220.161.217 184.28.165.4 23.46.230.133 88.221.168.204 104.96.158.174 184.51.252.4 172.234.199.15 104.85.26.14 172.237.145.27 92.123.103.24 172.234.159.58 185.200.232.43   2.17.100.200 2.19.205.42 2.19.205.50 2.19.252.134 2.20.169.70 2.20.170.91 95.101.111.144 2.16.245.188 2.18.69.150 2.16.106.4 23.58.222.107 184.25.28.31 23.47.124.134 23.50.131.147 23.46.190.18 23.58.222.147 23.56.162.186 23.44.203.68

184.24.77.42, 184.24.77.32, 184.24.77.5, 184.24.77.7, 184.24.77.16, 184.24.77.36, 184.24.77.21, 184.24.77.11, 185.200.232.49, 185.200.232.50, 185.200.232.42, 185.200.232.41, 23.48.23.186, 23.48.23.133, 23.48.23.195, 23.48.23.178, 184.24.77.29, 2.22.21.152, 95.101.23.82, 23.215.0.164, 23.197.161.35, 184.28.230.87, 23.220.128.221, 96.17.207.142, 23.50.131.18, 23.36.162.209, 23.219.3.212, 23.223.245.150, 96.16.122.59, 23.2.13.138, 23.2.13.144, 96.17.207.135, 23.220.113.51, 96.17.72.41, 23.203.185.105, 2.16.27.71, 2.16.244.11, 2.17.147.89, 2.17.251.98, 2.18.190.26, 2.18.190.27, 2.19.10.30, 2.19.196.105, 2.20.255.113, 2.21.89.66, 2.21.239.10, 2.21.239.21, 2.21.239.23, 2.21.239.29, 2.22.6.68, 2.23.176.166,

23.65.119.52 23.73.2.141 104.110.138.190 104.83.5.202 92.122.166.236 92.122.166.234 92.122.166.237 96.16.122.70 23.67.136.200 23.67.136.202