Sunʼiy intellekt bilan SQL: ishlaydigan soʻrov olish va xatoni oʻtkazib yubormaslik

Quyida tahlilchilar model bilan birga soʻrov yozganda foydalanadigan ish jarayoni keltirilgan: kontekstni qanday berish, soʻrovni bosqichma-bosqich qanday yigʻish, qaysi xatolar eng koʻp uchraydi va raqam hisobotga tushishidan oldin har birini qanday ushlash. Barcha misollar shartli sxemada qurilgan va faqat tushuntirish uchun xizmat qiladi.

Modelga vazifani qanday qoʻyish kerak

Model bazangizni koʻrmaydi. Xabaringizda boʻlmagan hamma narsani u oʻzi toʻqib chiqaradi — va ishonarli toʻqiydi. Jadval nomlari, statuslar maʼnosi, summa valyutasi, sanalarning vaqt mintaqasi — agar siz buni koʻrsatmasangiz, model sizda qabul qilinganini emas, umumiy tajribadan eng ehtimolli variantni tanlaydi.

Kontekst: dialekt va sxema

1. 01Dialektni koʻrsating: PostgreSQL, MySQL, ClickHouse, MS SQL va boshqa MBBT lar sanalar, satrlar va oyna funksiyalari bilan turlicha ishlaydi.
2. 02Sxemani bering: jadval nomlari, maydonlar, turlar, birlamchi va tashqi kalitlar.
3. 03Bogʻlanishlarni soʻz bilan tasvirlang: bitta buyurtmaning bir nechta toʻlovi, mijozning bir nechta buyurtmasi boʻlishi mumkin.
4. 04Noaniq maydonlar maʼnosini tushuntiring: statuslar, bayroqlar, kodlar, valyutalar, vaqt mintaqasi.
5. 05Doim qoʻllaniladigan filtrlarni sanab oʻting: test yozuvlari, ichki mijozlar, bekor qilingan amallar.

Koʻrsatkich taʼrifi soʻz bilan

Soʻrov soʻrashdan oldin koʻrsatkichni yangi hamkasbga qanday tushuntirsangiz, shunday yozing. «Oylik tushum» emas, balki «qaytarishlarsiz toʻlangan buyurtmalar summasi, toʻlov sanasi boʻyicha, mahalliy vaqtda, test mijozlarsiz». Bunday taʼrif faqat modelga foydali emas: u sizni hisobot yuborilgandan keyin chiqishi mumkin boʻlgan savollarga oldindan javob berishga majbur qiladi.

Natija granulyarligi

Kutilgan natijani tasvirlang: qaysi ustunlar va bitta qator nimani bildiradi. «Har bir mijozga oyiga bitta qator» degan ibora darhol granulyarlikni belgilaydi va oddiy test beradi: agar natijada bitta mijoz bir oyda ikki marta uchrasa, qayerdadir xato bor. Bunday iborasiz model koʻrinishdan oqilona, lekin boshqa tafsilot darajasidagi jadvalni qaytarishi mumkin.

Bosqichma-bosqich jarayon: savoldan tekshirilgan raqamgacha

Ishonchli natija modelning bitta omadli javobidan emas, har bir qadami tekshiriladigan jarayondan olinadi. Quyidagi tartib uzun tuyuladi, lekin aksariyat qadamlar bir necha daqiqa oladi, hisobot nega mos kelmayotganini aniqlashga ketadigan kunlarni esa tejashi mumkin.

1. 01Biznes savolini va koʻrsatkichni soʻz bilan ifodalang, taʼrifni raqamdan foydalanadigan odam bilan kelishib oling.
2. 02Kontekstni yigʻing: dialekt, sxema, bogʻlanishlar, maydonlar maʼnosi, majburiy filtrlar.
3. 03Modeldan avval kodsiz, bosqichma-bosqich soʻrov rejasini yozishni soʻrang — shunda u vazifani toʻgʻri tushunganmi, koʻrinadi.
4. 04Har bir bosqichga izoh bilan, CTE orqali bosqichlarga boʻlingan kodni soʻrang.
5. 05Bosqichlarni birma-bir bajaring, qatorlar soni, kalitlar noyobligi va summalarni tekshiring.
6. 06Yakunni mustaqil manba yoki kichik qismdagi qoʻlda hisob bilan solishtiring.
7. 07Chekka holatlarni tekshiring: boʻsh davrlar, bogʻliq yozuvi yoʻq obyektlar, NULL.
8. 08Yakuniy soʻrovni koʻrsatkich taʼrifi va bajarilgan tekshiruvlar bilan birga saqlang.

Kodsiz reja qadami ayniqsa foydali. Agar model «avval buyurtmalarni toʻlovlar bilan ulaymiz, keyin buyurtma summasini qoʻshamiz» deb yozsa, muammoni ishga tushirishdan oldinroq koʻrasiz: buyurtma summasi toʻlovlar soniga koʻpayadi. Rejani tuzatish tayyor soʻrovdagi xatoni topishdan osonroq.

JOIN lar va qatorlarning koʻpayishi

Eng koʻp uchraydigan va eng xavfli xato — qatorlarni jimgina koʻpaytiradigan JOIN. Soʻrov bajariladi, raqam oqilona koʻrinadi va xato hisobotga tushadi. Model bu xatoga muntazam yoʻl qoʻyadi, chunki sizda jadvallar orasidagi bogʻlanish aslida qanday ekanini bilmaydi.

Bu qanday koʻrinadi

Yuqoridagi misoldagi shartli sxemani olaylik. Faraz qilaylik, buyurtma ikki qismda toʻlangan. Agar orders ni payments bilan ulab, buyurtma maydoni summasini hisoblasak, bu buyurtma summaga ikki marta tushadi. COUNT(*) orqali buyurtmalar soni ham oshib ketadi. Shu bilan birga soʻrov rasman toʻgʻri va xato bermaydi.

Qanday oldini olish mumkin

• Har bir JOIN oldidan bogʻlanishni aniqlang: birga bir, birga koʻp, koʻpga koʻp.
• Agar bogʻlanish «koʻpga» boʻlsa, avval ikkinchi jadvalni birinchisi darajasigacha agregatsiya qiling, keyin ulang.
• Koʻrsatkichni u joylashgan jadvalda hisoblang: toʻlovlar summasini — toʻlovlar boʻyicha, buyurtmalar sonini — buyurtmalar boʻyicha.
• Modeldan har bir oraliq bosqich granulyarligini aniq koʻrsatishni soʻrang.
• LEFT JOIN va undan keyin WHERE da oʻng jadval boʻyicha filtrdan ehtiyot boʻling: u ulashni ichki ulashga aylantiradi.

Qanday ushlash mumkin

JOIN dan oldin va keyin qatorlar soni va noyob kalitlar sonini sanang. Agar asosiy jadval kaliti noyob qolishi kerak boʻlsa-yu, noyob qiymatlar qatorlardan kam boʻlib qolsa — qatorlar koʻpaygan. Bunday tekshiruvni faqat oxirida emas, har bir ulashdan keyin qilish kerak.

Dublikatlar, NULL va agregatsiyalar

Dublikatlar faqat JOIN dan paydo boʻlmaydi. Manba jadvallarda takroriy yuklanmalar, test yozuvlari, bekor qilinib qayta tiklangan amallar, bitta yozuvning bir nechta versiyasi uchraydi. Model siz aytmaguningizcha bu haqda bilmaydi, shuning uchun chiqarib tashlash qoidalarini aniq ifodalash va ular haqiqatan qoʻllanganini tekshirish kerak.

NULL tuzoqlari

NULL sezgi aytganidek ishlamaydi. Bu nol ham, boʻsh satr ham emas, balki qiymatning yoʻqligi, va u bilan har qanday solishtirish noaniq natija beradi. Modellar odatda bu qoidani biladi, lekin har doim ham qoʻllamaydi — ayniqsa boʻsh qiymatning biznes maʼnosi tushuntirilmagan boʻlsa.

• status <> 'cancelled' filtri statusi boʻsh qatorlarni tashlab yuboradi — holbuki ularni qoldirish kerak boʻlgan boʻlishi mumkin.
• Maydonda NULL boʻlsa, COUNT(*) va COUNT(maydon) turli raqam beradi.
• AVG oʻrtachani faqat toʻldirilgan qiymatlar boʻyicha hisoblaydi; NULL nolga almashtirilgan oʻrtacha — boshqa koʻrsatkich.
• Barcha qiymatlari boʻsh ustun yigʻindisi nol emas, NULL qaytaradi va bu keyingi hisoblarni buzishi mumkin.
• Roʻyxatida NULL boʻlgan NOT IN sharti birorta ham qator qaytarmasligi mumkin.
• Ulushlarda nolga yoki NULL ga boʻlish MBBT ga qarab xato yoki boʻsh natija beradi.

COUNT DISTINCT niqob sifatida

Raqamlar oshib ketsa, model koʻpincha DISTINCT qoʻshishni taklif qiladi. Baʼzan bu toʻgʻri, lekin koʻpincha DISTINCT qatorlar koʻpayishini bir joyda yashirib, boshqasida qoldiradi: buyurtmalar soni toʻgʻri boʻladi, summa esa hamon oshirilgan. DISTINCT ga rozi boʻlishdan oldin takrorlar qayerdan kelganini aniqlang.

Sanalar, davrlar va vaqt mintaqalari

Davr chegaralari — koʻz bilan sezish qiyin boʻlgan jimgina farqlar manbai. Oylik hisobot hisob tizimidan kichik miqdorga farq qilishi mumkin va kunlar boʻyicha tahlil qilmaguncha hech kim sababini tushunmaydi.

• Sana va vaqtli maydon uchun «oyning oxirgi kunidan kichik yoki teng» sharti shu kunning yarim tundan keyingi barcha hodisalarini yoʻqotadi.
• Yarim ochiq oraliq ishonchliroq: oyning birinchi kunidan (kiritilgan holda) keyingi oyning birinchi kunigacha (kiritilmagan holda).
• Agar sanalar UTC da saqlansa, hisobot esa mahalliy vaqtda kerak boʻlsa, kun chegarasi siljiydi va hodisalarning bir qismi qoʻshni kun yoki oyga oʻtadi.
• Sanani oy yoki haftagacha qisqartirish funksiyasi, aniq koʻrsatilmasa, sessiya vaqt mintaqasida ishlaydi.
• Turli MBBT va sozlamalarda hafta turli kundan boshlanishi mumkin.
• Joriy sanaga nisbatan «oʻtgan oy» soʻrov qachon ishga tushirilganiga bogʻliq — muntazam hisobotlar uchun sanalarni aniq berish yaxshiroq.

Yana bir koʻp uchraydigan noaniqlik — qaysi sanani olish. Buyurtmaning yaratilish, toʻlov, joʻnatish va qaytarish sanasi bor. Yaratilish sanasi va toʻlov sanasi boʻyicha tushum — turli raqamlar, va ikkalasi ham toʻgʻri boʻlishi mumkin. Modelga kerakli sanani aniq koʻrsating va buni koʻrsatkich taʼrifiga yozib qoʻying.

Murakkab soʻrovlar: bosqichma-bosqich yigʻing

Soʻrov qanchalik uzun boʻlsa, xato oʻrtada yashirinib qolish ehtimoli shunchalik yuqori. Bitta ulkan soʻrov oʻrniga modeldan uni CTE — umumiy jadval ifodalari orqali bosqichlarga boʻlishni soʻrang va har bir bosqichni alohida tekshiring: unda qancha qator bor, granulyarligi qanday, summalar oldingi bosqich bilan mos keladimi.

Oyna funksiyalari

Reyting, jamlanma yakunlar, oldingi davr bilan solishtirish boʻlinish va saralash qanday berilganiga bogʻliq. Agar mijoz boʻyicha boʻlinishni unutsangiz, jamlanma summa butun jadval boʻyicha hisoblanadi va natija mutlaqo oqilona koʻrinadi. Agar saralash bir maʼnoli boʻlmasa, masalan bir soniyada bir nechta hodisa boʻlsa, tartib har ishga tushirishda oʻzgarishi mumkin.

• PARTITION BY ni tekshiring: u hisob kerak boʻlgan obyektga mos keladimi.
• ORDER BY ni tekshiring: tartib bir maʼnolimi, bir xil qiymatlar yoʻqmi.
• Jamlanma va sirpanuvchi hisoblar uchun oyna chegarasini tekshiring.
• «Birinchi» yoki «oxirgi» hodisa uchun sanalar teng boʻlsa, nima qilishni aniqlashtiring.

Ish usuli

Har bir bosqichga izoh soʻrang: u nima qiladi va bitta qator nimani bildiradi. Bosqichlarni natijani koʻz bilan tekshirish mumkin boʻlgan kichik maʼlumot qismida, masalan bir kun yoki bitta mijoz uchun birma-bir ishga tushiring. Yakuniy variantni oraliq tekshiruvlar bilan birga saqlang: tekshirilgan bosqichlarni qayta ishlatish mumkin, model esa ularni keyingi vazifalar uchun tayyor kontekst sifatida oladi.

Manba bilan solishtirish va nazorat summalari

Asosiy tekshiruv — natijani mustaqil manba bilan solishtirish. Bu hisob tizimidagi hisobot, allaqachon ishonch qozongan yuklanma yoki kichik qismdagi qoʻlda hisob boʻlishi mumkin. Agar oylik yakun buxgalteriya bilan mos kelsa va kunlar boʻyicha taqsimot yigʻindisi ham shu yakunni bersa, soʻrovga ancha koʻproq ishonish mumkin.

1. 01Guruhlashsiz umumiy yakunni hisoblang va guruhlar yigʻindisi bilan solishtiring.
2. 02Bitta aniq obyektni — mijoz, buyurtma, kunni — oling va xom maʼlumotlar boʻyicha qoʻlda tekshiring.
3. 03Boshqa tizimdagi maʼlum raqam bilan solishtiring.
4. 04Chekka holatlarni tekshiring: boʻsh davr, buyurtmasiz mijoz, toʻlovsiz buyurtma, buyurtmasiz toʻlov.
5. 05Agar mavjud boʻlsa, natijani hisobotning oldingi versiyasi bilan solishtiring va har bir farqni tushuntiring.
6. 06Modeldan soʻrovni bosqichma-bosqich tushuntirishni soʻrang va tushuntirishni vazifangiz bilan solishtiring.

Foydali usul — modeldan oʻz soʻrovi qanday xato qilishi mumkinligini oʻylab topishni va tekshiruv soʻrovlarini yozishni soʻrash. U odatiy xavflarni yaxshi sanab beradi, tekshiruvlarni esa baribir siz real maʼlumotlarda bajarasiz.

Odatiy xatolar va har birini qanday ushlash

Model yordamida yozilgan soʻrovlardagi xatolarning aksariyati takrorlanadi. Qisqa roʻyxatni koʻz oldingizda tutish qulay: nima notoʻgʻri ketishi mumkin va bu qaysi tekshiruv bilan ushlanadi.

• Toʻqib chiqarilgan jadval yoki maydonlar — sxemani toʻliq bering; soʻrov «bunday maydon yoʻq» xatosi bilan yiqilsa, modelga oʻrnini taxmin qilishga yoʻl qoʻymang.
• JOIN da qatorlar koʻpayishi — har bir ulashdan keyin COUNT(*) va COUNT(DISTINCT kalit) ni solishtirish.
• Ichki JOIN da qatorlar yoʻqolishi — asosiy jadval qatorlari sonini oldin va keyin solishtirish.
• NULL ga notoʻgʻri ishlov — asosiy maydonlarda boʻsh qiymatli qatorlarni alohida sanash.
• Davr chegaralari siljishi — ikki kun yoki oy tutashgan joyda kunlik taqsimotni manba bilan solishtirish.
• Koʻrsatkich taʼrifini almashtirish — model tushuntirishini yozib qoʻyilgan taʼrif bilan solishtirish.
• Notoʻgʻri sana — filtr va guruhlash qaysi maydon boʻyicha ketayotganini tekshirish.
• Unutilgan standart filtrlar — natijaga test va ichki yozuvlar tushmaganini tekshirish.
• Oynadagi bir maʼnoli boʻlmagan saralash — qayta ishga tushirib, natijalarni solishtirish.
• Javob matnidagi arifmetika — yakuniy raqamlarni model izohidan emas, faqat soʻrov natijasidan oling.

Qachon modeldan soʻrash, qachon oʻzingiz yozish kerak

Modeldan har bir soʻrov uchun foydalanish shart emas. Qaror natijani tekshirish qanchalik osonligi va xato qanchalik qimmatga tushishiga bogʻliq.

• Tanish jadvallarga oddiy soʻrov — model terishda vaqt tejaydi, tekshiruv bir necha daqiqa oladi.
• Notanish sintaksis yoki boshqa MBBT funksiyasi — model maʼlumotnoma sifatida foydali, lekin ishlashini test maʼlumotlarida tekshiring.
• Bir nechta JOIN va oynali murakkab mantiq — tayyor soʻrovni yaxlit emas, reja va bosqichlarni soʻrang.
• Moliyaviy va tartibga solish bilan bogʻliq raqamlar — model qoralama yozishi mumkin, lekin tekshiruv majburiy va soʻrov hamkasb koʻrigidan oʻtishi kerak.
• Bir martalik tadqiqot savoli — xulosa dastlabki deb belgilansa, tezkor variantga yoʻl qoʻyiladi.

Soʻrov model yordamida yozilgan boʻlsa ham, hamkasb koʻrigi foydali boʻlib qoladi. Unga faqat kodni emas, koʻrsatkich taʼrifi, reja va tekshiruv natijalarini ham koʻrsating: shunda u sintaksisni emas, mantiqni baholaydi. Koʻrik uchun yaxshi savol — «bu yerda bitta qator nimani bildiradi va summa nega ikki barobar boʻlib qolmaydi». Agar unga tez javob boʻlmasa, soʻrov hali tayyor emas.

Alohida — maʼlumotlar masalasi. Modelga qator namunalarini yuborishdan oldin kompaniya siyosati bunga ruxsat berishiga ishonch hosil qiling. Soʻrov yozish uchun deyarli har doim sxema va bir nechta anonimlashtirilgan qator yetarli; mijozlarning shaxsiy maʼlumotlari, hisobvaraqlardagi summalar va ish haqlarini kelishuvsiz tashqi xizmatga yuborib boʻlmaydi.

Atamalar

• Granulyarlik — natijaning bitta qatori nimani bildiradi: mijoz, buyurtma, kun, oyiga mijoz.
• JOIN — jadvallarni kalit boʻyicha ulash; ichki ulash faqat mosliklarni qoldiradi, chap ulash asosiy jadvalning barcha qatorlarini saqlaydi.
• Qatorlar koʻpayishi — «birga koʻp» bogʻlanish tufayli JOIN dan keyin qatorlar sonining oʻsishi.
• CTE — umumiy jadval ifodasi, soʻrovning nomlangan oraliq bosqichi.
• Oyna funksiyasi — qatorlarni birlashtirmasdan guruh boʻyicha hisoblash: reytinglar, jamlanma yakunlar, oldingi qator bilan solishtirish.
• Yarim ochiq oraliq — boshi kiritilgan, oxiri kiritilmagan davr.
• Nazorat summasi — ikki mustaqil usulda hisoblanadigan va mos kelishi kerak boʻlgan yakun.

Raqamni yuborishdan oldingi chek-list

1. 01Koʻrsatkich soʻz bilan yozilgan va undan foydalanadigan odam bilan kelishilgan.
2. 02Modelga dialekt, sxema, bogʻlanishlar va noaniq maydonlar maʼnosi berilgan.
3. 03Natija granulyarligi tasvirlangan va noyoblikka tekshirilgan.
4. 04Model avval rejani tasvirlagan va u vazifaga mos keladi.
5. 05Soʻrov bosqichlarga boʻlingan, har bir bosqich bajarilgan va tekshirilgan.
6. 06Har bir JOIN qatorlar koʻpayishi va yoʻqolishiga tekshirilgan.
7. 07Dublikat, test va bekor qilingan yozuvlarni chiqarish qoidalari aniq va qoʻllangan.
8. 08NULL ga ishlov berish koʻrsatkichning biznes maʼnosiga mos.
9. 09Davr chegaralari — yarim ochiq oraliq, vaqt mintaqasi va kerakli sana hisobga olingan.
10. 10Oyna funksiyalari boʻlinish, saralash va chegaraga tekshirilgan.
11. 11Yakun mustaqil manba bilan solishtirilgan, chekka holatlar tekshirilgan.
12. 12Yakuniy raqamlar model matnidan emas, soʻrov natijasidan olingan.
13. 13Soʻrov koʻrsatkich taʼrifi va tekshiruvlar bilan birga saqlangan.

Xulosa

SI tahlilchini sintaksisni yodda tutish zaruratidan xalos qiladi va soʻrov yozishni sezilarli tezlashtiradi. Ammo raqamning toʻgʻriligini hamon inson taʼminlaydi: koʻrsatkichning aniq taʼrifi, granulyarlik nazorati, JOIN, NULL va davrlarni tekshirish, manba bilan solishtirish. Bu tekshiruvlarni odatga aylantiring — shunda model chiroyli xatolar manbai emas, ishonchli vositaga aylanadi.