Repost. It was originally posted on 2017-11-28.

“Және”. Ия, қазақ тіліндегі ең танымал сөз - “және”. Бұл қазақша уикипедияны анализ жасағанда белгілі болды.

Өткен аптада youtube-те Ципф заңы тұралы видео қараған болғам. Ципф заңы айтады: берілген көп сөздердің жиынтығында, сөздердің жиілігі олардың рангіне кері пропорционалды болады. Мысалы, кез келген кітаптағы сөздерді қолдану жиілігі бойынша реттесе (1-ші орныда ең көп қолданылатын сөз), кез келген N-інші сөздің жиілігі шамамен 1/N болады.

Енді маған қызық болғаны, бұл заң қазақ тіліне істейдіме екен. Ол үшін мен қазақша уикипедияны өзімнің компьютеріме жүктеп алып, ақырындап зерттей бастадым. Архив 644 мегабайт және онда 224'285 артикль болды. Архивте тағы да әрбір артикль үшін popularity_score өрісі болды, бұл артикль қаншалықты әйгілі екенін білдіреді. Қызық информация, қарап көрсе болады.

Маған енді бұл архивтен арбір сөздерді шығарып алып, олар қанша рет қолданатынын санау керек. Ол үшін мен кішкентай питон скрипт жаздым. Скрипт архивтен барлық тексттерді щығарып алып, оларды бос орын арқылы бөледі, одан сөздер шығады. Мен сөздердің барлығын кіші әрепке айналдырдым. Қарап отырсаңыз, бұл өте қарапайым метод, мен мұнда қазақ тілінің таңғажайып грамматикасын қолдынбадым. Яғни, “кітап”, “кітаптар”, “кітапты” сөздері әртүрлі сөз болып есептеледі.

Ал енді сіздердің назарларыңызға қазақ тіліндегі ең көп қолданылатын сөздер:

РангСөзЖиілігі
1және387'030
2су229'392
3бойынша214'184
4км162'367
5мен156'845
6жылы128'731
7коды125'157
8мемлекеттік121'834
9өзен120'644
10мәліметтер107'559
11орналасқан105'934
12жер104'348
13қазақ98'842
14бұл97'775
15саны92'779
16191'432
17алматы85'599
18тұрғындарының82'442
19200678'882
20insee77'758

Осының графигін салсақ, келесі сурет шығады:

Мұндағы көк нұктелер - жоғарыдағы сөздер, ал сарғылт сызығы y = 1/x формуласы. Мен мұнда 20 емес, 100 сөздерді қолдандым.

Қарап отырсақ, қазақ тіліндегі сөздер Ципф заңына сәйкес келеп тұрған сияқты. Және де мұнда мен сөздерді стемминг немесе лемматизация жасамадым. Және көптеген жарамсыз сөздерді алып тастамадым.

Жоғарыда popularity_score өрісі тұралы жазған болғам. Ал енді қазақша уикипедиядағы ең танымал артикльдерді көрейік:

  1. Басты бет
  2. Шоқан Шыңғысұлы Уәлиханов
  3. Спандияр Көбеев
  4. Абай Құнанбайұлы
  5. Ахмет Байтұрсынұлы
  6. Ыбырай Алтынсарин
  7. Мағжан Жұмабай
  8. Түркістан (қала)
  9. Айтыс
  10. Абылай хан

Менің түсінгенім бойынша popularity_score өрісі соңғы аптадағы беттерді ашу пайызын санайды.

Енді сіздер қазақ тіліндегі ең атақты сөзді білесіздер. Қазақша уикипедия жас болса да, ақырындап дамап келе жатқаны көрініп тұр. Енді қызығы, Қазақстан латын алфавитіне көшкенде ол қаншалықты тез дамиды екен.