select A, B, sum(1) as Cnt from tbl group by A, B order by Cnt desc limit 10;

A и B - varchar(50)
Пробовал ставить индекс на A и B, даже FULLTEXT пробовал. 20 секунд.
База 600000 строк

У тебя сортировка в запросе.

какаято ерунда с limit

нужно либо group by либо  limit

обернуть в вложенный запрос.

(0) в любом случае будет скан, что ж ты хочешь?

А если поместить во временную таблицу с индексом а потом уже сортировать?
Что скажет тогда план выполнения?

(4) Фулл скан как уйдёт?

(5) А зачем он?

(1) Так мне она и нужна
(2) "select А, Б, С from (select А, Б, sum(1) as С from тбл group by А, Б) aa order by С desc limit 10"
Так? Ещё дольше. 25 секунд
(3) То есть выполнять такой запрос онлайн не вариант?

(6) В запросе нет условий на таблицу, нет соединений - значит нужны все данные, значит нужен тэйбл скан.

Группировка происходит долго - 99% времени. Как обойти?

ну прежде всего нужно понять, что ты хочешь получить с этим limit

Если так как я понял - 10 самых распространённых сочетаний разных A,B, то от долгой группировки не уйти, либо использовать вспомогательную таблицу

(9)
сделайте как в 1с  факты ->  агрегаты

и читайте агрегаты

(9) навесить триггер с обновлением другой таблицы в фоне

(13)+ в другой таблице хранить нужный разрез

(4) Время создания индекса равно времени сортировки.

поставь условие перед сортировкой, cnt>1

(16) тут да,  сортировать надо будет меньше. Но (3)

Скан - линейное время, сортировка результата - N lnN в сотню раз дольше.

(18)->(9)

главное чтоб и на А и на B был индекс.

(19) А это очень странно и не похоже на правду.
Сгруппировать по индексу это быстро.

Да, тут промашка
Нужно что-то математическое применять :)

(21) может у него 100 результатов всего

после группировки

Тогда индекс по двум полям добавить.
(23) Но мы же этого не знаем. :)
Но группировка 600000 знаечний не может занимать 20 секунд, если используется индекс.

значит вопрос, сколько оно выполняется без сортировки и лимита

и сколько там строк

а для чего sum(1)? count(*) в этом SQL нету?

Пробуй сначала
DISTINCT A, В
Потом COUNT
Потом FIRST 10

База выросла до 2,5 млн
Запрос этот же выполняется за 114 секунд.
И я погорячился про группировка - когда тестировал без группировки, оставил лимит.
Индекс стоит на А и Б в режиме FULLTEXT


(28) А какая разница?
(29) Одинаковых А и В нет (комбинаций)

(30) один обычный индекс на два поля

(30) Составной индекс пробовал делать?
Что значит нет одинковых комбинаций? Что у тебя тогда сортировка делает? Единицы сортирует?

(31) Пробовал, в шапке есть)
(32) Это я к (29). Предлагали DISTINCT к A, B добавить
Индекса всего три - A, B, А и В. Везде FULLTEXT. На A и В пробовал обычный ставить. Попробовать на А и В?

(0),(30) Слишком долго для таких маленьких объемов. Что-то не так с базой. Может диск тупит. select count(*) сколько?

(33) попробовать убрать сортировку.

Нужен нетривиальный подход
Как ни крути все одна хрень
Упорядочивание портит

Да блин, от тс не добиться результата без сортировки. Утаивает.

Выбирал из 300000.
С сортировкой: 10 секунд
Без: 10 секунд

Без группировки: 0.4
Без группировки с сортировкой по А: 0.6

(39) Группировка всегда дает сортировку.
Попробуй вот так.
select A, B from tbl group by A, B
order by null;

При этом с составным индексом.

Ну а что тут удивительного - запрос - полный скан таблицы, почему бы ему долго и не выполняться ?
На некоторых SQL-системах запрос SELECT COUNT(*) FROM [TableName] оказывается очень длительным.

(40) В (38). Да, сортировка за даром происходит

(43) Не за даром. она происходит в любом случае.
попробуй (40)
(42) Но не в его случае. У него выборка быстрее секунды. см. (39)

А в (39) Идет сортировка по индексу.

(44) Попробовал отсортировать по null. Те же 10 секунд

Тогда значит тормозит группирвка, не хочет использовать составной индекс.

Спасибо и на этом!
Буду пробовать)

Хотя пишут что должна использовать составной индекс.

Я составной не пробовал ставить в INDEX (стоит в FULLTEXT).. Сейчас попробую

Как только базу починю)) Вдруг начал выдавать при записи, что основной ключ не уникален.. А на нём автоинкримент стоит.. Весело)
http://www.softwareprojects.com/resources/programming/t-how-to-fix-mysql-duplicate-entry-for-key-primary-o-1844.html

Толку ноль.. Может надо группировать по имени индекса?)

(52) попробуй
select A, B from tbl FORCE INDEX (А_В) group by A, B
order by null;
Где A_B - твой составной индекс

И
select A, B from tbl FORCE INDEX (А_В) group by A, B
order by A, B;

Если у тебя сочетания А+В уникальные, тогда можно так - индекс только по А, сначала получаешь 10 первых А, а потом добавляешь все B по каждому А.

Типа
select * from (тут собираешь твои А) as temp inner join ...

NS, + 1. Нужен составной индекс и нужно смотреть на данные.

DirecTwiX, для вас похоже будет оправдан следующий алгоритм

Select Left(A, 4), Left(B, 4) inser into tb2 from tbl group by Left(A, 4), Left(B, 4) order by Cnt desc limit 10;

Select t1.A, t1.B From tbl t1 join tbl2 t2 On t1.a = t2.a And t1.b = t2.b group by t1.A, t1.B order by Count(t1.a) desc limit 10;



 



ЗЫ А что ожидаем то? Если сравнение происходит за один такт, то для 600 0000 оценочное время от 2 секунд. А varchar(50) за один такт не сравнить.

Итак. Вынес A и B в отдельные таблицы - тут оставил только Id, 3млн записей. Группирую по тем же А и В, только не по строкам, а по id. 60 секунд.
Добавил индекс на эти два столбца - 1 секунда =)

(58) Не потерялось ли решение в этих действиях?
Что такое id и как они нумеруются?

(58) Ну вот, теперь составной индекс заработал.

(60) Да, видно. Но всё равно не понимаю, почему тогда не работал вообще никакой индекс..
(59) Нет, всё норм) ID - число, автоинкримент
Было
A B
Иванов Вася
Петров Вова
Стоа
А В
1 1
2 2
Т.е. вынес строки через ID в отедльную таблицу

Стало*

Заодно хочу спросить.. Если есть сотавной индекс на А и В, он будет работать при группировке А или В по отдельности?

(62) При группировке по А - будет. По B - нет.

(63) А как определить по какой будет? Которая первая стоит? Глупость, имхо

(64) При чем тут глупость?
Составной индекс. В первой и второй колонке число от 1 до 4.
11
12
13
14
21
22
23
24
Попробуй сгруппируй или отсортируй по нему по второй колонке. Или сгруппируй в порядке B,A.

Думал, что вдруг составной - это два одинарных.
Спасибо

(66) Нет, составной это не два одинарных. А два одинарных это не составной.