Дня доброго.
Наблюдаю колоссальное падение производительности ТаблицуЗначения начиная с платформы 8.3.12.

Есть одинаковая конфигурация, запускаемая под 8.3.12 и выше:
https://yadi.sk/d/oBAAKoaDA2gq9g
и под 8.2.19:
https://yadi.sk/d/NyE1ADo1NytrqQ

В конфигурации - одна обработка "ПроверкаПроизводительности".

Код ориентирован на 2 метода
Свернуть()
Индексы.Добавить()

Замер под 8.2.19:
http://prntscr.com/rwbz62
Замер под 8.3.12:
http://prntscr.com/rwbzl4

Прошу подтвердить.

Проверил на удаленном сервере, ситуация с 8.3.12 воспроизводится.

Ну и собственно, с 8.3.15 тоже

Продолжай наблюдения... Очень важно.
Данные результатов в бутылку и в речку

Ловил подобное, но потом пропало. хз что это.

8.3.10 не тормозит.

(0)Ёжики, не могу воспроизвести , извини.

(6) не воспроизводится? Или нет возможности?

8.3.11 тормозит.

Значит, говорите, легко и успешно перешли на C++14
https://habr.com/ru/company/1c/blog/429678/

(7)Есть возможность.Но у меня рабочий день закончился.:-)  Но я сочувствую твоим опытам.)

файловые
12/20/15/18
11/24/5977/911 -16я
11/24/8500/1341 -загружена из дт 82 в 83

8.3.15
Свертка идентификаторов выполнена за 12
Индексация идентификаторов выполнена за 20
Свертка справочников выполнена за 4 525
Индексация справочников выполнена за 1 084

Вы как бэ можете стебаться, но ядрышки обычно в системах одинаковые. И если тормозит ТЗ, то это тормоза ядрышка, и только вот то, что мы можем замерить тормоза ТЗ - мы можем потом идти на партнерку с этим.

(11) Попробуй на 8.3.10

Всех пока соберешь- поседеешь два раза.

(13) Не, под рукой нет.

(13) ты так бугуртишь что я проверил.
переписал строку
        НоваяСтрока.Позиция=Выборка.Позиция.УникальныйИдентификатор();
получил результаты равные на любой платформе.
соль не в ТЗ, а в том как они работают со ссылками.

(21) И как мне UID поможет в дальнейшей работе? С UID -ом то все в порядке, я не зря первый тест делаю с ними.

(21) Ты получил разные результаты на 8.3.10 и 8.3.12 с ссылками?

(22) ну ты бугуртил на ТЗ - я тебе показал, что проблема не в ТЗ.
давай бугуртить в другую сторону.
(23) плюс-минус 1-5

(23) ой, ну в смысле со ссылками да, по разному работает.

(25) По разному - это десятки миллисекунд в 8.3.10 и несколько секунд в 8.3.12 ?

(26) https://its.1c.ru/db/v8std#content:781:hdoc

(26) тактошно!

(30) Мимо. У нас не сортировка, а свертка и индексирование. Профайлер то я первым делом запустил, обращений к BD нет

(30) Это было еще тогда, когда не было мейстримом.
А вы уже добавили в метод ТаблицыЗначений Сортировать() 2-ой параметр?

+(11) при явном задании типа колонки проблема не исправляется

(34) Нет

(35) Это не вопрос был, проверил тоже.

Затести свертку ещё на ТЧ, интересно

хм..
"В тех случаях, когда для таблицы значений применяется сортировка по колонкам, содержащим ссылочные значения, необходимо учитывать, что при этом для каждой из этих колонок для всех строк таблицы значений системой будет выполнено обращение к информационной базе за представлением этой ссылки."
- а что, как в 7.7 - нет возможности?
ТЗ.Сортировать("Контрагент,Номенклатура") - это по представлениям
ТЗ.Сортировать("Контрагент*,Номенклатура*") - это по "внутреннему представлению" (то бишь по идам-ссылкам)

(37) Указать 2 параметром Новый СравнениеЗначений()

(0) внешней обработки нема для теста ? Лень базу разворачивать

(32) мимо, да не мимо. это прямой указатель на то, как они работают со ссылками. то что педали управления этим процессом приделали только к сортировке, а свертку и индекс прошляпили - это да.
странно, а более 1300 "принято" в сим процессе. может ты профайлер не туда подключаешь? или где-то отсеял тот тупорогий запрос полей представления?

(39) тут надыть толстый справочник, с тыщщами записей выбрать в твоей БД.
можно конечно, по метаданным собрать все справочники и взвесить их при создании формы, и под кнопку замера спрятать нужные имена таблиц.

(40) Ну ты видишь эту портянку запросов к представлениям?

(42) я в файловой посидел и увидел, остальное лень и тлень.

(43) Что ты в файловой увидел? Сколько байтиков считано с диска?

(39) Давай ты глянешь, скажешь чето вменяемое, да я напишу на партнерку.

Такая же фигня с методом Скопировать()

(44): а такой вопрос. на более свежем релизе. если при свертке и индексировании профайлер не показывает обращения к БД - то что этот же профайлер покажет при сортировке?
(ну т.е. если он и при сортировке не покажет обращений - а суслик, все-таки, согласно указаниям партии, есть - значит твой профайлер прикручен куда-то не туда или не так и его "отсутствию обращений" при свертке и индексировании верить низзя))

Вот трасса без Сортировать()
http://prntscr.com/rwdxgh
Вот трасса с Сортировать()
http://prntscr.com/rwdxgh

(47) Указания партии относятся только к Сортировать() и были актуальны много лет назад, еще на 2014 год точно, а скорее всего на время 8.1.

(48): трасса без сотировать - кривой линк (404)

ЗЫ: ты словами скажи насчет обращений в двух случаях - где есть где нет.

https://prnt.sc/rwdxgh

(51) Когда мы делаем Скопировать(), Индексы.Добавить(), Свернуть() - никаких обращений к БД нет (да и не может быть). Но с 8.3.11 (уточнил точку перехода) идут тормоза на 2 порядка в сравнении с 8.3.10.

Вот в ветке
ansh15
palsergeich
и всем лень скачать 8.3.10, печально.

Еще и Миста криво ссылки вставляет :-)

(54): "Л"(логика)
1. твой профайлер показывает, что при сортировке ТЗ по колонке со ссылками на объекты данных обращение к БД не выполняется.
2. в (30) по ссылке разработчик уверяет, что при сортировке ТЗ по колонке со ссылками на объекты данных для каждой строки выполняется обращение к БД.
итого: или а) профайлер показывает некорректную информацию, или б) разработчик всем нам (и не только нам) врет.
с результатами твоих замеров более согласуется версия "а". т.е. и при свертке с индексированием отсутствие обращений к БД в твоем профайлере также не соответствует действительноси, и информация разработчика по ссылке в (30) касается не только сортировки, но и свертки и индексирования...

(56) Смотрим в книгу, видим фигу.

(56) Вот трасса без Сортировать()
https://prnt.sc/rwdxgh

никаких обращений к БД нет.

Все, пардон, 2 ссылка - копия первой. Криво скопировал

Вот верная ссыль
http://prntscr.com/rweb3k

(57): самокритично.
ты опускаешь то, что в качестве исходной посылки я использовал твое утверждение о том, что твой профайлер показывает отсутствие обращений к базе данных и(!) с(!) "Сортировать()"... попробуй по слогам (56) перечитать что ли...
и - извини, но и ночь, и твои попытки уничижительно общаться не способствуют дальнейшему диалогу.. да и добавить мне на данный момент вроде нечего.
так что - удачи.

(61) Lentius, Peius, Aliter

(54) Могу еще больше опечалить. На 8.3.14-8.3.17(все последние) результат почти такой же(немногим меньше), как у тебя на картинке с 8.2.19
Компьютер один и тот же, CentOS 7, PostgreSQL 11.5-19.1C. Клиент как на Linux, так и на Windows, тест запускался по нескольку раз.
Проверить на MSSQL нет технической возможности...

(63) У меня воспроизводится на домашней тачке под Windows10 2018 года и на 2 серверах клиентов (Win2016 с последними апгрейдами)

да. какая-то жопа. у меня тесты методов по объединению тз  работают раз в 10 медленнее на 8.16 по сравнению с 8.9

(64) проверил на скуле, да есть замедление и огромное..

Интересно. А там внутре работа с ТЗ исключительно на сервере или на форму тоже какие-то подвязки есть?

Ох ты, ух ты. Мда... Странно что столько лет это оставалось незамеченным.

8.2.19.130
Свертка идентификаторов выполнена за 15
Индексация идентификаторов выполнена за 26
Свертка справочников выполнена за 26
Индексация справочников выполнена за 27

8.3.13.1926 и выше
Свертка идентификаторов выполнена за 22
Индексация идентификаторов выполнена за 35
Свертка справочников выполнена за 16571
Индексация справочников выполнена за 2115

(68) Да потому что 1С традиционно плевать на производительность базовых языковых конструкций, уверен что у них даже тестов на этот счет нет. Ибо традиционно 99% узких мест производительности типичного приложения 1С приходится на работу с БД.

Такая же фигня с Соответствиями.
Поломали индексирование.

Самое забавное, что это вылезло через несколько лет.

Зато теперь появилась надежда на резкое увеличение производительности.

8.3.9.2233
Свертка идентификаторов выполнена за 9
Индексация идентификаторов выполнена за 14
Свертка справочников выполнена за 15
Индексация справочников выполнена за 14
8.3.17.1306
Свертка идентификаторов выполнена за 8
Индексация идентификаторов выполнена за 16
Свертка справочников выполнена за 5 572
Индексация справочников выполнена за 1 504

По всем признакам - поломали индексирование.
Но.
ТЗ.Свернуть() я выполняю для неиндексированной таблицы.
Из чего я делаю вывод, что, ВОЗМОЖНО, при выполнении метода Свернуть, платформа строит Индекс для таблицы, не показывая нам.
Тоесть, использует поломанное индексирование для внутренних своих дел.
Ядрышко одно и ВОЗМОЖНО, это поломанное индексирование используется во многих механизмах, просаживая производительность новых платформ, но не позволяя нам ничего доказать, как ни собирай ТЖ десятками.

+(68) 8.3.3.641 - скорость в норме.

(70) Какое еще индексирование? Соответствие на хэшах.

(75) Значит хешфункцию поломали, которая возможно инспользуется в индексировании.

(74) С 8.3.11 началось
https://habr.com/ru/company/1c/blog/429678/
"Шаг за шагом мы двигались вперед, и к весне 2017 (версия 8.3.11 1С:Предприятия) миграция была завершена."

Значит, клюшки стали еще быстрее снеговика, чем были до этого :))

Так а почему отвергли мысль о том, что замедление произошло из-за того, что сравнивать стали не идентификаторы, а представления?
Из-за того, что не увидели обращений к БД?

(79) Свертка по представлениям? Как вы это себе представляете? Это был бы еще больший фейспалм. Так как сломало бы не только производительность но и бизнес-логику.

(79) Имхается там при добавлении ссылочных типов в колонку автоматом дергается и добавляется представление еще.
И затем идет проверка на тип и если ссылочный то работаем по представлению.

(80) Свертка идет по Ссылка(строка уид)+Представление(строка)

(82)+ Потому что строка уид (которая ссылка) вполне может дублироваться/повторяться для разных метаданных

(83)+ ну возможно там еще Метаданные+Ссылка+Представление

(77) А не думаешь что наоборот багу исправили (свертка только по ссылке) и да оно стало тормознее?

(82) То есть свертка все-таки по ссылкам, что и требовалось доказать. Могу допустить, что представление сохраняется для возможности последующей сортировки по представлению без обращений к БД.

(86) Не просто по ссылкам а еще МетаданныеОбъекта нужны

Гариком, не засирай ветку своими фантазиями.

Никакого представления нет, можно пройти выше и посмотреть скриншоты трассы для Свернуть

И не ПЕРЕПУТАТЬ со скриншотами трассы метода Сортировать(), а то я вас знаю.

(89) А что в трассе при заполнении ТЗ ? Когда ссылочный объект в поле ТЗ пишется?

(88) А ведь он прав. Если заменить ссылки на справочник на просто гуиды, то все отрабатывает быстро.
Значит дело таки в представлениях.

(91) https://prnt.sc/rwdxgh

(92) Ну ты скачай тесты. Просто GUID-ы, длинные строки, числа сворачиваются нормально.

(92) Там не только представления, там все сильно сложнее со ссылочными.
Ссылка содержит метаданные и сам гуид, вероятно для ТЗ еще представление запихнули как то

(95) Расскажи мне, как в (93) платформа узнает представление ссылки?

(96) Из серверного кэша представлений?

Игорь, запусти профайлер, собери трассу при создании ТЗ. Сделай пересадку.

(97) Епстественно мне пришла такая мысль и я проверял на непрогретом сервере 1С.

(99) Ну откуда-то он же должен в конце-концов их получить для сортировки ТЗ по представлениям?

(100) Речь идет про Свернуть()

(101) Ну дык а если после Свернуть вызвать Сортировать - в БД за представлениями лезет или нет?

(101) у одного объекта несколько внешних методов могут наследовать один и тот же базовый метод?

(85) Ну может и починили какую то ошибку, но в тесте 20000 записей, у меня получается 0.9с на запись при свертке.
Это слишком хардкорная починка. Диск во время теста, судя по монитору, не задействован очень слабо.
В sql надо бы посмотреть, лезет или нет.

(102) Епстестенно лезет.
Вы хоть ветку почитайте.

Файловая версия.
Windows 7, платформа 8.3.14.1993 - 16/16/5554/874
CentOS 7, платформа та же        - 5/12/17/16
Компьютеры одинаковые.
Будет забавным, если на вопрос "Почему так?" ответом от разработчиков будет "А так и планировалось".
Хотя, скорее всего, простой недочет.

(105) Тогда согласен. Нет оправданий. Что-то явно перемудрили.

(104) Во, посмотри. А то тут Гарри эразмы пишет.

(80) да, каюсь, не написал что я про сравнение величин с целью упорядочивания
А свертка начинается с упорядочивания

(106) Написал на партнерке, отправили ~~прямо в ад, на№;%~~ на почту техподдержки. Посмотрим, что ответят.

(106) Это потому, что на Windows приходится результаты 300 раз перепроверять и принимать среднее.

Мдааа .. еще  раз убеждаюсь  штааа скуль для  людей .  И  профайлер  смотрю пригодился .   А  как жо  ЦУП и настройки XML  .... непорядок.

Тогда  вторая серия  нужна ..... кейсы  для  постгри ... и портянки ЦУП

Ubuntu 18.04 1C 8.3.16.1296
Свертка идентификаторов выполнена за 3
Индексация идентификаторов выполнена за 7
Свертка справочников выполнена за 5
Индексация справочников выполнена за 5

(109) Только чтобы свернуть по ссылкам, надо и упорядочивать по ссылкам. Ну и лично мне ТС доказал, что разумных объяснений такому поведению быть не может. Явно какая-то накладочка у разрабов вышла.

(106) (114) Вот что происходит, когда среди гиков-разработчков становятся популярными экзотические операционки...
Все зло от UNIX

(78) Попробуй на клюшках свернуть 100500 строк...

(106) Ответ будет "В целях унификации" :)

P.S. А может это meltdown вылез...

(116) В кои-то веки что-то хорошее сделали для Linux :)
Ну, поломали в Windiws, да... Лишь бы наоборот не починили.

(118) >>  meltdown
Но не в сотни же раз.
Помнится, писали о 20-30% и обещали улучшать.
Хотя у меня в ядре установлены nopti и т.п.

(117) легко ))
    ТекстЗапроса = "
    |select top 5000
    |    id [Номенклатура $Справочник.Номенклатура]
    |from $Справочник.Номенклатура (nolock)
    |";
    рс = СоздатьОбъект("ODBCRecordset");
    РезИТ = рс.ВыполнитьИнструкцию(ТекстЗапроса, СоздатьОбъект("ИндексированнаяТаблица"));
    
    Пока РезИТ.КоличествоСтрок() < 150000 Цикл
        РезИТ = рс.ВыполнитьИнструкцию(ТекстЗапроса, РезИТ, 0);
    КонецЦикла;
    
    Сообщить("Количество строк " + РезИТ.КоличествоСтрок());
    Таймер = СоздатьОбъект("Таймер");
    Таймер.Метка();
    РезИТ.Свернуть("Номенклатура*", );
    Сообщить(Таймер.Метка());


Количество строк 150000
00:00:00.067

Сорри за офтопик

(120) Если для получения каждого байта переключать контекст со сбросом кеша ЦП (а 1С любит по байтам к тем же файлам обращаться без буферизации), то и тысячи раз могут быть.

(121) Это не клюшки. И не ТЗ ;)

(123) авторы 1c++ сильно удивятся, когда узнают, что написали ВК не для 7.7

(123) 1c++ это неотделимая часть клюшек. разве нет?..

(110) Ссылку-то напиши

(126) Она легко ищется: https://partners.v8.1c.ru/forum/topic/1904161
> Цитата из Правил форума:
> Форум не является ресурсом для разбора и регистрации ошибок.

(127) А Михаил из Алкосферы это кто?

(128) А я то откуда знаю? Но не я. Это точно!

(128) вероятно, коллега Ежова.

И я правильно понял что если надо свернуть очень много ссылочных то есть смысл из одной колонки сделать две и свернуть по двум колонкам?
Было
СправочникСсылка

Делаем
СправочникСсылка.Метаданные() | СправочникСсылка.УникальныйИдентификатор()

И сворачиваем отдельно, а потом восстанавливаем ссылочные

Никто не хочет затестить?
И оценить накладные расходы на туда/сюда?

(131) тогда уж лучше ТипЗнч

(131) Я Свернуть() уже обошел через создание уникальной таблицы через Соответствия.
Меня больше напрягает Индексирование.

(131) Да.Это работает.Вчера самостоятельно пришел к этому же.Ускорение на порядок.

8.3.15.1565 клиент-сервер с MS SQL

Свертка идентификаторов выполнена за 16
Индексация идентификаторов выполнена за 31
Свертка справочников выполнена за 7 625
Индексация справочников выполнена за 1 453

ссылка - не синглетон ли?
при создании получаем представление,а при сравнении тупо его используем.
вопрос-при одинаковых представлениях свернет оба?

(131) А через запрос не быстрее?

(136) Слов то мудренных понапридумывали.
Нет в ссылке представления

Сможешь зависимость от количества посчитать?

Кстати попробуй проверить по нескольким колонкам

Ссылка вс тип и гуид

(139) Мне лень. Там уже вместо дежурного сотрудника ("ваша проблема очень важна для нас") проблемой заинтересовался более серьезный товарищь и я думаю, проблема в надежных руках.

(138) ну,логичнл бы его было там хранить,и один обьект ссылки на всю систему.
если представление в ссылке не хранить,то это не реализация,а маразм.

(143) Дичь пишите.
Ссылка - ссылка.
Представление - предсталение.
И не нужно их смешивать.

(114) я давно говорил, что на Лине 1с летает

не забываем также,что у ссылки есть методы получения данных обьекта и его поля,так что там не все так просто,как кажется,а представление,это перегрузка toString,по совести говоря.

(146) И что там непростого?

Ну и ***** эта ваша 1с....

)))

Действительно, тормозит. "Веселые" у них шутки.

(142) это говорит о том. что кто разрабатывает - вообще не имеют понятия о том как это используется? сфера. вакуум. конь. ;-)

(150) Скорее, это говорит о том, что они переползли на unix-системы, есть такое моровое поветрие в ИТ сообществе. Ну и о упоротости сообщества, что это заметили через несколько лет, несмотря на могучую поддержку ЦКПТ и прочие красивые слова.

(151) Сообщество уже давно упоролось в запросы, код писать не умеют в массе

(147) если,вдруг,ссылка не сиглетон,то сравнение двух одинаковых ссылок-нетривиальная операция,обьекты в памяти разные,но должны быть равны.то есть перегрузка сраанения и повод для тормозов на пустом месте.

(152) кстати кто мешает тз прредать параметром в запрос и пусть субд думает над order by и group by

(154) Insert в цикле мешает.
(153) Ничего нетривиального. Сравнить типы и значения UID

(155) сначала runtime type identification,и только потом выход на функцию сравнения,которая сравнит поля обьектов.

(156) Пфф, в 1С везде runtime type identification

(157) ну,в любом обьекте в начале таблица виртуальных функций,как бы это и есть идентификатор типа.
если кто-то додумался функцию сравнения разместить в этой таблице,то все быстро,но штатно,Си++так не умеет-он перегрузку подставит только если типы явно заданы или ввзовет перегркзку для бахового типа Object.

Я когда Си++ в Си перегонял,у меня появлчлась возможность дописывать в таблицв виртуальных функций все,что я хочу,а вот в родном Си++ это нереально.

(153) Спасибо тебе огромное, что ты платформу не пишешь!

Воспроизвелось.

Интересное наблюдение.
Если заполнить таблицу ссылками, которые не считывались из БД, то проблемы нет

    Таблица=Новый ТаблицаЗначений;
    Таблица.Колонки.Добавить("Позиция");
    Для Счетчик=1 По Количество Цикл
        НоваяСтрока=Таблица.Добавить();
        НоваяСтрока.Позиция = Справочники.Справочник1.ПолучитьСсылку(Новый УникальныйИдентификатор());
    КонецЦикла;

(161) но обращений к БД нет.

(161) Да уж, интрига закручивается.
(162) А ошибку официально зарегистрировали?

(163) пока нет, выходные же.

(161) а если так

НоваяСтрока.Позиция = Справочники.Справочник1.ПолучитьСсылку(Выборка.Позиция.УникальныйИдентификатор());

то производительность методов ТЗ все равно деградирует.

(165) Если бы 1С можно было бы так ускорить, костылестроений вышло бы на новый космический уровень)))

(165): а если (ценой накладных расходов, конечно) сделать то же самое но через промежуточную "развязку" в текстовой переменной (в которую сначала загнать строчное представление уид, а уже из этого текстового представления - перерего в уид-тип и получение по нему ссылки, присваиваемой полю(колонке)?..

Все. Ошибку воспроизвели, будут разбираться.

https://youtu.be/2zn0qfWlRL8

https://bugboard.v8.1c.ru/error/000066624

(168) Жму краба. Полезное для всех дело сделал.

(168) разберуться ли.. и как скоро...

(170) Главное, в какую категорию это попадет. Есть ведь "Не ошибка" :)

(172) В 8.3.20 :)

(162) - но обращений к БД нет.
- а если найду?..
))

(175) Найди

+(170) > Исправлена: "Технологическая платформа", версия 8.3.17.1032 (для тестирования)

Это как? Сейчас тестовая 8.3.17.1386, в не исправлено... Чудеса.

(177) Это косяк в багтрекере. Сначала там было указано 8.3.18. Версия 8.3.17.1386 вышла до разбора ошибки. Поэтому в ней и более старых она не может быть исправлена.

Хммм. 8.3.15 и 8.3.16 обойдут щастем?

(178) если они подход к работе со ссылками поменчли,то ошибка может не проявляться,и они радостно написали,что исправили,хотя,может,наоборот,еще все ухудшили.

Исправили публикацию ошибки. Похоже все таки исправили в 8.3.17.1386, которая вышла после начала расследования, но до публикации ошибки.

(181) Ничего они не исправили.
https://gyazo.com/6ca77266734b7e9f2f809c94ef64d97b

(182) Режим совместимости ?

Там в тестовых висят 8.3.14, 8.3.15. Надеюсь, в них поправят.

(183) Отключил - без изменений.

Это печально.

(186) Это не печально, это полное свинство.

(187) "Ваше обращение зарегистрировано"

У (0) зарегистрировано HL-148143, зачем создавать новое?

(0) 8.3.17.1469
Индексация идентификаторов выполнена за 31
Индексация справочников выполнена за 30
Свертка справочников выполнена за 34
Свертка идентификаторов выполнена за 19

(190) Хурра!

(190) А теперь проводим такой же эксперимент с Соответствием и если видим провал - идем жаловаться БГ.

В списке исправленных ошибок этой сборки нет нашего бага.

(193) Зайди на партнерку, плиз.
А то они совсем там...

(193) И вчитайся, плиз, пристально в мой лейбмотив.

ну и в итоге? обновил платформу, всё полетело?

https://coub.com/view/11vne8

теперь еще дожить когда эта сборка из теста выйдет.