Как отремонтировать паркет: ремонт самого распространенного напольного материала в Германии — neubau kompass

Когда паркетные колонны становятся слишком большими

Эта статья предназначена для инженеров, которые используют Apache Parquet для обмена данными и не хотят неприятных сюрпризов.

На самом деле заголовок выше неверен. На самом деле это должно читаться «Когда возникают ошибки целочисленного переполнения», но мы придем к этому. Этот пост посвящен файловой структуре Parquet, что в ней особенного, хотя и не уникального, как пользователи формата Python/Pandas могут захотеть настроить некоторые параметры и как Vortexa помогает открытому исходному коду.

Что такое Паркет?

Apache Parquet — это столбчатый формат файла. Обычные файлы, к которым мы привыкли, такие как текстовые файлы, CSV и т. д., хранят информацию по одной строке (или записи, если хотите) за раз. Это легко концептуализировать, и у него есть некоторые преимущества, но также есть преимущества в повороте этой модели и хранении данных столбец за столбцом. Чтобы объяснить их, нам нужно сначала погрузиться в структуру.

Файл паркета устроен так (с некоторым упрощением):

• Файл заканчивается нижним колонтитулом, содержащим индексные данные о том, где в файле можно найти другие данные.
• Файл разбит на группы строк, которые, как и следовало ожидать, содержат группы строк.
• Группа строк содержит информацию о каждом столбце набора строк.
• Каждый столбец содержит метаданные и данные поиска в словаре, а также данные для определенного отдельного столбца для количества строк, хранящихся непрерывно.
• Сами данные столбца разбиты на страницы. Страницы неделимы, т.е. должны быть полностью декодированы при доступе к ним, и к ним может применяться сжатие.

На приведенной выше диаграмме показано, как это вложено, при этом подробности о последующих группах строк, столбцах и т. д. опущены.

Так зачем идти на все эти проблемы?

• Данные для данного столбца хранятся вместе — вероятно, многие значения похожи, и эта структура обеспечивает гораздо лучшее сжатие данных.
• При чтении файла нужно читать и декодировать только те столбцы, которые нас интересуют.
• Столбцы содержат метаданные со статистикой по их содержимому — мы можем пропустить данные, которые, как мы знаем, нас не интересуют — известные как предикаты выталкивания вниз.

Все это означает меньше операций ввода-вывода и более быстрое чтение данных за счет записи более сложных данных.

Parquet является частью экосистемы Hadoop, и такие инструменты, как Hive и Presto, могут эффективно считывать огромные объемы данных, используя их в любом масштабе.

Приключение началось в производстве

Среди множества движущихся частей за кулисами Vortexa у нас есть процесс Python, который создает около 6 ГБ выходных данных в файле Parquet, и нижестоящий процесс Java, который его потребляет.

Однажды он просто перестал его потреблять, но начал взрываться, конструктор ArrayList жаловался на отрицательный параметр размера. Почему?

Итак, что в наши дни инженер делает в первую очередь, когда сталкивается с непонятной ошибкой? Погугли это! Я столкнулся с этой ошибкой Jira, вызванной самой библиотекой Paquet. «Основная» ошибка, нерешенная с августа 2019 года. Хм.

Двусторонний подход

Я решил делать две вещи параллельно:

• Ищите обходной путь, чтобы исправить производство — быстро!
• Попытка устранить саму ошибку, внося свой вклад в проект Apache Parquet.

Обходной путь

Я подозревал переполнение 32-битного целого числа со знаком. Файл содержал около 67 миллионов записей, намного меньше 2³¹ ~= 2.1 миллиарда, но, возможно, что-то еще было не так.

Я получил «parquet-tools» с помощью brew (я использую Mac) и запустил команду «meta» для файла. Я не могу поделиться точными данными, которые я видел для нашего производственного файла, но я видел это — 98% данных были в первой группе строк. Я мог видеть, что размер этой группы строк превышал 6 ГБ, что намного превышает то, что я считал (ошибочно) ограничением в 2³¹ байта, учитывая описание ошибки Jira.

Решение заключалось в том, чтобы при записи файла на Python с использованием Pandas указать аргумент размера группы строк, равный миллиону записей, таким образом:

Добавление этого параметра увеличило размер файла примерно на 5%, но теперь каждая внутренняя структура файла удобно помещается в пределах 2 ГБ, и проблема переполнения исчезла.

Кажется, по умолчанию Pandas вообще не разбивает группы строк, что может снизить производительность при использовании Hive, Presto и других технологий. Группы строк, особенно в сочетании с интеллектуальной сортировкой, могут эффективно сегментировать данные.

Исправление ошибки

Я скачал исходный код библиотеки Apache и разветвил его. У меня был локальный внутренний проект, из которого я мог воссоздать проблему со старым «сломанным» производственным файлом объемом 6 ГБ, и я модифицировал его, чтобы получить библиотеку Parquet из этого локального разветвленного проекта вместо Maven.

Поковырявшись в отладчике, отследив, где что-то пошло не так, я сделал несколько открытий:

• Размеры групп строк напрямую не вызывают проблему переполнения.
• Проблему вызывают размеры столбцов в группе строк.
• Столбцы строк обычно хорошо сжимаются, и к ним применяется поиск по словарю (Parquet делает это), но у нас был один столбец, содержащий хэши SHA с очень высокой энтропией, которые не могли быть сжаты. В одной группе строк размер этого столбца превышал 4 ГБ.
• Спецификация Parquet не ограничивает размер этих структур данных 2 ГБ (2³¹ байта) или даже 4 ГБ (2³² байта). Вывод Python/Pandas может быть неэффективным при использовании с определенными инструментами, но это не так. неправильно.

Таким образом, библиотека была виновата в том, что не смогла прочитать этот действительный, хотя и не очень хорошо структурированный файл, исходящий из Python/Pandas.

Еще немного экспериментов, и я обнаружил, что наличие большого (более 2 ГБ) столбца не нарушает работу библиотеки Java как таковой, но если у нас будет последующая группа строк после этих данных, чтение этих данных будет нарушено. При отладке я обнаружил, что 64-битное значение со знаком считывается из файла паркета как смещение файла, но затем оно преобразуется в 32-битное значение со знаком, обрезая значение, размер которого превышает 2³¹.

У нас фактически было 32-битное (или более) беззнаковое положительное число, помещенное в 32-битный тип со знаком, и это сделало наше число отрицательным — это переполнение. Это привело к вызову конструктора ArrayList с отрицательным значением размера и Exception, которое все это распутало.

Вы можете увидеть в этом запросе на вытягивание (теперь объединенном) изменения, внесенные для исправления и модульного тестирования этой проблемы с переполнением.

Проблема заключалась в создании адекватного модульного теста, поскольку эта библиотека не может создать файл, который воспроизводит проблему, поскольку мы получаем еще одну проблему 32-битного переполнения во время записи файла! Возможно, это менее серьезно, более серьезной проблемой является то, что библиотека не может прочитать технически правильный файл. Нам также нужно около 3 ГБ кучи Java, чтобы воспроизвести проблему, что слишком много для модульных тестов во многих конвейерах CI.

Вот метаданные parquet-tools для файла, который я создал, чтобы воспроизвести проблему. Почти 38 миллионов строк в первой группе строк, что увеличивает размер строкового столбца, заполненного случайными (несжимаемыми) данными, примерно до 2.1 ГБ, плюс 100,000 XNUMX оставшихся строк во второй группе строк, чтобы читатель мог основывать смещение файла на предыдущих данных. , вызывая ошибку:

Здесь RC = количество строк, а TS = общий размер. Проблема заключается в столбце «string» группы строк 1, общий размер которого составляет 2229232586 байт, за которым следуют некоторые данные в группе строк 2.

Заключение

Vortexa интенсивно использует широкий спектр технологий. Современные системы очень сложны, и если мы найдем способ исправить любые проблемы, внося свой вклад в сообщество открытого исходного кода, мы это сделаем.

Как отремонтировать паркет: ремонт самого распространенного напольного материала в Германии своими руками

Несмотря на то, что существует множество доступных напольных материалов, вы найдете паркет, уложенный во многих новостройках в Германии, особенно в жилых помещениях и спальнях, и особенно в высококлассных или роскошных концах спектра недвижимости. Паркет (от французского «небольшой отсек») представляет собой геометрическую мозаику из кусочков дерева, используемую для декоративного эффекта в напольном покрытии. Самый популярный рисунок – елочка, а паркет всегда смотрится естественно и согревает ноги. Но паркет может быть поврежден, чаще всего это царапины от передвигающихся по нему предметов тяжелой мебели. Не паникуйте – есть много способов вернуть паркетному полу его прежнее теплое и сияющее великолепие.

Различные тактики ремонта паркета при разной степени повреждения

Ремонт паркета можно начать с простых домашних средств, купленных в магазине ремонтных комплектов, небольшой шлифовки и смазывания локтей или полномасштабных специализированных реставрационных работ. Паркет может показаться немного мягким по сравнению, скажем, с полом из литой смолы, но именно это естественное удобство придает паркету его очарование — это один из самых экологически чистых напольных материалов, не загрязняющих окружающую среду, и, в конечном счете, он очень устойчив к повреждениям, если вы готовы немного побаловать свой пол.

Действительно, паркет может получить одну-две царапины, но его также можно несколько раз отшлифовать. Если повреждение действительно глубокое, вы можете подумать о промышленной шлифовке, но это всегда крайняя мера — и лучше доверить ее профессионалу, если вы не хотите, чтобы ваши полы превратились в неглубокие лотки с карандашной стружкой. В любом случае, разумно различать повреждения: ваш дорогой паркет просто поцарапан или насмерть помят?

Паркет в отремонтированных мансардных квартирах | Новый проект «May & Nielsen» в районе Берлин-Вайсензее от застройщика BUWOG.

Просто поцарапанный паркет: применяем принципы первой помощи

Проверенные домашние средства по уходу за паркетом включают цельные грецкие орехи и оливковое масло. Достаточно распространены на кухне, и их наверняка можно найти на полках вашего местного супермаркета. Ядра грецких орехов используются со скребками для более темного паркета. Расколов орех и удалив скорлупу, осторожно вдавите ядро ​​в царапины, равномерно надавливая. Свежие ядра достаточно податливы, чтобы их можно было втереть в царапины, делая поверхностные повреждения практически незаметными.

Альтернатива — оливковое масло — также работает с более темной древесиной. Просто нанесите на царапину минимальное количество масла. Некоторые любители паркета также используют детское масло, которое можно наносить ватным тампоном или ватной палочкой, аккуратно проникая, так сказать, в канавку. Этот последний метод отлично подходит для небольших точечных ремонтов или оспин.

Если царапина более серьезная — до 2 мм в глубину — вы можете использовать твердый воск для пола. В известных хозяйственных магазинах можно найти специальные наборы (эти продукты иногда называют «Holzapotheke» в Германии), которые нагревают воск до 90ºC, делая его жидким. Нарисовав это на царапине, вы затем применяете соответствующий цвет, начиная с самого яркого и спускаясь к самому темному, пока не найдете правильный цвет.

После каждого слоя подождите тридцать секунд, а затем используйте рубанок, входящий в комплект, чтобы удалить излишки. Если цвет не совсем совпадает, нагрейте следующий оттенок темнее (или светлее) и повторяйте процесс, пока царапина не станет невидимой. Наконец, вы запечатываете и наносите верхний слой масла на подходящую по цвету и заполненную царапину с помощью специальной финишной ручки. Это звучит как колдовство и действительно может излечивать небольшие царапины, как по волшебству, но если вы имеете дело с царапинами глубже 2 мм, лучше проконсультироваться со специалистом.

Паркетные полы в кондоминиумах на первом этаже | Новый проект «Bärmannstrasse 15» в Мюнхене-Оберменцинге от застройщика PlanetHome.

Рябый паркет? Помятый пол? Ничего страшного

Вмятины рано или поздно появляются почти на каждом участке паркета. Это побочный эффект звукопоглощающей, теплоизлучающей мягкости этого типа напольного покрытия — это дерево, а не каменный пол, и ему нужно, чтобы вы ответили на любовь, которую он вам дарит. Вмятины на паркете могут образоваться, если просто уронить тяжелый предмет; глубокие царапины могут появиться, когда вы грубо перетащите эту кушетку незащищенными ногами с места на место.

Часто достаточно провести по поврежденному месту тряпкой для полировки или воспользоваться указанными выше способами. Чтобы действительно избавиться от глубоких царапин, смочите ткань для полировки (с полировальным веществом или воском или без них) и прижмите ее к царапине теплым утюгом.

Если повреждение действительно более серьезное, вам, возможно, придется пойти либо на хорошую шлифовку, либо на восстановление поверхности паркета, либо на полную замену поврежденных участков пола. В этих случаях обратитесь к специалисту по напольным покрытиям. Неопытные пользователи шлифовальных станков разрушили не только свой драгоценный паркет… особенно если у вас под паркетом установлен теплый пол (что встречается все чаще), вам следует быть начеку, прежде чем начинать откалывать поверхность! а опытные мастера в кратчайшие сроки вернут к жизни поврежденный пол.

Паркет является наиболее часто используемым напольным покрытием в элитной недвижимости Германии | Новый проект «Limestraße» в Мюнхене-Аубинге от застройщика HELMA Wohnungsbau.

Как восстановить паркет после повреждения водой

Как и при любом повреждении имущества, связанном с водой, время имеет решающее значение. Полы подвергаются большему риску необратимого повреждения водой и роста плесени, если вы не позаботитесь о влажности немедленно. Паркет быстрее впитывает влагу из-за своей пористости. Помимо времени отклика, успешный ремонт поврежденного водой деревянного пола зависит от типа напольного покрытия, дерева и отделки, метода укладки, количества влаги и стоимости замены.

Для восстановления поврежденного водой деревянного пола рассмотрите возможность найма профессиональной компании по восстановлению после стихийных бедствий. Они обладают необходимыми знаниями и опытом и используют специализированное оборудование для эффективной сушки. Однако, если вы хотите отремонтировать пол из твердых пород дерева самостоятельно, ознакомьтесь с приведенными ниже советами.

Как отремонтировать деревянный пол, поврежденный водой

• Носите защитное снаряжение, такое как перчатки, резиновые сапоги и маску.
• Перекрыть подачу воды, если затопление произошло из-за прорыва трубы, поломки стиральной машины или водонагревателя.
• Отключите питание в пострадавшем помещении, пока вода не будет удалена.
• Прежде чем приступить к реставрации, оцените ущерб, чтобы определить, следует ли очистить пол или заменить его. Сделайте фотографии, перечислите поврежденные предметы и покажите их своей страховой компании.
• Уберите все предметы (ковры, мебель и т. д.) с пола и отнесите их в сухое место.
• Откройте окна и двери, чтобы влага быстрее испарялась.
• Начните удалять лишнюю воду с помощью пылесоса для влажной/сухой уборки или швабры и старой ткани. Если уровень воды высокий, используйте насос для слива воды. Попросите кого-нибудь помочь, чтобы вы могли выполнить задание быстрее и избежать дальнейших повреждений.
• Используйте осушители, обогреватели и вентиляторы, чтобы ускорить процесс сушки. Разместите их на возвышении в зоне затопления и закройте окна. Направьте вентиляторы к поверхности пола.
• Очистите пол от мусора и грязи с помощью неабразивной щетки и моющего средства, пока работают обогреватели, вентиляторы и осушители. Промойте пол чистой водой и продолжайте сушить пол.

Имея дело с залитым деревянным полом, действуйте быстро, чтобы спасти пол от необратимого повреждения и рост плесени. Свяжитесь с профессиональной компанией по устранению последствий наводнения, такой как PuroClean, которая может быстро смягчить ущерб и реализовать наилучший курс действий. Кроме того, узнайте, как избежать повреждения паркета водой в будущем.

Как профессионалы восстанавливают поврежденный водой деревянный пол

Определение типа напольного покрытия и его укладка

Осмотр всегда имеет решающее значение, когда вы начинаете ремонтировать поврежденный водой деревянный пол. Паркетные полы бывают разных пород, таких как дуб, сосна, клен и вишня. Все больше и больше экзотических видов используются в напольных покрытиях. Каждый тип создает различные проблемы в процессе сушки из-за различных уровней поглощения влаги.

Существуют также разновидности напольных покрытий, которые выглядят как дерево, но им не являются. Эти полы иногда имеют ламинат на поверхности и основу из ДСП. Когда влага просачивается под эти полы, сушка практически невозможна. Невозможность высушить эти поверхности связана с тем, что влага задерживается под ламинатом, который действует как пароизоляция. Чтобы получить дополнительную помощь, позвоните специалисту по восстановлению повреждений, нанесенных водой PuroClean, который поможет вам оценить тип и состояние вашего пола.

Профессионалы также оценят первоначальный метод укладки паркета. Оригинальная установка может быть прибита гвоздями, приклеена или установлена ​​плавающим способом.

• Когда прибитые полы пострадали от воды, гвозди могут подняться.
• Если пол был приклеен к основанию, влага может высвободить клей.
• В случае плавающего пола это может быть не настоящее дерево, а ламинированное изделие. Настил из твердой древесины с гребнем и пазом может «чахнуть» после впитывания влаги.

Сушка паркетного пола (терпение — ключ к успеху)

Как только специалисты определят тип деревянного пола и метод укладки, можно начинать сушку. Используя методы поверхностной и / или подповерхностной сушки и надлежащее осушение, технические специалисты могут направить поток воздуха под поверхность пола (положительно или отрицательно) для удаления этой влаги. Также может потребоваться доступ к полу снизу для более быстрого высыхания.

Эффективная сушка паркетного пола — медленный процесс. Иногда требуется от семи до десяти дней, чтобы пол выпустил достаточно воды, чтобы остановить процесс принудительной сушки. Удаление всей впитавшейся воды с пола обходится дорого, и природа должна помочь в этом процессе.

Сушка твердой древесины продолжается до тех пор, пока уровень влажности древесины не достигнет четырех процентов от сухого стандарта пола. В этот момент природа удалит оставшуюся воду, хотя и медленно — где-то от трех до шести месяцев. Обучение в этом процессе имеет решающее значение для успешной работы. Позвольте специалистам по реставрации PuroClean помочь вам правильно высушить паркетный пол.

Ремонт отделки

Когда деревянный пол высохнет, покрытие пола может быть повреждено. Отделочные материалы, такие как воски и полиуретан, могут препятствовать испарению поглощенной влаги. Иногда их приходится удалять в процессе сушки, чтобы обеспечить удаление влаги.

Если деревянный пол слегка выпуклый, отделка может растрескаться из-за движения деревянного изделия. Это нормальная часть процесса сушки. После того, как пол полностью высохнет, его можно покрыть лаком.

Сушка деревянного пола – это особое направление. Специалисты по реставрации PuroClean обладают знаниями для правильной оценки различных типов полов и имеют специализированное оборудование для устранения повреждений, вызванных водой.