можно ли выносить временную папку mysql на ramdisk в памяти
Ускоряем MySQL. Перемещение временых таблиц c диска (tmpdir) в оперативную память.
В работе периодически сталкиваюсь с медленными Drupal сайтами, и тормоза очень часто вызваны медленным выполнением запросов к Mysql. Причины бывают разные, но зачастую медленное выполнение запросов вызвано тем, что при выполнении запроса MySQL вынуждено использовать временные таблицы на диске. Для этого используется каталог заданный в переменной tmpdir файла конфигурации my.cnf.
На мой взгляд, правильным решением в таких ситуациях является оптимизация базы данных (использование типов полей наиболее подходящих под содержимое, правильная настройка идексов, и построение корректных запросов к базе, учитывающих индексы в базе). Но также мы можем помочь MySQL если переместим эти временные таблицы в оперативную память (такое решение подходит для серверов с большим количеством оперативной памяти), что позволит более быстро выполнять операции связанные с использованием временных таблиц, за счет экономии на операциях записи и чтения с диска, так как всё будет делаться в оперативной памяти.
Для переноса папки tmpdir в оперативную память мы подключим к папке /var/lib/mysql/tmp раздел tmpfs размером 4 Gb выполнив следующие шаги:
Никогда не думал, что это настолько просто. Спасибо, Роман, за полезную статью.
Рад, что оказалось полезно. Если честно я сам немного не ожидал. Хотел по-другому делать.
Роман (не проверено)
6. Редактируем файл конфигурации MySQL /etc/mysql/my.cnf
tmpdir=/var/lib/mysqltmp опечатка? tmpdir=/var/lib/mysql/tmp
Ответ на 6. Редактируем файл от Роман (не проверено)
Да, опечатался. спасибо, исправил
Serge (не проверено)
Ответ на Спасибо за удачный хинт, но от Serge (не проверено)
Мне кажется, что корректней было бы сделать массовый select, сомневаюсь что для insert mysql будет использовать tmp.
Serge (не проверено)
Спасибо.
Перенос mysql директории tmpdir в оперативную память позволяет решить проблему с kjournald, когда журналирование файловой системы вешает эту же саму файловую систему.
Как выяснилось, высокую нагрузку на kjournald порождает как раз mysql большим количеством чтений и записи в директорию tmpdir
Дмитрий (не проверено)
А подскажите почему сразу же после создания эти файлы удаляются, можно ли как то это отключить?
Андрей (не проверено)
а как можно закешировать больше памяти? у меня кешируется только 4 килобит
Ответ на а как можно закешировать… от Андрей (не проверено)
Paula (не проверено)
Ответ на Здравствуйте,… от Paula (не проверено)
Настройка базы данных MySQL
Если у вас возникли какие либо вопросы которые вы не смогли решить по нашим публикациям самостоятельно,
то ждем ваше обращение в нашей службе тех поддержки.
Настройка базы данных MySQL
Оптимизация работы с базой данных для MySQL-версии продукта является одной из важнейших стратегий в оптимизации системы в целом, так как продукт активно работает с базой данных.
Простой формат данных MyISAM хранит каждую таблицу с данными или индекс в отдельном файле. В целом, на небольших по нагрузке сайтах данный формат является наиболее быстрым, хотя и не обеспечивает полной целостности и надежного хранения данных за счет отсутствия транзакций.
Основным недостатком MyISAM с точки зрения производительности является блокировка на уровне таблицы при выполнении тех или иных операций. В результате, при большой нагрузке MySQL именно MyISAM таблицы становятся основным узким местом в системе, мешая увеличивать утилизацию машины и число обрабатываемых запросов. Это также приводит к увеличению времени работы страницы за счет ожидания используемых таблиц на уровне MySQL.
Рекомендуется переводить все таблицы проекта в формат данных InnoDB. Формат InnoDB, начиная с версии MySQL 4.0, входит в стандартную поставку продукта и обеспечивает надежное хранение данных, транзакционность и блокирование данных на уровне строки.
Два важных момента, которые дают основание предпочесть таблицы InnoDB перед MyISAM:
Недостатки InnoDB: нужно внимательно следить за свободным местом на диске; накапливающаяся фрагментация данных (лечится периодическим переводом таблиц из InnoDB в MyISAM и обратно).
Поменять тип таблиц на InnoDB можно следующим образом:
В FAQ приведен пример для создания скрипта для перевода таблиц в InnoDB.
Переход на тип таблиц InnoDB позволяет избежать возникновения узкого участка в производительности при работе с базой данных и в полном объеме использовать системные ресурсы.
Наибольшее внимание следует обратить на следующие параметры и примеры:
Если MyISAM уже не используется активно, можно высвободить память в пользу InnoDB параметров.
Желательно, чтобы кэш данных вмещал в себя основной объем данных, используемых продуктом в работе. Обычно для работы базы данных выделяется порядка 60-80% свободной памяти в системе.
Пример рекомендуемых настроек для сервера с 2 Гб оперативной памяти, работающего с операционной системой FreeBSD/Linux:
В составе продукта около 250 таблиц, поэтому рекомендуется увеличивать кэш для заголовков таблиц.
Эти параметры используются только для MyISAM. Если в базе нет таблиц MyISAM, то лучше установить минимальные значения.
Вспомогательный буфер на внутренние структуры, большой делать не имеет смысла.
Чем больше размер лог-файла, тем реже надо будет записывать в основной файл данных. Суммарный размер лог-файла может быть сопоставим с величиной innodb_buffer_pool_size (по умолчанию ведется два лога).
Отложенная фиксация транзакций, раз в секунду
Размер временных таблиц рекомендуется увеличивать до 32 Мб.
Рекомендуется так же увеличивать join_buffer_size до 2 Мб, это существенно влияет на скорость выполнения ряда запросов.
Временная папка
При наличии достаточного количества ОЗУ рекомендуется выносить временную папку MySQL на ramdisk в памяти.
Можно ли выносить временную папку mysql на ramdisk в памяти
Оптимизация работы с базой данных для MySQL-версии продукта является одной из важнейших стратегий в оптимизации системы в целом, так как продукт активно работает с базой данных.
Стандартно MySQL работает с форматом данных MyISAM. Простой формат данных хранит каждую таблицу с данными или индекс в отдельном файле. В целом, на небольших по нагрузке сайтах данный формат является наиболее быстрым, хотя и не обеспечивает полной целостности и надежного хранения данных за счет отсутствия транзакций.
Основным недостатком MyISAM с точки зрения производительности является блокировка на уровне таблицы при выполнении тех или иных операций. В результате, при большой нагрузке MySQL именно MyISAM таблицы становятся основным узким местом в системе, мешая увеличивать утилизацию машины и число обрабатываемых запросов. Это также приводит к увеличению времени работы страницы за счет ожидания используемых таблиц на уровне MySQL.
Рекомендуется переводить все таблицы проекта в формат данных InnoDB. Формат InnoDB, начиная с версии MySQL 4.0, входит в стандартную поставку продукта и обеспечивает надежное хранение данных, транзакционность и блокирование данных на уровне строки.
Два важных момента, которые дают основание предпочесть таблицы InnoDB перед MyISAM:
Недостатки InnoDB: нужно внимательно следить за свободным местом на диске; накапливающаяся фрагментация данных (лечится периодическим переводом таблиц из InnoDB в MyISAM и обратно).
Поменять тип таблиц на InnoDB можно следующим образом:
В FAQ приведен пример для создания скрипта для перевода таблиц в InnoDB.
Переход на тип таблиц InnoDB позволяет избежать возникновения узкого участка в производительности при работе с базой данных и в полном объеме использовать системные ресурсы.
Наибольшее внимание следует обратить на следующие параметры и примеры:
Если MyISAM уже не используется активно, можно высвободить память в пользу InnoDB параметров.
Желательно, чтобы кэш данных вмещал в себя основной объем данных, используемых продуктом в работе. Обычно для работы базы данных выделяется порядка 60-80% свободной памяти в системе.
Пример рекомендуемых настроек для сервера с 2 Гб оперативной памяти, работающего с операционной системой FreeBSD/Linux:
В составе продукта около 250 таблиц, поэтому рекомендуется увеличивать кэш для заголовков таблиц.
Эти параметры используются только для MyISAM. Если в базе нет таблиц MyISAM, то лучше установить минимальные значения.
Вспомогательный буфер на внутренние структуры, большой делать не имеет смысла.
Чем больше размер лог-файла, тем реже надо будет записывать в основной файл данных. Суммарный размер лог-файла может быть сопоставим с величиной innodb_buffer_pool_size (по умолчанию ведется два лога).
Отложенная фиксация транзакций, раз в секунду
Размер временных таблиц рекомендуется увеличивать до 32 Мб.
Рекомендуется так же увеличивать join_buffer_size до 2 Мб, это существенно влияет на скорость выполнения ряда запросов.
Временная папка
При наличии достаточного количества ОЗУ рекомендуется выносить временную папку MySQL на ramdisk в памяти.
Можно ли выносить временную папку mysql на ramdisk в памяти
Я работал над проектом, для которого требуется база данных MySQL. Каждый раз, когда я извлекаю изменения из репозитория, мне приходится запускать миграции и заполнять базу данных. Таблицы содержат тысячи строк данных, и на их заполнение уходит почти час. Мой коллега заметил это и научил меня хорошему трюку для ускорения операций с базой данных, а именно работе с MySQL используя RAM-диск, о котором я расскажу в этом посте.
Зачем использовать оперативную память
RAM (оперативное запоминающее устройство) намного быстрее для чтения и записи, чем для других типов хранилищ на компьютере, таких как жесткий диск / ssd, где MySQL по умолчанию хранит базу данных. Перемещение базы данных в оперативную память может значительно увеличить скорость ввода и вывода операций с базой данных.
Недостатки работы с MySQL используя RAM-диск
ОЗУ — это энергозависимая память, что означает, что для сохранения хранимых в ней данных требуется питание. Это означает, что данные, хранящиеся в оперативной памяти, исчезнут после выключения компьютера. В моем случае я использую базу данных только для тестирования и разработки на моем локальном компьютере. Если мне когда-нибудь понадобится сохранить данные для тестирования, я просто сделаю резервную копию базы данных, а затем восстановлю ее в следующий раз, когда она мне понадобится.
Перенос баз данных в оперативную память
Теперь, когда вы знаете преимущества и недостатки перемещения баз данных MySQL на RAM-диск, я расскажу вам, как этого добиться.
Сначала сделайте резервную копию всех баз данных. Скопируем его в /var/lib/mysql.bak
Создайте каталог для RAM-диска.
sudo mkdir /tmp/ramdisk
Установите его. Я назначил рамдиску размер 2ГБ. Вам решать, сколько места вы хотите, просто убедитесь, что оно может вместить все данные, которые вы будете записывать в базу данных.
Переместите базы данных MySQL на RAM-диск.
sudo mv /var/lib/mysql /tmp/ramdisk/mysql
Создайте символическую ссылку на RAM-диск.
Измените принадлежность на MySQL, чтобы разрешить доступ.
sudo chown mysql:mysql /tmp/ramdisk/mysql
Перезапустите MySQL, чтобы изменения вступили в силу.
sudo /etc/init.d/mysql restart
Теперь мы закончили! После перемещения баз данных на RAM-диск выполнение миграции и сеялки заняло всего минуту по сравнению с почти часом при использовании жесткого диска.
Восстановление баз данных
Поскольку базы данных сохраняются на RAM-диске, они будут удаляться каждый раз при выключении компьютера. Вот шаги для его восстановления.
Удалите ранее созданную символическую ссылку на mysql ramdisk.
Скопируйте и восстановите базы данных из резервной копии.
Скрипты для удобства
Выполнение всех вышеперечисленных команд каждый раз, когда я включаю свой компьютер, является очень утомительной задачей, поэтому для моего удобства я создал сценарии для восстановления и перемещения баз данных в оперативную память.
Вот сценарий восстановления базы данных
Вот сценарий для переноса базы данных в оперативную память
Это то, что я выполняю каждый раз, когда включаю свой компьютер.
Можно ли выносить временную папку mysql на ramdisk в памяти
Курс предназначен для организаций, предоставляющих услуги хостинга и желающих получить компетенцию Рекомендуемый хостинг.
В курсе рассматриваются требования платформы Bitrix Framework к хостингу, вопросы установки, настройки продукта а также вопросы инструментов и методов оптимизации серверов и баз данных для работы с системой
Для хостеров не является обязательным, но рекомендуется изучение курсов Контент-менеджер и Администратор. Базовый для получения более полного представления о возможностях системы и способах работы с ней.
Рекомендуется ознакомиться с опытом настройки и тестирования серверов в блогах Александра Демидова и Дениса Шаромова, а так же с отзывами клиентов о хостингах в группе Черный и белый список хостингов социальной сети компании «1С-Битрикс».
Если ваш хостинг на Windows, то вам может быть полезна группа 1С-Битрикс на платформе Windows Server 2008 в социальной сети сайта «1С-Битрикс». В ней пользователи делятся опытом работы системы на IIS 7.
После изучения курса вам будет предложено пройти тесты на сертификацию. При успешной сдаче линейки тестов на странице Моё обучение можно просмотреть результат обучения и загрузить сертификат в формате PDF.
У нас часто спрашивают, сколько нужно заплатить
Ещё у нас есть Академия 1С-Битрикс, где можно обучиться на платной основе на курсах нашей компании либо наших партнёров.
Баллы опыта
уроке.
Скачать материалы курса в формате EPUB. Файлы формата EPUB Чем открыть файл на
Android:
EPUB Reader
CoolReader
FBReader
Moon+ Reader
eBoox
iPhone:
FBReader
CoolReader
iBook
Bookmate
Windows:
Calibre
FBReader
Icecream Ebook Reader
Плагины для браузеров:
EpuBReader – для Firefox
Readium – для Google Chrome
iOS
Marvin for iOS
ShortBook
обновляются периодически, поэтому возможно некоторое отставание их от онлайновой версии курса. Версия файла от 28.04.2021.