Это старая версия документа!
Содержание
OSM Tile Server Ubuntu 24.04
Введение
Установка производиться на устройство
Все ниже написанное относиться к Ubuntu Server 24.04 (Noble Numbat) и протестированы в августе 2024 года.
Общая теория
Tile Server OSM представляет собой набор программ и библиотек, которые работают вместе для создания тайлового (плиточного) сервера. Он состоит из 5 основных компонентов:
- mod_tile
- renderd
- mapnik
- osm2pgsql
- postgresql/postgis
Postgresql/postgis - базы данных. Mod_tile — это модуль apache, который обслуживает кэшированные тайлы и решает, какие тайлы нуждаются в повторном рендеринге — либо потому, что они еще не кэшированы, либо потому, что они устарели. Mapnik — это программная библиотека, которая осуществляет реальный рендеринг с использованием открытого рендеринга.
Предполагается, что вы запускаете все от пользователя без регистрации root через «sudo». Имя пользователя без root, повторяемое по умолчанию, — «alisa». Если вы указываете иного пользователя, то вам необходимо будет заменить во всех командах на свое имя и добавить его в группу пользователей, которые могут использовать sudo для получения root-прав. Из вашей обычной учетной записи пользователя без регистрации root.
Обновление программного обеспечения
Устанавливаем и обновляем Ubuntu Всегда полезно обновлять программное обеспечение сервера перед выполнением какой-либо серьезной работы на сервере. Войдите на сервер через SSH и выполните следующую команду.
sudo apt --yes update; sudo apt --yes upgrade -y
Установка необходимых библиотек
Итак, приступим:
sudo apt --yes install screen locate git tar unzip wget bzip2 lua5.1 gdal-bin npm node-carto net-tools curl
Процесс достаточно продолжительный и можно попить кофейку…
Установка необязытельных, но рекомендованных openstreetmap-carto элементов
sudo apt --yes install ca-certificates gnupg build-essential clang nodejs fonts-hanazono fonts-noto-cjk fonts-noto-hinted fonts-noto-unhinted
Установка postgresql/postgis
В Ubuntu есть предварительно упакованные версии как postgis, так и postgresql, поэтому их можно просто установить через диспетчер пакетов Ubuntu.
Проверим подходящую версию на странице пакета postgresql в Ubuntu
sudo apt --yes install postgresql postgresql-contrib postgis postgresql-16-postgis-3 postgresql-16-postgis-3-scripts
Здесь «postgresql» — это база данных, в которой мы собираемся хранить данные карты, а «postgis» добавляет к ней дополнительную графическую поддержку. У команды apt параметр –yes отвечает за автоматические подстановки подтверждения ДА при установке. Проверим список установленных пакетов postgres
dpkg -l | grep postgres
Примечание! Для полного удаления воспользуйтесь командой
sudo apt-get --purge --yes remove postgresql postgresql-doc postgresql-common postgresql-16 postgresql-client postgresql-client-16 postgresql-client-common postgresql-common postgresql-contrib postgresql-contrib-16 postgresql-postgis-scripts postgresql-16-postgis-3-scripts
Перезапускаем postgresql
sudo /etc/init.d/postgresql restart
Проверим статус работы postgresql
sudo /etc/init.d/postgresql status
Создаем базу данных postgis. По умолчанию в различных программах предполагается, что база данных называется gis, и тут мы будем использовать то же соглашение, хотя это и не обязательно. Замените свое имя пользователя вместо alisa, где это используется ниже. Это должно быть имя пользователя, которое будет отображать карты с помощью Mapnik.
sudo -u postgres -i
createuser alisa
Если Ошибка
перезапускаем postgresql
/etc/init.d/postgresql restart
createuser alisa
pg_isready
Продолжаем установку
createdb -E UTF8 -O alisa gis
Продолжая работать как пользователь «postgres», настройте PostGIS в б PostgreSQL (опять же, меняя alisa на свое имя пользователя ниже):
psql
\c gis
(ответ: “You are now connected to database ‘gis’ as user ‘postgres’”.)
CREATE EXTENSION postgis; CREATE EXTENSION hstore; ALTER TABLE geometry_columns OWNER TO alisa; ALTER TABLE spatial_ref_sys OWNER TO alisa;
ответ:
CREATE EXTENSION
CREATE EXTENSION
ALTER TABLE
ALTER TABLE
\q
(выход из psql и приглашение к Linux)
exit
(это вернет нас к пользователю, которым мы были до того, как сделали «sudo -u postgres -i» выше)
Если вы еще не создали пользователя, создайте пользователя Unix и для этого пользователя, выбрав пароль при появлении запроса:
sudo useradd -m alisa
sudo passwd alisa
Опять же, выше замените “alisa” на имя пользователя без регистрации root, которого вы выбрали.
Установка osm2pgsql
Mapnik и python3
Далее мы установим Mapnik python3, используя версию по умолчанию в Ubuntu 24.04:
sudo apt --yes install mapnik-utils python3-mapnik python3-psycopg2 python3-yaml
Проверим правильность установки Mapnik:
python3
import mapnik
(Ответ: »> и без ошибок, то библиотека Mapnik была найдена Python.)
quit()
Установка Apache, mod_tile и render
- Далее мы установим Apache, mod_tile и renderd. «mod_tile» — это модуль Apache, который обрабатывает запросы на тайлы; «render» — это демон, который фактически отображает тайлы, когда «mod_tile» их запрашивает. Мы будем использовать ветку «switch2osm»
- https://github.com/SomeoneElseOSM/mod_tile, которая сама является ответвлением
- https://github.com/openstreetmap/mod_tile, но модифицирована для поддержки Ubuntu 20.04 и с пара других изменений для работы на стандартном сервере Ubuntu, а не на одном из серверов рендеринга OSM.
Установка пакетов
В репозитории Ubuntu по умолчанию нет пакетов mod_tileи renderd, но мы можем установить их из OSM PPA.
sudo apt install software-properties-common sudo add-apt-repository ppa:osmadmins/ppa
Нажмем [ENTER] для продолжения. Установим веб-сервер Apache. Конфигурационный файл renderd будет создан в /etc/apache2/conf-available/renderd.conf
sudo apt --yes install apache2 apache2-dev libapache2-mod-tile renderd
sudo a2enmod tile
Скомпилируем исходный код mod_tile
Создадим в домашнем каталоге папку src
mkdir ~/src
cd ~/src
git clone -b switch2osm https://github.com/SomeoneElseOSM/mod_tile.git
cd mod_tile
перейдя в каталог mod_tile
Запустим скрипт autogen.sh
./autogen.sh
(это должно закончится “autoreconf: Leaving directory ‘.’”.)
(в предыдущих установках мне приходилось проделывать это 2 раза для создания папки mod_tile в директории src)
./configure
(это должно закончится “config.status: executing libtool commands”)
make
Обратите внимание, что здесь некоторые «тревожные» сообщения будут прокручиваться вверх по экрану. Однако это должно заканчиваться на «make[1]: Leaving directory '/home/alisa/src/mod_tile'»
sudo make install
(это должно закончиться «make[1]: выход из каталога должно быть '/home/alisa/src/mod_tile'»)
sudo make install-mod_tile
(это должно закончиться «chmod 644 /usr/lib/apache2/modules/mod_tile.so»)
sudo ldconfig
Конфигурация таблицы стилей
- Теперь, когда все необходимое программное обеспечение установлено, вам нужно загрузить и настроить таблицу стилей.
- Здесь мы будем использовать тот же стиль, что и на «стандартной» карте на веб-сайте openstreetmap.org.
- Переходим в домашний каталог.
cd ~/src
git clone https://github.com/gravitystorm/openstreetmap-carto
клонируем репозитарий
переходим в каталог openstreetmap-carto
cd openstreetmap-carto
установим подходящую версию компилятора «carto».
sudo apt install npm
подтверждаем установку «y»
размер в 600mb, т.ч. перекур
sudo npm install -g carto
npm fund
npm audit fix --force
npm i --package-lock-only
npm audit fix --force
npm audit fix
carto -v
Это должно ответить номером версии, которая должна быть не меньше: 1.2.0
преобразуем проект carto во что-то, понятное Mapnik:
carto project.mml > mapnik.xml
Теперь у вас есть таблица стиля Mapnik XML в /home/alisa/src/openstreetmap-carto/mapnik.xml.
Загрузка данных
в домашнем каталоге создаем папку data
mkdir ~/data
cd ~/data
на странице загрузки http://download.geofabrik.de/ выбираем нужную нам карту для и копируем с кнопки ее ссылку
wget http://download.geofabrik.de/russia-latest.osm.pbf
- карта России размером 3,2Gb, процесс не быстрый, идем гулять пол часика с собачкой…
У кого собачки нет, том может для примера загрузить карту Азербайджана размером 32Mb…
wget https://download.geofabrik.de/asia/azerbaijan-latest.osm.pbf
Следующая команда вставит загруженные ранее данные OpenStreetMap в базу данных. Этот шаг очень интенсивно использует дисковый ввод-вывод; импорт всей планеты может занять много часов, дней или недель в зависимости от аппаратного обеспечения.
cd ~/data osm2pgsql -d gis --create --slim -G --hstore --tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua -C 4000 --number-processes 2 -S ~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/russia-latest.osm.pbf
Обратите внимание на параметр -c (–create) при импорте через osm2pgsql. С этим параметром удалится вся существующая информация с таблиц.
osm2pgsql -d gis --append --slim -G --hstore --tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua -C 4000 --number-processes 2 -S ~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/russia-latest.osm.pbf
Если вам необходимо сделать импорт ещё нескольких стран,
то вместо -c указывайте параметр -a (–append).
Командные опции:
- -d gis
- База данных, с которой нужно работать (раньше gis была по умолчанию, теперь нужно указать).
- –create
- Загружает данные в пустую базу данных, а не пытается добавить их в существующую (иначе –append).
- –slim
- osm2pgsql может использовать разные макеты таблиц; «тонкие» таблицы работают для рендеринга.
- -G
- Определяет, как обрабатываются мультиполигоны.
- –hstore
- Позволяет тегам, для которых нет явных столбцов базы данных, использоваться для рендеринга.
- –tag-transform-script
- Определяет сценарий lua, используемый для обработки тегов. Это простой способ обработки тегов OSM до того, как их обработает сам стиль, что значительно упрощает логику стиля.
- -C 4000
- Выделено 4,0 Гб памяти osm2pgsql для процесса импорта. Если у вас меньше памяти, вы можете попробовать меньшее число, а если процесс импорта завершится из-за нехватки памяти, вам нужно будет попробовать меньшее число или меньший размер карты OSM.
- –number-processes 2
- Используйте 2 ЦП. Если у вас есть больше доступных ядер, вы можете использовать больше.
- -S
- Создайте столбцы базы данных в этом файле (на самом деле они не изменились по сравнению с «openstreetmap-carto»)
- ~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/russia-latest.osm.pbf
- Место сохранения и файл данных для загрузки.
- Команда загрузки должна завершится чем-то вроде «Osm2pgsql в целом занял 34583 секунд».
- Пока идет загрузка карты размером 3,2gb (которая по факту заняла 07 часов 23 минуты), перейдем к разделу Шрифты, открыв второе окно подключения к серверу.
Создание индексов
- Начиная с версии v5.3.0 некоторые дополнительные индексы теперь необходимо применять вручную .
- переходим в папку openstreetmap-carto
cd ~/src/openstreetmap-carto/
- запускаем команду создание индексов
psql -d gis -f indexes.sql
- (ответ: «CREATE INDEX» 15 раз.)
- заняло примерно 29 минут с ожидаемой нагрузкой
Загрузка Shape-файла
- Shape-файл — векторный формат для хранения объектов, описываемых геометрией и сопутствующими атрибутами.
- Несмотря на то, что большая часть данных для создания карты, берется из данных OpenStreetMap, загружается не все, некоторые шейп-файлы для таких вещей, как границы стран с малым масштабированием, по-прежнему необходимы. Чтобы загрузить и проиндексировать их:
- переходим в папку openstreetmap-carto
cd ~/src/openstreetmap-carto/
scripts/get-external-data.py
- Этот процесс включает в себя загрузку и требует некоторого времени — во время работы на экране мало что освещает. На самом деле он загружает таблица водных полигонов и прочее и заполняет каталог «data» ниже «openstreetmap-carto».
- это занято примерно 47 минут при прогнозируемой загрузке системы
Шрифты
переходим в каталог openstreetmap-carto в папке src
cd ~/src/openstreetmap-carto/
scripts/get-fonts.sh
Настройка веб-сервера
визуализация
Отрываем с помощью текстового редактора vi файл конфигурации для «render» — «/usr/local/etc/renderd.conf»
sudo vi /usr/local/etc/renderd.conf
- нажимаем i и редактируем строку XML=/home/renderaccount/src/openstreetmap-carto/mapnik.xml меняя renderaccount на имя своего пользователя (в нашем случае это - alisa)
- нажимаем последовательно esc , shift + : , w , q , ! для сохранения и выхода из редактора
- нажимаем enter
Настройка Apache
создаем папку mod_tile
sudo mkdir /var/lib/mod_tile
задаем права пользователя для этой папки
sudo chown alisa /var/lib/mod_tile
создаем папку renderd
sudo mkdir /var/run/renderd
задаем права пользователя для этой папки
sudo chown alisa /var/run/renderd
сообщаем Apache о «mod_tile» редактируя файл mod_tile.conf добавляя следующую строку LoadModule tile_module /usr/lib/apache2/modules/mod_tile.so
sudo nano /etc/apache2/conf-available/mod_tile.conf
- нажимаем i и вставляем строку LoadModule tile_module /usr/lib/apache2/modules/mod_tile.so в тело файла (в нашем случае это пустой файл)
- нажимаем последовательно esc , shift + : , w , q , ! для сохранения и выхода из редактора
- нажимаем enter
выполняем команду
sudo a2enconf mod_tile
- сообщение о необходимости перезапуска Apache «systemctl reload apache2», чтобы активировать новую конфигурацию; мы пока не будем этого делать.
- сообщаем Apache о «renderd»
- открываем в редакторе файл 000-default.conf
sudo nano /etc/apache2/sites-available/000-default.conf
- вставляем следующие строки между строками «ServerAdmin» и «DocumentRoot»
LoadTileConfigFile /usr/local/etc/renderd.conf ModTileRenderdSocketName /var/run/renderd/renderd.sock # Timeout before giving up for a tile to be rendered ModTileRequestTimeout 0 # Timeout before giving up for a tile to be rendered that is otherwise missing ModTileMissingRequestTimeout 30
- нажимаем i и вставляем строки в тело файла между строками «ServerAdmin» и «DocumentRoot»
- нажимаем последовательно esc , shift + : , w , q , ! для сохранения и выхода из редактора
- нажимаем enter
- дважды перезагрузите apache:
sudo service apache2 start
sudo service apache2 reload
- проверим наш Apache набрав в браузере адрес нашего виртуального сервера (в нашем случае: http://192.168.1.31/)
- Дальше не продолжаем если не дождались загрузки данных в базу и Создание индексов
Запуск рендера в первый раз
запустим renderd, чтобы попытаться отрендерить некоторые плитки. Сначала мы запустим его на переднем плане, чтобы видеть любые ошибки по мере их возникновения:
sudo -u 'alisa' renderd -f -c /usr/local/etc/renderd.conf
- Откройте веб-браузер по адресу: http://yourserveripaddress/hot/0/0/0.png (в нашем случае http://192.168.1.31/hot/0/0/0.png)
- Если все это работает, нажмите control-c, чтобы завершить процесс рендеринга переднего плана.
- при возникновении необходимости остановить renderd
systemctl stop renderd
- иногда рендер идет с командой, т.е. без sudo -u 'alisa'
renderd -f -c /usr/local/etc/renderd.conf
- процессор был недолго в шоке
- на Synology DS720+ такого шока нет и все происходит быстрее в 3-4 раза
- Не знаю почему, но при наличии папки renderd и прав на неё, система ругается на её отсутствие (проверено при 3х установках на Synology Nas. Повторно выполним эти команды…
- создаем папку renderd
sudo mkdir /var/run/renderd
задаем права пользователя для этой папки
sudo chown alisa /var/run/renderd
Запуск рендера в фоновом режиме
Далее мы настроим «рендеринг» для работы в фоновом режиме. Отредактируем файл «~/src/mod_tile/debian/renderd.init», чтобы «RUNASUSER» был установлен для учетной записи без имени root, который мы использовали ранее, например «alisa», и скопируем его в системный каталог. откроем файл в редакторе
vi ~/src/mod_tile/debian/renderd.init
- нажимаем i и меняем в строке RUNASUSER renderaccount на ваше имя пользователя (в нашем случае это alisa)
- нажимаем последовательно esc , shift + : , w , q , ! для сохранения и выхода из редактора
- нажимаем enter
- скопируем это в системный каталог
sudo cp ~/src/mod_tile/debian/renderd.init /etc/init.d/renderd
sudo chmod u+x /etc/init.d/renderd
sudo cp ~/src/mod_tile/debian/renderd.service /lib/systemd/system/
- Файл «render.service» является служебным файлом «systemd». Используемая здесь версия просто вызывает команды инициализации в старом стиле. Чтобы проверить, что команда запуска работает:
sudo /etc/init.d/renderd start
- (ответить «Starting renderd (через systemctl): renderd.service».)
- Чтобы это запускалось автоматически каждый раз:
sudo systemctl enable renderd
Просмотр тайлов (плиток)
для просмотра плитки, используйте html-файл «sample_leaflet.html» в папке «extra» mod_tile или загрузите zip архив с этим файлом внизу страницы. Просто откройте его в веб-браузере на машине, где вы установили тайловый сервер. Если это невозможно, потому что вы устанавливаете на сервер без локального веб-браузера, вы можете отредактировать его, заменив «127.0.0.1» IP-адресом сервера и скопировав его ниже «/var/www/html». Мы запускаем его по сети с указанием IP-адреса виртуального сервера NAS Synology (192.168.1.31)
Пример загрузки карты
- Начало работы и загрузка 0 level zoom карты России
- маленькое видео, как за 1 час происходит визуальный рендеринг 9 level zoom карты России на 3,2gb на устройстве Synology Nas DS420+. Стоит перематывать и смотреть загрузку процессора, так как память неизменна в 80%. Уровни с 1 по 4 пишутся в кэш за 15-20 минут… 8 уровень около 30 минут… Ну а 9 на видео.. немногим более часа визуальный рендеринг карты России за 1 час на 9 уровне зума. Напомню что установлена дополнительная планка памяти на 8gb.
- в принципе, считаю проделанную работу, не плохим результатом! И OSM Tale Server имеет право существовать на устройстве Synology NAS DS 420+ для личного пользования или небольшой группы пользователей личного сервера OSM.
- Напомню, что данный Ubuntu Tile Server установлен на виртуальную машину Synology VMM на устройстве DS420+, где работает все, что было установлено ранее. Попробую переключить мой личный сайт https://book51.ru/ с картой и слоями на вновь созданный виртуальный сервер.
- Загрузка Synolody DS420+ при работающем OSM Tile Server на Synology VMM (8gb VMM не дает установить система, поэтому стоит 6gb)
- Для сравнения аналогичная работа OSM Tile Server на Synology VMM на Synolody DS720+ и загрузка процессора
О 32ядрах и 1tb ssd * 3шт в raid5
Загрузка всей карты с https://planet.openstreetmap.org/pbf/planet-latest.osm.pbf ограниченна пропускной способностью провайдера 12Mb/s - 5 часов.
С соседнего сервера по внутренней сети 188Mb/s - 7 минут ограничение в скорости hdd соседнего сервера.
Использование парсера PBF
Россия в парсере Node при этих же настройка 516,5k/s, заняла 2 часа,
то же самое на Synology DS 720+
(Intel Celeron J4125 4*2,70 GHz / 2gb ddr4 + 8gb ddr4 / 2*1tb ssd) показала загрузку процессора в среднем 30-50% при выделенной виртуальной памяти в 8gb, которая занята соответственно на 85% от общего объема в 10gb.
Реально используется только 12% озу от выделенных 128Gb, при общем объеме в 256Gb
При этом процессор от 9% до 17%
Трудятся только ssd
Файлы для загрузки
Карты OSM
Ссылки и литература
Создание тайлового сервера вручную (20.04 LTS)
Ubuntu 20.04 LTS: пользовательская документация
OSM2PGSQL: импортер данных OSM в базу данных PostgreSQL/PostGIS
PostgreSQL: база данных с открытым исходным кодом
Mapnik: отрисовка основного Slippy Map слоя для OSM
OSM Carto: стиль стандартного слоя листов OSM
Mod_tile: передача кэшированных тайлов
Leaflet — библиотека JS для интерактивных карт.
Synology Open Street Map Server