image.mk: parallelize cpio.gz and tar.gz filesystem build
[openwrt.git] / include / image.mk
1 #
2 # Copyright (C) 2006-2010 OpenWrt.org
3 #
4 # This is free software, licensed under the GNU General Public License v2.
5 # See /LICENSE for more information.
6 #
7
8 override TARGET_BUILD=
9 include $(INCLUDE_DIR)/prereq.mk
10 include $(INCLUDE_DIR)/kernel.mk
11 include $(INCLUDE_DIR)/host.mk
12
13 override MAKE:=$(_SINGLE)$(SUBMAKE)
14 override NO_TRACE_MAKE:=$(_SINGLE)$(NO_TRACE_MAKE)
15
16 KDIR=$(KERNEL_BUILD_DIR)
17 DTS_DIR:=$(LINUX_DIR)/arch/$(ARCH)/boot/dts/
18
19 IMG_PREFIX:=openwrt-$(BOARD)$(if $(SUBTARGET),-$(SUBTARGET))
20
21 MKFS_DEVTABLE_OPT := -D $(INCLUDE_DIR)/device_table.txt
22
23 ifneq ($(CONFIG_BIG_ENDIAN),)
24   JFFS2OPTS     :=  --big-endian --squash-uids -v
25 else
26   JFFS2OPTS     :=  --little-endian --squash-uids -v
27 endif
28
29 ifeq ($(CONFIG_JFFS2_RTIME),y)
30   JFFS2OPTS += -X rtime
31 endif
32 ifeq ($(CONFIG_JFFS2_ZLIB),y)
33   JFFS2OPTS += -X zlib
34 endif
35 ifeq ($(CONFIG_JFFS2_LZMA),y)
36   JFFS2OPTS += -X lzma --compression-mode=size
37 endif
38 ifneq ($(CONFIG_JFFS2_RTIME),y)
39   JFFS2OPTS += -x rtime
40 endif
41 ifneq ($(CONFIG_JFFS2_ZLIB),y)
42   JFFS2OPTS += -x zlib
43 endif
44 ifneq ($(CONFIG_JFFS2_LZMA),y)
45   JFFS2OPTS += -x lzma
46 endif
47
48 JFFS2OPTS += $(MKFS_DEVTABLE_OPT)
49
50 SQUASHFS_BLOCKSIZE := $(CONFIG_TARGET_SQUASHFS_BLOCK_SIZE)k
51 SQUASHFSOPT := -b $(SQUASHFS_BLOCKSIZE)
52 SQUASHFSOPT += -p '/dev d 755 0 0' -p '/dev/console c 600 0 0 5 1'
53 SQUASHFSCOMP := gzip
54 LZMA_XZ_OPTIONS := -Xpreset 9 -Xe -Xlc 0 -Xlp 2 -Xpb 2
55 ifeq ($(CONFIG_SQUASHFS_LZMA),y)
56   SQUASHFSCOMP := lzma $(LZMA_XZ_OPTIONS)
57 endif
58 ifeq ($(CONFIG_SQUASHFS_XZ),y)
59   ifneq ($(filter arm x86 powerpc sparc,$(LINUX_KARCH)),)
60     BCJ_FILTER:=-Xbcj $(LINUX_KARCH)
61   endif
62   SQUASHFSCOMP := xz $(LZMA_XZ_OPTIONS) $(BCJ_FILTER)
63 endif
64
65 JFFS2_BLOCKSIZE ?= 64k 128k
66
67 fs-types-$(CONFIG_TARGET_ROOTFS_SQUASHFS) += squashfs
68 fs-types-$(CONFIG_TARGET_ROOTFS_JFFS2) += $(addprefix jffs2-,$(JFFS2_BLOCKSIZE))
69 fs-types-$(CONFIG_TARGET_ROOTFS_JFFS2_NAND) += $(addprefix jffs2-nand-,$(NAND_BLOCKSIZE))
70 fs-types-$(CONFIG_TARGET_ROOTFS_EXT4FS) += ext4
71 fs-types-$(CONFIG_TARGET_ROOTFS_ISO) += iso
72 fs-subtypes-$(CONFIG_TARGET_ROOTFS_JFFS2) += $(addsuffix -raw,$(addprefix jffs2-,$(JFFS2_BLOCKSIZE)))
73 fs-subtypes-$(CONFIG_TARGET_ROOTFS_CPIOGZ) += cpiogz
74 fs-subtypes-$(CONFIG_TARGET_ROOTFS_TARGZ) += targz
75
76 TARGET_FILESYSTEMS := $(fs-types-y)
77
78 define add_jffs2_mark
79         echo -ne '\xde\xad\xc0\xde' >> $(1)
80 endef
81
82 define toupper
83 $(shell echo $(1) | tr '[:lower:]' '[:upper:]')
84 endef
85
86 # pad to 4k, 8k, 16k, 64k, 128k, 256k and add jffs2 end-of-filesystem mark
87 define prepare_generic_squashfs
88         $(STAGING_DIR_HOST)/bin/padjffs2 $(1) 4 8 16 64 128 256
89 endef
90
91 define Image/BuildKernel/Initramfs
92         cp $(KDIR)/vmlinux-initramfs.elf $(BIN_DIR)/$(IMG_PREFIX)-vmlinux-initramfs.elf
93         $(call Image/Build/Initramfs)
94 endef
95
96 define Image/BuildKernel/MkuImage
97         mkimage -A $(ARCH) -O linux -T kernel -C $(1) -a $(2) -e $(3) \
98                 -n '$(call toupper,$(ARCH)) OpenWrt Linux-$(LINUX_VERSION)' -d $(4) $(5)
99 endef
100
101 define Image/BuildKernel/MkFIT
102         $(TOPDIR)/scripts/mkits.sh \
103                 -D $(1) -o $(KDIR)/fit-$(1).its -k $(2) -d $(3) -C $(4) -a $(5) -e $(6) \
104                 -A $(ARCH) -v $(LINUX_VERSION)
105         PATH=$(LINUX_DIR)/scripts/dtc:$(PATH) mkimage -f $(KDIR)/fit-$(1).its $(KDIR)/fit-$(1)$(7).itb
106 endef
107
108 define Image/mkfs/jffs2/sub
109                 $(STAGING_DIR_HOST)/bin/mkfs.jffs2 $(3) --pad -e $(patsubst %k,%KiB,$(1)) -o $(KDIR)/root.jffs2-$(2) -d $(TARGET_DIR) -v 2>&1 1>/dev/null | awk '/^.+$$$$/'
110                 $(call add_jffs2_mark,$(KDIR)/root.jffs2-$(2))
111 endef
112
113 define Image/mkfs/jffs2/sub-raw
114                 $(STAGING_DIR_HOST)/bin/mkfs.jffs2 $(3) -e $(patsubst %k,%KiB,$(1)) -o $(KDIR)/root.jffs2-$(2)-raw -d $(TARGET_DIR) -v 2>&1 1>/dev/null | awk '/^.+$$$$/'
115 endef
116
117 define Image/mkfs/jffs2/template
118   Image/mkfs/jffs2-$(1) = $$(call Image/mkfs/jffs2/sub,$(1),$(1),$(JFFS2OPTS))
119   Image/mkfs/jffs2-$(1)-raw = $$(call Image/mkfs/jffs2/sub-raw,$(1),$(1),$(JFFS2OPTS))
120
121 endef
122
123 define Image/mkfs/jffs2-nand/template
124   Image/mkfs/jffs2-nand-$(1) = \
125         $$(call Image/mkfs/jffs2/sub, \
126                 $(word 2,$(subst -, ,$(1))),nand-$(1), \
127                         $(JFFS2OPTS) --no-cleanmarkers --pagesize=$(word 1,$(subst -, ,$(1))))
128
129 endef
130
131 $(eval $(foreach S,$(JFFS2_BLOCKSIZE),$(call Image/mkfs/jffs2/template,$(S))))
132 $(eval $(foreach S,$(NAND_BLOCKSIZE),$(call Image/mkfs/jffs2-nand/template,$(S))))
133
134 define Image/mkfs/squashfs
135         $(STAGING_DIR_HOST)/bin/mksquashfs4 $(TARGET_DIR) $(KDIR)/root.squashfs -nopad -noappend -root-owned -comp $(SQUASHFSCOMP) $(SQUASHFSOPT) -processors $(if $(CONFIG_PKG_BUILD_JOBS),$(CONFIG_PKG_BUILD_JOBS),1)
136 endef
137
138 # $(1): board name
139 # $(2): rootfs type
140 # $(3): kernel image
141 ifneq ($(CONFIG_NAND_SUPPORT),)
142    define Image/Build/SysupgradeNAND
143         mkdir -p "$(KDIR_TMP)/sysupgrade-$(1)/"
144         echo "BOARD=$(1)" > "$(KDIR_TMP)/sysupgrade-$(1)/CONTROL"
145         [ -z "$(2)" ] || $(CP) "$(KDIR)/root.$(2)" "$(KDIR_TMP)/sysupgrade-$(1)/root"
146         [ -z "$(3)" ] || $(CP) "$(3)" "$(KDIR_TMP)/sysupgrade-$(1)/kernel"
147         (cd "$(KDIR_TMP)"; $(TAR) cvf \
148                 "$(BIN_DIR)/$(IMG_PREFIX)-$(1)-$(2)-sysupgrade.tar" sysupgrade-$(1))
149    endef
150 # $(1) board name
151 # $(2) ubinize-image options (e.g. --uboot-env and/or --kernel kernelimage)
152 # $(3) rootfstype (e.g. squashfs or ubifs)
153 # $(4) options to pass-through to ubinize (i.e. $($(PROFILE)_UBI_OPTS)))
154    define Image/Build/UbinizeImage
155         sh $(TOPDIR)/scripts/ubinize-image.sh $(2) \
156                 "$(KDIR)/root.$(3)" \
157                 "$(BIN_DIR)/$(IMG_PREFIX)-$(1)-$(3)-ubinized.bin" \
158                 $(4)
159    endef
160
161 endif
162
163 ifneq ($(CONFIG_TARGET_ROOTFS_UBIFS),)
164     define Image/mkfs/ubifs/generate
165         $(CP) ./ubinize$(1).cfg $(KDIR)
166         ( cd $(KDIR); \
167                 $(STAGING_DIR_HOST)/bin/ubinize \
168                 $(if $($(PROFILE)_UBI_OPTS), \
169                         $(shell echo $($(PROFILE)_UBI_OPTS)), \
170                         $(shell echo $(UBI_OPTS)) \
171                 ) \
172                 -o $(KDIR)/root$(1).ubi \
173                 ubinize$(1).cfg \
174         )
175     endef
176
177     define Image/mkfs/ubifs
178
179         ifneq ($($(PROFILE)_UBIFS_OPTS)$(UBIFS_OPTS),)
180                 $(STAGING_DIR_HOST)/bin/mkfs.ubifs \
181                         $(if $($(PROFILE)_UBIFS_OPTS), \
182                                 $(shell echo $($(PROFILE)_UBIFS_OPTS)), \
183                                 $(shell echo $(UBIFS_OPTS)) \
184                         ) \
185                         $(if $(CONFIG_TARGET_UBIFS_FREE_SPACE_FIXUP),--space-fixup) \
186                         $(if $(CONFIG_TARGET_UBIFS_COMPRESSION_NONE),--force-compr=none) \
187                         $(if $(CONFIG_TARGET_UBIFS_COMPRESSION_LZO),--force-compr=lzo) \
188                         $(if $(CONFIG_TARGET_UBIFS_COMPRESSION_ZLIB),--force-compr=zlib) \
189                         $(if $(shell echo $(CONFIG_TARGET_UBIFS_JOURNAL_SIZE)),--jrn-size=$(CONFIG_TARGET_UBIFS_JOURNAL_SIZE)) \
190                         --squash-uids \
191                         -o $(KDIR)/root.ubifs \
192                         -d $(TARGET_DIR)
193         endif
194         $(call Image/Build,ubifs)
195
196         ifneq ($($(PROFILE)_UBI_OPTS)$(UBI_OPTS),)
197                 $(call Image/mkfs/ubifs/generate,)
198                 $(if $(wildcard ./ubinize-overlay.cfg),$(call Image/mkfs/ubifs/generate,-overlay))
199         endif
200         $(call Image/Build,ubi)
201     endef
202 endif
203
204 define Image/mkfs/cpiogz
205         ( cd $(TARGET_DIR); find . | cpio -o -H newc | gzip -9 >$(BIN_DIR)/$(IMG_PREFIX)-rootfs.cpio.gz )
206 endef
207
208 define Image/mkfs/targz
209         $(TAR) -czpf $(BIN_DIR)/$(IMG_PREFIX)$(if $(PROFILE),-$(PROFILE))-rootfs.tar.gz --numeric-owner --owner=0 --group=0 -C $(TARGET_DIR)/ .
210 endef
211
212 E2SIZE=$(shell echo $$(($(CONFIG_TARGET_ROOTFS_PARTSIZE)*1024*1024/$(CONFIG_TARGET_EXT4_BLOCKSIZE))))
213
214 define Image/mkfs/ext4
215 # generate an ext2 fs
216         $(STAGING_DIR_HOST)/bin/genext2fs -U -B $(CONFIG_TARGET_EXT4_BLOCKSIZE) -b $(E2SIZE) -N $(CONFIG_TARGET_EXT4_MAXINODE) -d $(TARGET_DIR)/ $(KDIR)/root.ext4 -m $(CONFIG_TARGET_EXT4_RESERVED_PCT) $(MKFS_DEVTABLE_OPT)
217 # convert it to ext4
218         $(STAGING_DIR_HOST)/bin/tune2fs $(if $(CONFIG_TARGET_EXT4_JOURNAL),-j) -O extents,uninit_bg,dir_index $(KDIR)/root.ext4
219 # fix it up
220         $(STAGING_DIR_HOST)/bin/e2fsck -fy $(KDIR)/root.ext4
221 endef
222
223 define Image/mkfs/prepare/default
224         # Use symbolic permissions to avoid clobbering SUID/SGID/sticky bits
225         - $(FIND) $(TARGET_DIR) -type f -not -perm +0100 -not -name 'ssh_host*' -not -name 'shadow' -print0 | $(XARGS) -0 chmod u+rw,g+r,o+r
226         - $(FIND) $(TARGET_DIR) -type f -perm +0100 -print0 | $(XARGS) -0 chmod u+rwx,g+rx,o+rx
227         - $(FIND) $(TARGET_DIR) -type d -print0 | $(XARGS) -0 chmod u+rwx,g+rx,o+rx
228         $(INSTALL_DIR) $(TARGET_DIR)/tmp $(TARGET_DIR)/overlay
229         chmod 1777 $(TARGET_DIR)/tmp
230 endef
231
232 define Image/mkfs/prepare
233         $(call Image/mkfs/prepare/default)
234 endef
235
236
237 define Image/Checksum
238         ( cd ${BIN_DIR} ; \
239                 $(FIND) -maxdepth 1 -type f \! -name 'md5sums'  -printf "%P\n" | sort | xargs \
240                 md5sum --binary > md5sums \
241         )
242 endef
243
244 define BuildImage/mkfs
245   install: mkfs-$(1)
246   .PHONY: mkfs-$(1)
247   mkfs-$(1): mkfs_prepare
248         $(Image/mkfs/$(1))
249
250 endef
251
252 define BuildImage
253
254   download:
255   prepare:
256   compile:
257   clean:
258   image_prepare:
259
260   ifeq ($(IB),)
261     .PHONY: download prepare compile clean image_prepare mkfs_prepare kernel_prepare install
262     compile: compile-targets
263                 $(call Build/Compile)
264
265     clean: clean-targets
266                 $(call Build/Clean)
267
268     image_prepare: compile
269                 $(call Image/Prepare)
270   endif
271
272   mkfs_prepare: image_prepare
273         $(call Image/mkfs/prepare)
274
275   kernel_prepare: mkfs_prepare
276         $(call Image/BuildKernel)
277         $(if $(CONFIG_TARGET_ROOTFS_INITRAMFS),$(call Image/BuildKernel/Initramfs))
278         $(call Image/InstallKernel)
279
280   $(foreach fs,$(TARGET_FILESYSTEMS) $(fs-subtypes-y),$(call BuildImage/mkfs,$(fs)))
281
282   install: kernel_prepare install-targets
283         $(foreach fs,$(TARGET_FILESYSTEMS),
284                 $(call Image/Build,$(fs))
285         )
286         $(call Image/mkfs/ubifs)
287         $(call Image/Checksum)
288
289   compile-targets:
290   install-targets:
291   clean-targets:
292
293 endef