home brew 的研究

前言

虽然已经对homeBrew 如何去指定自己的taps 、如何写Formula脚本、以及安装更新自己的软件,有了一定的了解和使用,但是终归感觉不了解整体homeBrew的架构、机制。

因此,需要对home brew 做一个深入的研究。

正文

home brew 简介

如果你是一名MacOs的使用者,那么我相信你肯定知道 home brew,也可能已经对于home brew 普通的一些命令非常熟悉了。那么home brew是什么?

引用brew 官方文档的一句介绍的话:The Missing Package Manager for macOS (or Linux), Homebrew Cask installs macOS apps, fonts and plugins and other non-open source software.,home brew 一个MacOS 或者 Linux缺失包的管理器,通过brew cask还可以安装MasOS app 、字体、插件和一些不开源的软件。

那么其实来说brew的意思呢是酿造的意思,home brew 呢也有着自家酿酒的意思,也就是说home brew 下载源码,自己进行编译。

总体来说,home brew 就是一个命令行工具和MacOS 软件包管理安装工具。

home brew 有趣命名

先来了解一下相关的概念:

  • formula :字面意思为配方,也就是homeBrew包的安装源码编译的脚本(ruby编写)
  • cask :字面意思也为桶,但是它功能类似于formula的,它是用来装定义了安装MacOS app的ruby脚本
  • keg :字面意思是桶,那么就是我们酿完酒之后需要的桶子装。也就是给定的Formula编译之后套件资料夹e.g. /usr/local/Cellar/foo/0.1
  • rack:字面意思是支架的意思,也就是存放酒桶的架子,即keg的目录e.g. /usr/local/Cellar/foo
  • **keg-only: ** 字面意思是不会超出桶,其实就是homeBrew不会做link到urs/bin操作的formula
  • cellar:字面意思为地窖,也就是存放所有支架的,即代表/usr/local/Cellar/目录
  • Caskroom:字面意思呢是cask的房子,也就是用来存放一个或者多个cask的
  • external command:一些brew的子命令但是不是在Homebrew/brew仓库,相当于我们扩展的一些brew命令
  • tap:用来存放Formula、cask、external command的目录
  • bottle :提前构建好的酒桶,放到就架子上,也就是说是提前构建好的keg,然后放到rack上

当我们了解了这些概念,在我们使用中或者理解homebrew工作机制会更有帮助。

用一张图来了解一下这些概念:

image-20230531175637534

也就是说我们home brew是一个自己酿酒的过程,首先我们需要酿酒的配方(Formula),存放配方(Formula)的地方呢叫做tap,home brew 可以有多个tap。我们根据配方呢会造出来至少一桶酒keg,然后我们把酒桶呢是摆到了酒架子上。 最后呢我们存放酒架子的地方是酒窖。

那么tap呢就对应目录为urs/local/Homebrew/Library/Taps/; 配方呢是tap目录下个某个Formula脚本。

keg比如是/usr/local/Cellar/foo/0.1, rack呢就是/usr/local/Cellar/foo/ ,酒窖呢就对应为/usr/local/Cellar/

home brew 的一些机制

由上面的介绍我们可以知道,我们整个比较关键的点,其实就是formula(配方)的制作。home brew 会根据formula进行编译安装。

下面我们介绍一下整体的一个机制/命令:

先来讲讲我们经常用到的几个命令:

  • 首先如果我们去执行 brew update,这个时候home brew 会更新自己tap 以及我们自定义的tap
  • 如果我们自己创建了自己的tap,需要命名为homebrew-[特殊的名字],否则你安装tap什么的会非常麻烦, 具体可以参看之前的文章
  • 更新tap只能执行 brew update
  • 卸载tap, brew untap [tap名字]
  • 安装CLI, brew install [CLI名字], 重新安装brew reinstall
  • 卸载CLI, brew uninstall [CLI名字]

再来讲讲homebrew整体的一个机制

  • 首先我们先了解一下MacOS的文件系统

    • bin/ 目录下存放的系统内置一些终端命令可执行文件,eg. ls、cp 等等
    • sbin/ 系统管理命令,这里存放的是系统管理员使用的管理程序
    • /etc 目录包含各种系统配置文件,许多网络配置文件也在/etc中
    • /home 用户主目录的基点,比如用户user的主目录就是/home/user,可以用~user表示
    • /usr 是个很重要的目录,通常这一文件系统很大,因为所有程序安装在这里。/usr 里的所有文件一般来自linux发行版(distribution );本地安装的程序和其他东西在/usr/local 下,因为这样可以在升级新版系统或新发行版时无须重新安装全部程序。/usr 目录下的许多内容是可选的,但这些功能会使用户使用系统更加有效。/usr可容纳许多大型的软件包和它们的配置文件。
    • /usr/bin 集中了几乎所有用户命令,是系统的软件库。另有些命令在/bin 或/usr/local/bin 中
    • /usr/sbin 包括了根文件系统不必要的系统管理命令
    • /usr/local 本地安装的软件和其他文件放在这里。这与/usr很相似。用户可能会在这发现一些比较大的软件包
    • /usr/local/bin 本地增加的命令 (就是在shell终端里执行的一些非系统命令)
    • /usr/local/lib 本地增加的库
  • 了解以上的目录之后,我们再来看一下和home brew 相关的目录

    • /usr/local/Homebrew 这里是homebrew的工程目录,我们采用homebrew提供的安装方式,他就会在这里建立Homebrew目录,以及clone 远程homebrew仓库。并且他会将自己的/usr/local/Homebrew/bin/brew下的 链接到/usr/local/bin 下,这样我们brew命令就可以在终端使用

      image-20230601115342002

    • 我们home brew taps 在usr/local/Homebrew/Library/Taps/下,也就是说首次安装的时候其实不存在Taps,从github 我们可以看的出。首次安装后,brew 会执行 brew tap 操作去添加公开的两个taps:homebrew-core、homebrew-cask, homebrew-core用来存放公开的CLI formula, homebrew-cask 存放MacOsApp的formula。我们自己的三方tap也会安装到这个目录下。

      image-20230601120201634

      image-20230601120305439

    • 就如上面有趣的命名一样,brew 采用 formula(配方)酿制好酒,装入keg(酒桶)放入到rack(酒架子)上存在Caller(酒窖)。没错urs/locall/Caller 就是这个酒窖。brew 会把所有的编译好的文件都摆好放进去。

      image-20230601121007292

    • 上一步之后呢,他会把酒桶里的bin/的可执行文件,link到urs/bin下,实现可执行。

    • 最后呢,它会在/Users/xxx/Library/Caches/Homebrew,缓存文件下缓存未解压文件。

      image-20230601121919209

    以上呢就是我们对于brew 从安装到创建taps再到安装具体的软件,根据目录进行一个过程性描述。

用一个复杂的git formula 去了解 formula脚本内容

​ 我们上面有讲到,最重要的其实就是Formula脚本的编写,配方决定着你酿出来的是什么酒。

​ 那么我们就用一个复杂一点的Formula的脚本例子,从例子中讲述,每一部分是什么作用。

# Formula 脚本必须继承Formula类
class Git < Formula
  	# 用来描述你的工具的一句话
    desc "Distributed revision control system"
  	# 必须是https的正确地址,可通过brew home 查看,如果发布到正式的tap这个有检验
    homepage "https://git-scm.com"
  	# 下载链接,也是一个源码库
    url "https://mirrors.edge.kernel.org/pub/software/scm/git/git-2.39.1.tar.xz"
  	# 源码zip包对应的一个sha256,用来验证缓存的完整性和安全性
    sha256 "40a38a0847b30c371b35873b3afcf123885dd41ea3ecbbf510efa97f3ce5c161"
  	# 需要遵循的许可
    license "GPL-2.0-only"
  	# 可以直接通过--head 进行下载的,如果通过--head 就不会用url或者去下载
    head "https://github.com/git/git.git", branch: "master"
  	# 检查是否有新版本的block
    livecheck do
      url "https://www.kernel.org/pub/software/scm/git/"
      regex(/href=.*?git[._-]v?(\d+(?:\.\d+)+)\.t/i)
    end
  
  	# 已经编译好的可执行二进制文件对应的sha256, 如果有对应平台的bottle会直接采用
    bottle do
      sha256 arm64_ventura:  "2d9a37ed166b873b440d958901013b1e654bbd5ac727ccf1aedbf2775ef1d755"
      sha256 arm64_monterey: "64f0c9cc05c506988b61e178562347032d86e4140063a57ca96fedb9c7ca7456"
      sha256 arm64_big_sur:  "943e530d20cabe88ba728bf1e7c6a5872fa28701b42f6426372b813bd535922e"
      sha256 ventura:        "f927b7c352d1e202cc072ea0f5582f8c09c57c6a374daf5682eae6de21ea04d5"
      sha256 monterey:       "b9849b6591a22a1cc2326301b258299888c8fd03dbb479793bab971bf14aadc8"
      sha256 big_sur:        "7119f027abde700c0f3c7a012cceb7b0246a862735b3309f5ee70a63f7e69251"
      sha256 x86_64_linux:   "3c62fb80f565b24970423a4f882959377bbd8b67dc023ed8f47543faffe6fa36"
    end
  
  	# 依赖库,可指定具体场景时机使用
    depends_on "gettext"
    depends_on "pcre2"
  
  	# MacOS 提供的一些依赖库
    uses_from_macos "curl", since: :catalina # macOS < 10.15.6 has broken cert path logic
    uses_from_macos "expat"
    uses_from_macos "zlib", since: :high_sierra
  
  	# linux 系统的一些依赖
    on_linux do
      depends_on "linux-headers@5.15" => :build
      depends_on "openssl@1.1" # Uses CommonCrypto on macOS
    end
  
  	# 额外的一些下载资源,会被定义为resource
    resource "html" do
      url "https://mirrors.edge.kernel.org/pub/software/scm/git/git-htmldocs-2.39.1.tar.xz"
      sha256 "032de9396c907383c8236e094a038191d54822a212390c2ce2fcd749db90dfd0"
    end
  
    resource "man" do
      url "https://mirrors.edge.kernel.org/pub/software/scm/git/git-manpages-2.39.1.tar.xz"
      sha256 "b522a58e963fd5137f660802ec5a93283abfa3eaa0f069ebb6e7f00e529cc775"
    end
  
    resource "Net::SMTP::SSL" do
      url "https://cpan.metacpan.org/authors/id/R/RJ/RJBS/Net-SMTP-SSL-1.04.tar.gz"
      sha256 "7b29c45add19d3d5084b751f7ba89a8e40479a446ce21cfd9cc741e558332a00"
    end
  
  	# 安装方法, 定义了如何安装, 里面具体内容不做过多注释了~
    def install
      # If these things are installed, tell Git build system not to use them
      ENV["NO_FINK"] = "1"
      ENV["NO_DARWIN_PORTS"] = "1"
      ENV["PYTHON_PATH"] = which("python")
      ENV["PERL_PATH"] = which("perl")
      ENV["USE_LIBPCRE2"] = "1"
      ENV["INSTALL_SYMLINKS"] = "1"
      ENV["LIBPCREDIR"] = Formula["pcre2"].opt_prefix
      ENV["V"] = "1" # build verbosely
  
      perl_version = Utils.safe_popen_read("perl", "--version")[/v(\d+\.\d+)(?:\.\d+)?/, 1]
  
      if OS.mac?
        ENV["PERLLIB_EXTRA"] = %W[
          #{MacOS.active_developer_dir}
          /Library/Developer/CommandLineTools
          /Applications/Xcode.app/Contents/Developer
        ].uniq.map do |p|
          "#{p}/Library/Perl/#{perl_version}/darwin-thread-multi-2level"
        end.join(":")
      end
  
      # The git-gui and gitk tools are installed by a separate formula (git-gui)
      # to avoid a dependency on tcl-tk and to avoid using the broken system
      # tcl-tk (see https://github.com/Homebrew/homebrew-core/issues/36390)
      # This is done by setting the NO_TCLTK make variable.
      args = %W[
        prefix=#{prefix}
        sysconfdir=#{etc}
        CC=#{ENV.cc}
        CFLAGS=#{ENV.cflags}
        LDFLAGS=#{ENV.ldflags}
        NO_TCLTK=1
      ]
  
      args += if OS.mac?
        %w[NO_OPENSSL=1 APPLE_COMMON_CRYPTO=1]
      else
        openssl_prefix = Formula["openssl@1.1"].opt_prefix
  
        %W[NO_APPLE_COMMON_CRYPTO=1 OPENSSLDIR=#{openssl_prefix}]
      end
  		
  		# 调用系统的cmake 进行install安装
      system "make", "install", *args
  
      git_core = libexec/"git-core"
      rm git_core/"git-svn"
  
      # Install the macOS keychain credential helper
      if OS.mac?
        cd "contrib/credential/osxkeychain" do
          system "make", "CC=#{ENV.cc}",
                         "CFLAGS=#{ENV.cflags}",
                         "LDFLAGS=#{ENV.ldflags}"
          git_core.install "git-credential-osxkeychain"
          system "make", "clean"
        end
      end
  
      # Generate diff-highlight perl script executable
      cd "contrib/diff-highlight" do
        system "make"
      end
  
      # Install the netrc credential helper
      cd "contrib/credential/netrc" do
        system "make", "test"
        git_core.install "git-credential-netrc"
      end
  
      # Install git-subtree
      cd "contrib/subtree" do
        system "make", "CC=#{ENV.cc}",
                       "CFLAGS=#{ENV.cflags}",
                       "LDFLAGS=#{ENV.ldflags}"
        git_core.install "git-subtree"
      end
  
      # install the completion script first because it is inside "contrib"
      bash_completion.install "contrib/completion/git-completion.bash"
      bash_completion.install "contrib/completion/git-prompt.sh"
      zsh_completion.install "contrib/completion/git-completion.zsh" => "_git"
      cp "#{bash_completion}/git-completion.bash", zsh_completion
  
      (share/"git-core").install "contrib"
  
      # We could build the manpages ourselves, but the build process depends
      # on many other packages, and is somewhat crazy, this way is easier.
      man.install resource("man")
      (share/"doc/git-doc").install resource("html")
  
      # Make html docs world-readable
      chmod 0644, Dir["#{share}/doc/git-doc/**/*.{html,txt}"]
      chmod 0755, Dir["#{share}/doc/git-doc/{RelNotes,howto,technical}"]
  
      # git-send-email needs Net::SMTP::SSL or Net::SMTP >= 2.34
      resource("Net::SMTP::SSL").stage do
        (share/"perl5").install "lib/Net"
      end
  
      # This is only created when building against system Perl, but it isn't
      # purged by Homebrew's post-install cleaner because that doesn't check
      # "Library" directories. It is however pointless to keep around as it
      # only contains the perllocal.pod installation file.
      rm_rf prefix/"Library/Perl"
  
      # Set the macOS keychain credential helper by default
      # (as Apple's CLT's git also does this).
      if OS.mac?
        (buildpath/"gitconfig").write <<~EOS
          [credential]
          \thelper = osxkeychain
        EOS
        etc.install "gitconfig"
      end
    end
  
    def caveats
      <<~EOS
        The Tcl/Tk GUIs (e.g. gitk, git-gui) are now in the `git-gui` formula.
        Subversion interoperability (git-svn) is now in the `git-svn` formula.
      EOS
    end
  
		# 测试方法,如果要发布到官方的tap中,test测试必须通过
    test do
      system bin/"git", "init"
      %w[haunted house].each { |f| touch testpath/f }
      system bin/"git", "add", "haunted", "house"
      system bin/"git", "config", "user.name", "'A U Thor'"
      system bin/"git", "config", "user.email", "author@example.com"
      system bin/"git", "commit", "-a", "-m", "Initial Commit"
      assert_equal "haunted\nhouse", shell_output("#{bin}/git ls-files").strip
  
      # Check Net::SMTP or Net::SMTP::SSL works for git-send-email
      if OS.mac?
        %w[foo bar].each { |f| touch testpath/f }
        system bin/"git", "add", "foo", "bar"
        system bin/"git", "commit", "-a", "-m", "Second Commit"
        assert_match "Authentication Required", pipe_output(
          "#{bin}/git send-email --from=test@example.com --to=dev@null.com " \
          "--smtp-server=smtp.gmail.com --smtp-server-port=587 " \
          "--smtp-encryption=tls --confirm=never HEAD^ 2>&1",
        )
      end
    end
  end
  

以上我们把Formula类相关的属性、方法的作用都做了注释,大家可以看看~,对于install方法内部没有做过多的注释,原因是git 安装方式,不是今天的主要内容,大致就是利用系统命令或者依赖命令完成编译安装。

如果有更多对Formula类方法了解的,可以参考官方的文档

结束语

通过home brew的学习,我们可以从中了解到设计者的幽默和设计理念。以酿酒的过程应用到brew的软件安装过程中,实在属于很形象也和强大。如果有好的mac 缺失的工具,我们也可以提供一份自己的力量对于brew 社区,mac 社区。

引用 & 学习

home brew 官网

home brew install.sh

brew class list

有趣的home brew命名