查看原文
其他

硬核好文:原来编译链接还有这么多套路

程序喵大人 程序喵大人 2022-08-22

# 干了这碗鸡汤

不负光阴就是最好的努力,而努力就是最好的自己


-- 村上春树


大家好,我是程序喵


不知道大家平时编程过程中使用动态链接库的情况多不多,如果一个程序引用了无数个动态链接库,那就有可能引入符号冲突的问题,问题如下:


想象中



实际上


下面我们尝试解决它:

最开始介绍下g++基本命令参数:

g++-c <file> 编译源文件,但是不进行链接-o <file> 指定输出文件的名字-s strip,移除符号信息-L <dir> 指令搜索链接库的路径-l <lib> 指定要链接的链接库-shared 产生动态目标文件


先来看一段代码:

#include <stdio.h>
void DoThing() { printf("work \n"); }

再定义一个简单的main.cc程序:

#include <stdio.h>
void DoThing();
int main() {    printf("start \n");    DoThing();    printf("finished \n");    return 0;}

编译这两个文件,并分别打包成静态库:

g++ -c work.cc -o work.oar rc libwork.a work.og++ -c main.cc -o main.oar rc libmain.a main.o

现在将这两个静态库链接成一个可执行文件,注意链接器如果发现当前库中使用了没有被定义的符号,它只会向后查找,因此,最低级别没有其它依赖的库应该放在最右边,如果出现了符号冲突问题,链接器会使用最左边的符号。


如果这样进行链接:

$ g++ -s -L. -o main.exe -lwork -lmain./libmain.a(main.o): In function `main':main.cc:(.text+0x11): undefined reference to `DoThing()'collect2: error: ld returned 1 exit status


链接失败,因为main库里的DoThing符号没有被定义,链接器向后查找,没有找到对应的符号定义,这里更改下链接库的顺序:

g++ -s -L. -o main.exe -lmain -lwork$ ./main.exestartworkfinished

链接成功。

现在写一个简单的容易产生符号冲突的文件conflict.cc:

#include <stdio.h>
void DoThing() { printf("conflict \n"); }

编译并打包成静态库:

g++ -c conflict.cc -o conflict.oar rc libconflict.a conflict.o

如果按这样的顺序链接成一个可执行程序:

$ g++ -s -L. -o main.exe -lmain -lwork -lconflict$ ./main.exestartworkfinished

如果稍微更改一下链接的顺序:

$ g++ -s -L. -o main.exe -lmain -lconflict -lwork$ ./main.exestartconflictfinished

这里发现顺序的不同导致了程序输出内容不同,究其原因就是那潜在的符号冲突。

现在再试试动态库,先介绍如何使用动态库:

$ rm libconflict.a$ g++ -shared conflict.o -o libconflict.so$ g++ -s -L. -o main.exe -lmain -lconflict$ LD_LIBRARY_PATH=. ./main.exestartconflictfinished

现在再引用一个中间层在动态链接库中调用conflict的文件layer.cc

#include <stdio.h>void DoThing();void DoLayer() {    printf("layer \n");    DoThing();}

并把layer和conflict打包成一个动态链接库:

$ g++ -c layer.cc -o layer.o$ g++ -shared layer.o conflict.o -o libconflict.so

然后更新main.c程序,main里面调用layer,layer里调用conflict:

#include <stdio.h>void DoLayer();int main() {    printf("start \n");    DoLayer();    printf("finished \n");    return 0;}

编译链接执行:

$ g++ -c main.cc -o main.o$ ar rc libmain.a main.o$ g++ -s -L. -o main.exe -lmain -lconflict$ LD_LIBRARY_PATH=. ./main.exestartlayerconflictfinished

正常输出,没啥问题,现在再把之前的work.cc也塞到main.cc中,观察下冲突:

#include <stdio.h>void DoThing();void DoLayer();int main() {    printf("start \n");    DoThing();    DoLayer();    printf("finished \n");    return 0;}

把work.o和main.o打包成一个库,之后和conflict链接成一个可执行程序,运行:

$ g++ -c main.cc -o main.o$ ar rc libmain.a main.o work.o$ g++ -s -L. -o main.exe -lmain -lconflict$ LD_LIBRARY_PATH=. ./main.exestartworklayerworkfinished

这里输出了两个work,正常情况下第二个work应该输出conflict,怎么解决呢?可以考虑使用-fvisibility=hidden来隐藏内部的符号,链接库内部使用的符号把它隐藏掉,不让它被导出,外部也不会改变它的调用路径。


先使用nm看一下libconflict.so里面的符号:

$ nm -CD libconflict.so                 w _ITM_deregisterTMCloneTable                 w _ITM_registerTMCloneTable000000000000065a T DoLayer()0000000000000672 T DoThing()0000000000201030 B __bss_start                 w __cxa_finalize                 w __gmon_start__0000000000201030 D _edata0000000000201038 B _end0000000000000688 T _fini0000000000000528 T _init U puts

如果把符号隐藏掉,

$ g++ -fvisibility=hidden -c layer.cc -o layer.o$ g++ -fvisibility=hidden -c conflict.cc -o conflict.o$ g++ -shared layer.o conflict.o -o libconflict.so再使用nm看一下libconflict.so里面的符号:$ nm -CD libconflict.so                 w _ITM_deregisterTMCloneTable                 w _ITM_registerTMCloneTable0000000000201028 B __bss_start                 w __cxa_finalize                 w __gmon_start__0000000000201028 D _edata0000000000201030 B _end0000000000000618 T _fini00000000000004c0 T _init U puts

这样的话main函数肯定不能调用DoLayer啦,因为DoLayer符号没有暴露出来:

$ g++ -s -L. -o main.exe -lmain -lconflict./libmain.a(main.o): In function `main':main.cc:(.text+0x16): undefined reference to `DoLayer()'collect2: error: ld returned 1 exit statu

那怎么暴露出来特定符号呢,直接看代码,改动了layer.cc:

#include <stdio.h>void DoThing();__attribute__ ((visibility ("default"))) void DoLayer() {    printf("layer \n");    DoThing();}

再编译链接运行看看结果:

$ g++ -fvisibility=hidden -c layer.cxx -o layer.o$ g++ -shared layer.o conflict.o -o libconflict.so$ g++ -s -L. -o main.exe -lmain -lconflict$ LD_LIBRARY_PATH=. ./main.exestartworklayerconflictfinished

发现已经是我们期待的结果啦,符号冲突的问题因此被解决。

是不是感觉很麻烦,难道每个要暴露的符号都要加上__attribute__这种修饰吗,这里其实可以写一个export文件,告诉编译器要导出的所有符号有哪些。

export.txt
{ global: *DoLayer*; local: *;};g++ -Wl,--version-script=export.txt -s -shared layer.o conflict.o -o libconflict.so


但是这种方式只有在gcc中才可以被使用,我在clang中尝试使用但是失败啦,所以为了兼容性不建议使用这种方式,还是消停的使用__attribute__来解决符号冲突问题吧。


Tips

通过隐藏符号可以减小可执行程序的大小,还可以解决符号冲突问题,但是有个缺点,因为隐藏了符号,线上程序运行时如果出现crash,通过堆栈信息我们看不到具体函数调用路径,给定位问题带来了困难,所以需不需要使用这种办法,还需要根据实际情况具体抉择。


参考资料

https://holtstrom.com/michael/blog/post/437/Shared-Library-Symbol-Conflicts-%28on-Linux%29.html



往期推荐


1、深度好文|面试官:进程和线程,我只问这19个问题

2、他来了,他来了,C++17新特性精华都在这了

3、一文让你搞懂设计模式

4、C++11新特性,所有知识点都在这了!




如果喜欢这篇文章,请点赞、在看,支持一下哦~谢谢!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存