<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"> <head> <meta http-equiv="Content-Type" content="text/html; charset=us-ascii"> <meta name="Generator" content="Microsoft Word 14 (filtered medium)"> <style></style> </head> <body lang="ZH-CN" link="blue" vlink="purple" style="text-justify-trim:punctuation"> <div class="WordSection1"> Hi,<o:p></o:p> I am running libvirt with ESXi driver in multithread scenario to access ESXi by https. Sometimes a core dump will be generated as following:<o:p></o:p> #0 0x0000003f9b030265 in raise () from /lib64/libc.so.6<o:p></o:p> #1 0x0000003f9b031d10 in abort () from /lib64/libc.so.6<o:p></o:p> #2 0x0000003f9b06a84b in __libc_message () from /lib64/libc.so.6<o:p></o:p> #3 0x0000003f9b072fae in _int_malloc () from /lib64/libc.so.6<o:p></o:p> #4 0x0000003f9b074cde in malloc () from /lib64/libc.so.6<o:p></o:p> #5 0x0000003f9b07963b in strerror () from /lib64/libc.so.6<o:p></o:p> #6 0x0000003fa188032a in ERR_load_ERR_strings () from /lib64/libcrypto.so.6<o:p></o:p> #7 0x0000003fa187fde9 in ERR_load_crypto_strings () from /lib64/libcrypto.so.6<o:p></o:p> #8 0x0000003fa48309d9 in SSL_load_error_strings () from /lib64/libssl.so.6<o:p></o:p> #9 0x00002aaaba8e612e in Curl_ossl_init () from /opt/CSCOppm-unit/hypervisor/libcurl/lib/libcurl.so.4<o:p></o:p> #10 0x00002aaaba8ee6c1 in curl_global_init () from /opt/CSCOppm-unit/hypervisor/libcurl/lib/libcurl.so.4<o:p></o:p> #11 0x00002aaaba8ee6f8 in curl_easy_init () from /opt/CSCOppm-unit/hypervisor/libcurl/lib/libcurl.so.4<o:p></o:p> #12 0x00002aaaba0d932b in esxVI_SessionIsActive (ctx=0x2aaac093ca80, sessionID=0x2aaac06932a0 "`3i\300\252*", userName=0x2aaac0ae6e80 "root", output=0xffffffffffffffff) at esx/esx_vi_methods.generated.c:599<o:p></o:p> #13 0x00002aaaba0c7a60 in esxStorageVolumeLookupByKey (conn=0x7412, key=0x76c1 <Address 0x76c1 out of bounds>) at esx/esx_storage_driver.c:825<o:p></o:p> <o:p> </o:p> I checked that currently ESXi driver didn’t initialize openssl. Because libcurl will not handle openssl for multi-thread. According to openssl API, libvirt should<o:p></o:p> register two methods to support mutli-threads. The detailed description is as following:<o:p></o:p> <a href="http://www.openssl.org/docs/crypto/threads.html">http://www.openssl.org/docs/crypto/threads.html</a><o:p></o:p> <o:p> </o:p> I have changed code as following:<o:p></o:p> <![if !supportLists]>1. <![endif]>virInitialize() in libvirt.c<o:p></o:p> Old Code:<o:p></o:p> int<o:p></o:p> virInitialize(void)<o:p></o:p> {<o:p></o:p> …<o:p></o:p> virLogSetFromEnv();<o:p></o:p> virNetTLSInit();<o:p></o:p> …<o:p></o:p> }<o:p></o:p> <o:p> </o:p> New Code:<o:p></o:p> int<o:p></o:p> virInitialize(void)<o:p></o:p> {<o:p></o:p> …<o:p></o:p> virLogSetFromEnv();<o:p></o:p> virNetTLSInit();<o:p></o:p> virOpenSSLInit();<o:p></o:p> …<o:p></o:p> }<o:p></o:p> <o:p> </o:p> <![if !supportLists]>2. <![endif]>In virnetServer.c<o:p></o:p> New Code:<o:p></o:p> pthread_mutex_t *lock_cs;<o:p></o:p> long *lock_count;<o:p></o:p> <o:p> </o:p> void virOpenSSLLockCallback(int mode, int type, const char *file ATTRIBUTE_UNUSED, int line ATTRIBUTE_UNUSED) {<o:p></o:p> if (mode & CRYPTO_LOCK)<o:p></o:p> {<o:p></o:p> pthread_mutex_lock(&(lock_cs[type]));<o:p></o:p> lock_count[type]++;<o:p></o:p> }<o:p></o:p> else<o:p></o:p> {<o:p></o:p> pthread_mutex_unlock(&(lock_cs[type]));<o:p></o:p> }<o:p></o:p> }<o:p></o:p> <o:p> </o:p> unsigned long virOpenSSLIdCallback(void)<o:p></o:p> {<o:p></o:p> unsigned long ret;<o:p></o:p> <o:p> </o:p> ret=(unsigned long)pthread_self();<o:p></o:p> return(ret);<o:p></o:p> }<o:p></o:p> <o:p> </o:p> void virOpenSSLInit(void)<o:p></o:p> {<o:p></o:p> int i;<o:p></o:p> <o:p> </o:p> lock_cs=OPENSSL_malloc(CRYPTO_num_locks() * sizeof(pthread_mutex_t));<o:p></o:p> lock_count=OPENSSL_malloc(CRYPTO_num_locks() * sizeof(long));<o:p></o:p> for (i=0; i<CRYPTO_num_locks(); i++)<o:p></o:p> {<o:p></o:p> lock_count[i]=0;<o:p></o:p> pthread_mutex_init(&(lock_cs[i]),NULL);<o:p></o:p> }<o:p></o:p> <o:p> </o:p> CRYPTO_set_id_callback(virOpenSSLIdCallback);<o:p></o:p> CRYPTO_set_locking_callback(virOpenSSLLockCallback);<o:p></o:p> }<o:p></o:p> <o:p> </o:p> <o:p> </o:p> To be honest, virOpenSSLInit/ virOpenSSLIdCallback/ virOpenSSLLockCallback should not be defined in this file. But It seems that Makefile generated by autoconfig can’t<o:p></o:p> handle the new file recursively. <o:p></o:p> What about this solution? If you have any comments, please feel free to contact me. <o:p></o:p> <o:p> </o:p> <o:p> </o:p> BTW: If I add a new source/header file, is there a simple way to change Makefile?<o:p></o:p> <o:p> </o:p> B.R.<o:p></o:p> Benjamin Wang<o:p></o:p> <o:p> </o:p> <o:p> </o:p> <o:p> </o:p> </div> </body> </html>